التجارب (اختبارات A/B)

تختبر التجربة تغييرًا واحدًا في رسالة مقابل مجموعة ضابطة. تكتب السؤال، والرقم الواحد الذي يجيب عنه، ومن يشارك فيه، فيثبّت MailInApp ذلك كله قبل إرسال أي شيء. ثم يرسل كل النسخ في الوقت نفسه، ويقيس ما يحدث، ويخبرك بمدى قوة الدليل.

تستخدم الرسوم في هذه الصفحة متجر Retro Revival، وهو متجر ملابس خيالي بأرقام مختلَقة. يختبر Retro Revival أيّ العرضين يبيع أكثر: الشحن المجاني أم خصم 10%، والمكافأة مخفية تحت بطاقة كشط.

ما التجربة

تنتمي التجربة إلى رسالة واحدة وتجيب عن سؤال واحد. وتتكوّن من:

• فرضية: ما تتوقع حدوثه ولماذا، تكتبها قبل أن ترى أي نتائج.
• مقياس أساسي واحد: الرقم الذي يحسم النتيجة، مثل تحويل الشراء. أما كل ما عداه فيُعرض لتفسيره، لا للحسم به أبدًا.
• مجموعتان أو أكثر: نسخ من الرسالة. إحداها المجموعة الضابطة، وتُقارن بها كل مجموعة أخرى.
• عيّنة عشوائية من جهات اتصالك، تُسحب مرة واحدة وتُقسَّم بين المجموعات. ولا يحصل أحد على مجموعتين.
• نافذة مراقبة: المدة التي تُحتسب فيها النقرات والطلبات بعد الإرسال. وتُقرأ النتيجة عند انتهائها.

تبدأ تجربة من التجارب في الشريط الجانبي عبر تجربة جديدة، أو عبر تشغيل كتجربة من مربع A/B في صفحة الإرسال الخاصة بالرسالة، أو من قائمة صفّها في قائمة الرسائل، أو من تقويم الحملات.

متى يكفي إرسال A/B سريع

يقسم إرسال A/B العادي إرسالًا واحدًا بين ما يصل إلى خمس نسخ، ويعرض معدلاتها جنبًا إلى جنب. إنه سريع، ومناسب لفحص تقريبي لسطرَي موضوع. لكن لا شيء فيه يُثبَّت مسبقًا: لا المقياس، ولا حجم العيّنة، ولا موعد التوقف.

استخدم تجربة حين تكون الإجابة مهمة. فهي تضيف ما يغفله الإرسال السريع:

• عيّنة ومقياس محدَّدان قبل الإرسال، فلا يختار أحد بعده القراءة التي تبدو أفضل؛
• اختبار إحصائي، مع فواصل ثقة وحكم بلغة واضحة؛
• فحوص تتأكد أن الإرسال نفسه كان عادلًا، مثل خروج كل المجموعات في الوقت نفسه؛
• مكافآت من المتجر لكل مجموعة، وطلبات تُنسب إلى المجموعة التي جلبتها؛
• قرار مسجَّل يبقى مع التجربة بشكل دائم.

ولا تقتصر التجربة أيضًا على 200 مستلم كما في الإرسال المباشر: فهي ترسل عبر مهمتها الخاصة، على دفعات، إلى عيّنتها كاملة.

الخطط

التجارب متاحة بدءًا من خطة Lite. وهذا ما تتيحه كل خطة:

تُحتسب مجموعة الاستبعاد إحدى المجموعات.

الخطوات الست

تُعَدّ التجربة في ست خطوات. ويمكنك الرجوع إلى أيٍّ منها حتى تقفلها.

الفرضية والمقاييس

اكتب الفرضية أولًا. ثم اختر المقياس الأساسي، وهو الرقم الواحد الذي يحسم التجربة. كل مقياس نسبة أو مبلغ على أساس خاص به:

المُسلَّمة تعني المرسلة ناقص حالات الارتداد الدائم. وتُحتسب جهة الاتصال مرة واحدة، مهما تكرّر نقرها أو شراؤها.

تُعرض المقاييس الثانوية بجانب المقياس الأساسي لتفسيره، ولا تحسم النتيجة. أما مقاييس الحماية فمقاييس يجب ألا يجعلها الفائز أسوأ، مثل معدل إلغاء الاشتراك أو معدل الشكاوى. والمجموعة التي تتفوّق على المجموعة الضابطة لكنها أسوأ بوضوح في مقياس حماية ليست فائزة.

لمقياسين قيود خاصة بهما:

• معدل الفتح للسياق فقط. فميزة حماية خصوصية البريد من Apple تفتح الرسائل تلقائيًا، لذا لا يمكن أن يكون مقياسًا أساسيًا ولا مقياس حماية.
• معدل الكشف المرصود ومعدل النقر بعد الكشف يحتاجان إلى كشف يُسجَّل من تطبيقات البريد، ولا يسجّل MailInApp ذلك بعد. فاتركهما الآن. كما أن النقر بعد الكشف يعتمد على من كشف، لذا فهذا المقياس ليس مقارنة عشوائية.

مستوى الدلالة هو مدى قوة الدليل المطلوب قبل احتساب الفرق. والخيار المعتاد هو 5% (من الطرفين). أما التحليل فإما أفق ثابت (يُقرأ مرة واحدة عند انتهاء النافذة)، وإما، بدءًا من خطة Business، تتابعي (يُفحص أثناء سير النافذة بعتبات أشد). يشرح قسم لماذا النافذة ثابتة الفرق بينهما.

تحت الإحصاء، تُحسم بعض الخيارات الأخرى الآن، حتى لا يمكن اختيارها لاحقًا بما يناسب النتيجة. وتشمل التعديل وفق ما كان معروفًا قبل الإرسال، وعملة الإيرادات، وحدًّا أعلى للطلبات الكبيرة جدًا، وهوامش اختيارية. وتشرح صفحة قراءة نتائج التجربة كل واحد منها.

الصيغ والمحتوى

كل مجموعة نسخة واحدة من الرسالة. امنح كلًّا منها تسمية وحصة من العيّنة، وحدّد إحداها المجموعة الضابطة. ويضبط تقسيم بالتساوي حصصًا متساوية.

يمكن للمجموعة أن تغيّر سطر الموضوع، والمرسِل، والمحتوى. وللمحتوى طريقتان:

• هذه الرسالة، مع تغييرات هذه الصيغة. افتح الرسالة في الاستوديو، واختر المجموعة من قائمة النسخة في شريط الأدوات، وعدّل الكتل التي يجب أن تغيّرها. ويبقى كل ما عداها مشتركًا بين المجموعات كلها. وبهذا تبقى المجموعات متطابقة إلا فيما تختبره.
• رسالة مختلفة. ترسل المجموعة رسالة أخرى تمامًا. وتظل نتائجها مسجّلة في هذه التجربة.

لا يمكن لبعض الإعدادات أن تختلف بين المجموعات، لأنها تحدّد كيف تُتحقَّق الإجابات أو المدفوعات: كالإجابات الصحيحة في اختبار، أو سعر منتج. ويُظهر الاستوديو الحقول التي يمكن للمجموعة تغييرها.

لا يلزم أن يمسّ الاختبار المحتوى أصلًا. هنا تتشارك المجموعتان رسالة واحدة ولا تختلفان إلا في سطر الموضوع:

بدءًا من خطة Pro، يمكن أن تكون إحدى المجموعات مجموعة استبعاد: جهات اتصال لا تتلقى شيئًا. ومقارنة المجموعات الأخرى بها تُظهر كم شخصًا كان سيشتري دون الرسالة، لذا تتطلب مقياسًا أساسيًا للشراء أو الإيراد.

الجمهور والعيّنة

اختر قائمة جهات الاتصال، ثم من تستهدف بقواعد التصفية. ينسخ البدء من شريحة محفوظة عامل تصفية الشريحة إلى التجربة. وتعديله هناك لا يغيّر الشريحة.

تعدّ بطاقة أعداد الجمهور أربع مراحل بالقواعد نفسها التي يطبّقها الإرسال:

1. في القائمة: كل جهة اتصال في القائمة.
2. مؤهلون: جهات الاتصال التي يمكن مراسلتها أصلًا. وتذكر قائمة مستبعدون سبب تعذّر مراسلة البقية: إلغاء الاشتراك أو ارتداد البريد، أو عنوان تم التحقق من عدم صلاحيته، أو غياب الموافقة التسويقية، أو اشتراك غير مؤكَّد، أو إلغاء الاشتراك في موضوع هذه الرسالة، أو المشاركة بالفعل في تجربة أخرى.
3. مستهدفون: جهات الاتصال المؤهلة التي تطابق عامل التصفية.
4. في التجربة: العيّنة، مقسَّمة بين المجموعات.

بجانب عامل التصفية، تقسّم رؤى الجمهور جهات الاتصال المستهدفة حسب حقل في القائمة، أو حسب سجل الشراء، أو حسب درجة التفاعل. ولكل تقسيم خانة بلا قيمة لجهات الاتصال التي ينقصها ذلك الحقل. راجعها قبل أخذ العيّنة: فإذا كانت جهات اتصال كثيرة بلا قيمة، فلن تفيد الموازنة على ذلك الحقل كثيرًا.

ثم اختر طريقة أخذ العيّنة:

• كل المستهدفين: تشارك كل جهة اتصال مستهدفة، وتُقسَّم عشوائيًا بين المجموعات.
• عيّنة عشوائية: عيّنة عشوائية من جهات الاتصال المستهدفة، تُقسَّم عشوائيًا.
• عيّنة عشوائية متوازنة (بدءًا من Pro): تُسحب العيّنة على حدة داخل كل قيمة لحقل تختاره، فتحصل كل مجموعة على المزيج نفسه، من العملاء والعملاء المحتملين مثلًا.
• الشريحة كاملة: كل جهة اتصال تختارها القواعد. وهذا اختيار قائم على القواعد وليس عيّنة عشوائية، لذا تصف النتائج تلك الشريحة وحدها. ومع ذلك تُعيَّن المجموعات عشوائيًا.

يمنع استبعاد جهات الاتصال المشاركة بالفعل في تجربة أخرى تداخل التجارب. ويشمل التجارب المقفلة، أو التي ما زالت في نافذة المراقبة، أو التي ما زال عرضها قابلًا للاستخدام، حتى لا يتسرّب عرض اختبار سابق إلى هذا الاختبار.

يحسب مخطِّط حجم العيّنة عدد جهات الاتصال التي يحتاجها الاختبار قبل إرسال أي شيء. ويبدأ من سجلك أنت: التجارب السابقة على القائمة، أو إرسالاتك الأخيرة. تُدخل أصغر ارتفاع يستحق الاكتشاف وقوة الاختبار التي تريدها، فيوصي بحجم عيّنة. وإذا كان الجمهور أصغر من اللازم، يذكر بدلًا من ذلك أصغر ارتفاع يمكنه رصده بثقة.

أمل Retro Revival أن ترتفع المشتريات من 3.7% إلى 5.0%. ويطلب المخطِّط 3,943 جهة اتصال لكل مجموعة لرصد هذا الارتفاع البالغ 1.3 نقطة. ومع 4,000 جهة اتصال إجمالًا، يستطيع الاختبار رصد ارتفاع بنحو 1.9 نقطة بثقة. وقد يمرّ فرق حقيقي أصغر دون أن يُرى بسهولة، لذا خطّط للحجم الذي تقدر عليه قبل الإطلاق، لا بعده. ويشرح اعرف عدد جهات الاتصال التي يحتاجها اختبار A/B المخطِّطَ خطوة بخطوة.

المكافأة والإسناد

امنح كل مجموعة عرضًا خاصًا بها من المتجر، أو لا شيء: خصمًا بنسبة مئوية، أو خصمًا بمبلغ ثابت، أو شحنًا مجانيًا. إما أن تحصل كل المجموعات على مكافأة أو لا تحصل أيٌّ منها، وتبقى رموز كل المجموعات صالحة لعدد الأيام نفسه، لتكون المقارنة بين المجموعات عادلة.

يحصل كل مستلم على رمز صالح لاستخدام واحد خاص به ومرتبط به. اعرضه في الرسالة بوسمَي الدمج {{discount_code}} و{{discount_url}}، مثلًا في جائزة بطاقة الكشط ورابطها. ولا يتم القفل حتى تعرض إحدى الكتل المكافأة.

بعض الأمور تُضبط أولًا:

• تُنشأ الرموز في متجر Shopify أو WooCommerce المتصل بقائمة جهات الاتصال الخاصة بالتجربة. ودون متجر، تحذّر الخطوة من أنه لا يمكن إنشاء أي رموز.
• في WooCommerce، تحتاج رموز الشحن المجاني إلى طريقة شحن Free Shipping تشترط قسيمة شحن مجاني صالحة. وتحذّر الخطوة حين لا يملك متجرك واحدة.
• للشحن المجاني، أدخل متوسط تكلفة الشحن لكل طلب. ويُحتسب تكلفةً ترويجية لكل طلب بشحن مجاني.

يطابق إسناد الطلبات كل طلب في المتجر مع مجموعة. وتفوز أول قاعدة مطابقة، بهذا الترتيب:

1. رمز الخصم: استخدم الطلب رمز المجموعة. وهي أقوى مطابقة، حتى بعد أيام.
2. رابط متتبَّع: وصل المشتري عبر الرابط الموسوم في الرسالة.
3. الدفع داخل الرسالة: دفع المشتري عبر الدفع في كتلة منتج.
4. عنوان البريد (مرجّح): يطابق عنوان المشتري مستلمًا نقر خلال النافذة. ويُبلَّغ عن هذه الطلبات على أنها مرجّحة.

تكون القواعد الثلاث الأولى مفعّلة افتراضيًا. ويبقى عنوان البريد (مرجّح) معطَّلًا حتى تختاره، وهو القاعدة الوحيدة التي يمكنها مطابقة طلبات مجموعة الاستبعاد، لأن هذه المجموعة لا تتلقى أي رسالة. ويشرح قسم مكافآت مختلفة لكل مجموعة الرموز والقواعد بالتفصيل، ويعرض اعرف أي مكافأة تبيع أكثر باختبار A/B لبطاقة الكشط اختبار مكافآت كاملًا.

إذا كانت في الرسالة بطاقة كشط، فإن دعوة الإجراء في بطاقة الخدش تحدّد موضع زر المتجر فيها: داخل الجائزة المكشوفة أو أسفل البطاقة. ويشرح قسم قياس بطاقة الكشط ما يتيح لك كل موضع قياسه.

الجدولة والنافذة

اختر فور الإطلاق أو في وقت محدد. تخرج كل المجموعات معًا، متداخلة خلال الدقائق نفسها. وتحسين وقت الإرسال متوقف في التجارب، فلا يمكن أن ينشأ فرق بين المجموعات من توقيت إرسال كلٍّ منها.

نافذة المراقبة هي المدة التي تُحتسب فيها النقرات والطلبات بعد الإرسال، من يوم واحد إلى 60 يومًا. وتُقرأ النتيجة مرة واحدة عند انتهائها. اختر مدة تغطي الوقت الذي يستغرقه الناس عادةً للتصرّف، ويبقى العرض صالحًا خلالها.

يختبر إرسال النتيجة إلى البقية على عيّنة أولًا، ثم يرسل مجموعة واحدة إلى كل من تبقّى ممن يستهدفهم الجمهور. ويتطلب عيّنة عشوائية (الخطوة 3)، حتى تبقى جهات اتصال يُرسل إليها. اختر سياسة:

• إرسال فائز ذي دلالة إحصائية: المجموعة التي تفوز على المقياس الأساسي بحلول وقت القرار تُرسل إلى البقية. وإلا تتلقى البقية المجموعة الضابطة.
• إرسال المتصدّرة (سياسة الربح): تتلقى البقية المجموعة التي تبدو الأفضل بحلول وقت القرار، سواء كانت دالّة إحصائيًا أم لا. وهذا مجدٍ حين تتقارب المجموعات، لكنه ليس دليلًا على أن إحداها أفضل.

يبدأ عدّ القرار بعد من خروج آخر رسالة في العيّنة. فإذا كان لدى مجموعة أقل من 30 حدثًا عندئذ، تُقرأ العيّنة مرة أخرى عند الانتظار بحدّ أقصى. وإذا بقي العدد ناقصًا، تتلقى البقية المجموعة الضابطة. وهذا يختار فقط ما تتلقاه البقية: أما قرار التجربة نفسه فيظل ينتظر النافذة كاملة.

المراجعة والقفل

تلخّص الخطوة الأخيرة الخطة وتسرد ما يجب إصلاحه قبل القفل. ثم يجمّد قفل التسجيل المسبق الفرضية والمقاييس والجمهور والمجموعات، ويسحب العيّنة: فتصبح جهات الاتصال المشاركة، والمجموعة التي تحصل عليها كل واحدة منها، نهائية.

حتى الإطلاق، ما زال بإمكانك إعادة تسمية التجربة، وتغيير وقت الإرسال، وتعديل تسمية كل مجموعة وسطر موضوعها ومرسِلها ومحتواها. ويحجز إطلاق الإرسال كاملًا من رسائلك الشهرية، ثم يجدوله. ولا تستهلك مجموعة الاستبعاد شيئًا من حصتك. وبعد الإطلاق، لا يمكن تغيير شيء سوى الاسم.

عند الإطلاق، يبني MailInApp أيضًا رسالة كل مجموعة كما ستُرسَل. ويرفض الإطلاق إذا أظهرت رسالة إحدى المجموعات مكافأة بطاقة الكشط الخاصة بمجموعة أخرى، حتى في النسخة البديلة التي تعرضها تطبيقات البريد التي لا تدعم بطاقة الكشط. ويغطي قسم اختبار مكافأتين في تجربة ما يرصده هذا الفحص. أما أداة الفحص قبل الإرسال فتفحص الرسالة كما حفظتها، لذا عاين كل مجموعة أيضًا عبر قائمة النسخة في الاستوديو.

أثناء التشغيل

بعد الإطلاق، تنتقل التجربة بين حالاتها تلقائيًا:

• مجدولة حتى وقت الإرسال، ثم جارٍ الإرسال بينما تخرج كل المجموعات.
• قيد المراقبة طوال نافذة المراقبة. ويجري تحليل مرحلي كل بضع ساعات. وتُوسَم نتائجه بأنها مرحلية: لا تتخذ قرارًا بناءً عليها.
• قيد التحليل بعد انتهاء النافذة. ويصل التحليل النهائي بعد نحو ساعة.
• محسومة أو غير حاسمة بعد أن تسجّل قرارك، ثم مغلقة حين تغلقها.

أثناء التشغيل، لا يمكن تغيير شيء سوى الاسم. ويوقف إلغاء التجربة التجربة في أي وقت قبل القرار، ولا يمكن التراجع عنه. وتستبعد الإرسالات الأخرى للرسالة نفسها جهات الاتصال التي تحتجزها هذه التجربة، فلا يحصل أحد على نسخة ثانية من طريق آخر.

يمكنك حذف تجربة وهي مسودة، أو بعد إغلاقها، أو بعد إلغائها. وتُحذف نتائجها وتعييناتها معها.

الحدود وما لا يُقاس

• لا يُسجَّل الكشف من صناديق البريد بعد. يحدث كشف بطاقة الكشط أو عجلة الحظ داخل تطبيق البريد، ولا يسجّله MailInApp هناك بعد. فقِس النقرات على رابط الجائزة والمشتريات بدلًا منه.
• الفتح للسياق فقط. تفتح ميزة حماية خصوصية البريد من Apple ووكلاء الصور الرسائل تلقائيًا، لذا تأتي معدلات الفتح مرتفعة وتختلف بحسب تطبيق البريد.
• تُفحص كل مجموعة عند الإطلاق. تفحص أداة الفحص قبل الإرسال في صفحة الإرسال الرسالةَ كما حُفظت، لا نسخة كل مجموعة.
• ليست في تطبيق الهاتف بعد. لا يعرض تطبيق MailInApp للهاتف التجارب.

استخدمها من API

يمكن لشيفرتك وأدوات الأتمتة قراءة التجارب بمفتاح API، ويمكن لـ Webhooks إخبارها حين تُحسم تجربة أو تجهز نتائجها. ويمكنها القراءة، لكن لا يمكنها القفل أو الإطلاق أو الحسم. راجع قراءة نتائج التجارب.

انظر أيضًا

• قراءة نتائج التجربة
• اعرف أي مكافأة تبيع أكثر باختبار A/B لبطاقة الكشط
• اعرف عدد جهات الاتصال التي يحتاجها اختبار A/B
• أرسل النسخة الفائزة إلى بقية جمهورك
• جهات الاتصال والإرسال من MailInApp
• عنصر بطاقة الكشط
• الشرائح السلوكية