اعرف عدد جهات الاتصال التي يحتاجها اختبار A/B

معظم اختبارات A/B على قوائم البريد أصغر من أن ترى الفرق الذي تبحث عنه. يخبرك مخطِّط حجم العيّنة، في خطوة الجمهور من التجربة، قبل إرسال أي شيء، بعدد جهات الاتصال التي يحتاجها الاختبار، أو بأصغر فرق يستطيع جمهورك إظهاره بثقة.

الاختبار الصغير جدًا ينتهي في الغالب "غير حاسم"، حتى حين تكون إحدى النسختين أفضل فعلًا. هذا ليس فشلًا في الاختبار، بل علامة على أن السؤال طُرح على عدد قليل جدًا من الناس. التخطيط أولًا يخبرك هل تطلق الاختبار كما هو، أم تختبر تغييرًا أجرأ، أم تنتظر جمهورًا أكبر.

يتّبع المثال أدناه متجر ملابس خياليًا اسمه Retro Revival، بأرقام مختلَقة. ولـاختبار مكافآته الكامل حالة استخدام خاصة به.

ما يحتاجه المخطِّط منك

افتح تجربة وانتقل إلى الجمهور والعيّنة. يقع مخطِّط حجم العيّنة تحت أعداد الجمهور. وهو يخطط للمقياس الأساسي الذي اخترته في الخطوة 1، بأربعة مُدخلات:

• المعدّل المتوقع للمجموعة الضابطة. مثلًا، نسبة المستلمين الذين سُلِّمت إليهم الرسالة ثم اشتروا. يملؤه المخطِّط من سجلّك أنت.
• أصغر ارتفاع يستحق الاكتشاف. أصغر فرق عن المجموعة الضابطة يغيّر ما ستفعله. يُكتب للمعدّل بالنقاط: نقطة واحدة تنقلك من 3.7% إلى 4.7%.
• قوة الاختبار. احتمال أن يكتشف الاختبار ارتفاعًا بهذا الحجم حين يكون حقيقيًا. الاختيار المعتاد 80%، أما 85% و90% و95% فتحتاج إلى جهات اتصال أكثر.
• معدّل التسليم المتوقَّع. الرسائل المرتدّة لا تشتري، لذا يضيف المخطِّط جهات اتصال لتعويضها.

يأتي مستوى الدلالة من الخطوة 1، وتوزيع المجموعات من خطوة الصيغ والمحتوى.

ابدأ من سجلّك أنت

نادرًا ما تحفظ معدّلك الأساسي، والتخمين كثيرًا ما يبتعد عن الصواب. يقرأ المخطِّط المعدّل من حسابك، ويذكر مصدر كل رقم:

• التجارب السابقة على هذه القائمة، وإلا فعلى قوائمك الأخرى. وهي تشمل كل المقاييس، بما فيها المشتريات والإيرادات.
• آخر إرسالاتك إلى هذه القائمة، لمقياس أساسي من النقرات أو الردود لم تقِسه أي تجربة بعد.
• إرسالاتك في آخر 90 يومًا، لمعدّل التسليم ولمقاييس الحماية الخاصة بإلغاء الاشتراك والشكاوى.

إذا لم يكن لمقياسٍ سجلّ، يطلب منك المعدّل الذي تتوقعه. ويمكنك أيضًا استبدال أي رقم. عندها يظهر بعلامة تقديرك، للتخطيط فقط، ويعيد زر استخدام السجلّ القيمة المقيسة. المعدّل الأساسي أو معدّل التسليم المعدَّل يُستخدم للتخطيط فقط. أما الارتفاع المطلوب اكتشافه وقوة الاختبار فيُحفظان مع التجربة.

اقرأ التوصية

بمجرد أن تُدخل أصغر ارتفاع يستحق الاكتشاف، يعرض المخطِّط العيّنة الموصى بها: عدد جهات الاتصال التي يحتاجها الاختبار كله، وعددها في كل مجموعة. وإن كان جمهورك المستهدف كبيرًا بما يكفي، يقول ذلك. ثم يضبط زرٌّ واحد العيّنة على هذا الحجم: استخدام هذا العدد من جهات الاتصال، أو سحب عيّنة عشوائية منه إن لم تكن تسحب عيّنة بعد.

وإن كان الجمهور صغيرًا جدًا، يقول ذلك صراحة: هذا الجمهور أصغر من أن يكشف ارتفاعًا أقل من عدد معيّن من النقاط. هذا الرقم هو الحجم الصادق لاختبارك. فرق حقيقي أصغر منه قد يمرّ دون أن يُرى بسهولة. والتخطيط لـ هذا الرقم يحدّث الخطة وفقه.

يُظهر المنحنى هذه المقايضة. تقليص الفرق الذي تريد اكتشافه إلى النصف يضاعف عدد جهات الاتصال التي تحتاجها كل مجموعة أربع مرات تقريبًا. كان معدّل الشراء لدى Retro Revival ‏3.7%، مع تسليم 98% وقوة اختبار 80%:

أمل Retro Revival أن يرفع الشحن المجاني المشتريات بمقدار 1.3 نقطة، وهذا يحتاج إلى 3,943 جهة اتصال لكل مجموعة. كان لديه 4,000 إجمالًا، أي 2,000 لكل مجموعة. وبهذه العيّنة يُظهر المخطِّط أن أصغر ارتفاع يمكن رصده بثقة هو نحو 1.9 نقطة. أطلق الفريق الاختبار مع ذلك، وهو يعلم أن فرقًا حقيقيًا أصغر قد يمرّ دون أن يُرى.

حين يحتاج الاختبار إلى جهات اتصال أكثر

بعض الخيارات ترفع الرقم، ويذكر المخطِّط أيّها السبب:

• مجموعات أكثر. تُقارَن كل مجموعة بالمجموعة الضابطة عند مستوى أكثر صرامة، كي تحافظ المقارنات كلها معًا على مستوى الدلالة الذي اخترته. ثلاث مجموعات تحتاج إلى جهات اتصال لكل مجموعة أكثر من مجموعتين.
• توزيع غير متساوٍ. مجموعة استبعاد صغيرة أو مجموعة ضابطة كبيرة تجعل كل مقارنة أكثر كلفة من التوزيع المتساوي.
• هوامش مقاييس الحماية. قد يحتاج مقياس حماية له هامش إلى جهات اتصال أكثر من المقياس الأساسي. عندها يحدّد المخطِّط حجم الاختبار وفق مقياس الحماية.
• التحليل التتابعي (من باقة Business فما فوق). النظر إلى النتيجة أثناء سريان النافذة يحتاج إلى جهات اتصال أكثر من قراءة واحدة في النهاية. ويذكر المخطِّط كم تحتاج زيادةً.

شريحة اختبار أصغر: Test & Roll

أحيانًا لا تحتاج إلى دليل، بل إلى الخيار الأفضل لبقية قائمتك فقط. إرسال النتيجة إلى البقية مع سياسة إرسال المتصدّرة (سياسة الربح) يرسل إلى الجميع المجموعةَ التي تبدو الأفضل بعد اختبار قصير.

لهذه السياسة، يمكن للمخطِّط أن يقترح شريحة الاختبار المثلى للربح (Test & Roll). فهو يوازن بين مدى تفاوت النتائج في تجاربك السابقة وما قد تكسبه بقية القائمة. ويحتاج إلى تجربتين سابقتين على الأقل، وإلى مجموعتين بلا مجموعة استبعاد. تكون الشريحة عادةً أصغر بكثير من العيّنة الموصى بها. إنه خيار ربحي: شريحة بهذا الحجم تكون عادةً أصغر من أن تجد فائزًا دالًّا إحصائيًا.

تُجمَّد الخطة عند القفل

يُحفظ الارتفاع المطلوب اكتشافه وقوة الاختبار مع التجربة، ويُجمَّدان عند قفلها مع بقية التسجيل المسبق. ولاحقًا تُظهر صفحة النتائج أصغر فرق كان الاختبار المكتمل قادرًا على رصده بثقة. وإن انتهى الاختبار غير حاسم، يخبرك هذا الرقم هل كان من الممكن أن يمرّ فرق حقيقي دون أن يُرى.

وماذا عن اختبار سريع لسطر الموضوع؟

إرسال A/B العادي من صفحة الإرسال لا مخطِّط له، ولا يُثبَّت فيه شيء مسبقًا. أما لسطر موضوع مهم، مثل تذكير بالتجديد، فشغّله كتجربة وخطّط له على معدّل النقر بدل الفتح. فميزة حماية خصوصية البريد من Apple تضخّم أعداد الفتح، لذا فهي مقياس أساسي ضعيف.

النقرات أكثر شيوعًا بكثير من المشتريات، لذا يحتاج اختبار سطر الموضوع عادةً إلى جهات اتصال أقل بكثير من اختبار المكافأة. ويملأ سجلّ النقرات في إرسالاتك الأخيرة إلى القائمة المعدّلَ الأساسي.

البدء

أنشئ تجربة عبر تشغيل كتجربة من صفحة إرسال الرسالة. اختر المقياس الأساسي في الفرضية والمقاييس، ثم افتح مخطِّط حجم العيّنة في الجمهور والعيّنة. تحقّق من مصدر المعدّل الأساسي، وأدخل أصغر ارتفاع يدفعك إلى التصرف، وحدّد حجم العيّنة قبل القفل. تشرح صفحة التجارب (اختبارات A/B) كل خطوة.