قراءة نتائج التجربة

تنتهي التجربة بقرار تسجّله بنفسك. وتمنحك صفحة النتائج ما تحتاجه لذلك: الفرق بين المجموعات، ومدى ثقتك به، وما إذا كان الإرسال نفسه عادلًا. تشرح هذه الصفحة النتائج لوحةً لوحة، ثم تشرح ما تعنيه الأرقام.

تستخدم الأمثلة متجر Retro Revival، وهو متجر ملابس خيالي بأرقام مختلَقة. قدّمت مجموعته الضابطة، المجموعة A، خصم 10%. وقدّمت المجموعة B شحنًا مجانيًا. وسُلِّمت رسالة كل مجموعة إلى 1,960 مستلمًا، وكان تحويل الشراء هو المقياس الأساسي.

أين تجد النتائج

توجد نتائج كل تجربة في الرؤى الخاصة برسالتها، تحت التجارب. ومن قائمة التجارب، تحتوي قائمة الصف على النتائج في الرؤى. وتظهر النتائج الأولى بعد التحليل الأول، الذي يجري بعد انتهاء الإرسال. وما دامت النافذة مفتوحة، تذكر الصفحة أن النتائج مرحلية: لا تتخذ قرارًا قبل انتهائها.

يعرض الرأس الحالة، والنافذة، والدليل حتى الآن، والإجراءات: شرح، وتصدير، وتسجيل القرار، وإغلاق التجربة، ونشر الفائز، كلٌّ منها حين ينطبق.

صفحة النتائج لوحةً لوحة

التسجيل المسبق

ما ثبّتّه عند القفل: الفرضية، والمقاييس وأدوارها، ومستوى الدلالة، والمجموعات، والعيّنة، وخيارات الإحصاء. وهو موجود ليتمكّن أي قارئ للنتيجة من التحقق من أنها تجيب عن السؤال الذي طُرح.

النتائج

تعرض بطاقة المقياس الأساسي كل مجموعة ناقص المجموعة الضابطة، مع فاصلها، وقيمة p المعدَّلة بطريقة Holm، وحكمًا: دالّ إحصائيًا، أو غير دالّ إحصائيًا، أو دالّ إحصائيًا: المجموعة الضابطة كانت أفضل. وتحتها جملة واحدة تقول ما تعنيه النتيجة بكلمات بسيطة. وتنتهي الجملة بـأصغر فرق يمكن رصده: حجم الفرق الذي يستطيع هذا العدد من المستلمين رصده بثقة.

في Retro Revival، تقول الجملة إن الشحن المجاني تفوّق على خصم 10% بمقدار 1.33 نقطة (5.0% مقابل 3.7%). ويُرجَّح أن التحسّن الحقيقي بين 0.05 و2.62 نقطة. وفرق بهذا الحجم سيكون غير معتاد لو كان أداؤهما متماثلًا.

تأتي المقاييس الثانوية ومقاييس الحماية في الجدول أدناه. المقاييس الثانوية استكشافية: يُوسَم كلٌّ منها لافت أو غير لافت، ولا يُوصف أبدًا بأنه «دالّ إحصائيًا». أما مقياس الحماية فيُقرأ أسوأ من المجموعة الضابطة أو لم يثبت أنه أسوأ. ولا يمنع فوزَ مجموعة إلا مقياسُ حماية أسوأ بوضوح.

مقارنةً بمجموعة الاستبعاد

مع وجود مجموعة استبعاد، تقارن بطاقة ثانية كل مجموعة مُرسَلة بجهات الاتصال التي لم تتلقَّ شيئًا، لكل جهة اتصال معيَّنة. وتُظهر ما أضافته الرسالة مقارنةً بعدم الإرسال أصلًا. وهي وصفية: فالقرار يظل يقارن المجموعات بالمجموعة الضابطة.

مراحل التفاعل

أشرطة منفصلة، زوج لكل مرحلة: النقرات الفريدة والمشترون، كلٌّ منهما نسبة من أساسه الخاص. وليست خطوات في قمع. فقد يشتري الناس دون النقر على رابط متتبَّع، لأن رمز الخصم يربط الطلب بمجموعته أيضًا.

الاتجاه على مدى النافذة

المقياس الأساسي على مدى النافذة، نقطة لكل تحليل يومي. وهو للمتابعة فقط. فالتقدّم الذي يظهر ويختفي في الطريق ليس دليلًا: يُقرأ الاختبار مرة واحدة، عند انتهاء النافذة.

جودة البيانات

اقرأ هذه اللوحة قبل النتيجة. تذكر الفحوص الإحصائية فيها ما إذا كانت القرعة والإرسال والبيانات سليمة:

• التخصيص: كل مجموعة تضم جهات الاتصال التي منحتها إياها القرعة.
• نسبة العيّنة: خرجت رسائل كل مجموعة بالنسبة التي سُحبت لها.
• الارتداد: معدلات الارتداد متقاربة بين المجموعات. وإن لم تكن كذلك، تُحتسب المقاييس لكل رسالة مرسلة بدلًا من كل رسالة مُسلَّمة.
• التوازن والتركيبة: بدأت المجموعات متشابهة فيما كان معروفًا قبل الإرسال، مثل التفاعل والطلبات السابقة.
• تجارب أخرى: حين تكون جهات اتصال في تجربة أخرى في الوقت نفسه، هل تتفاعل التجربتان على المقياس الأساسي.

فحص نسبة العيّنة هو الأهم. ويخفق حين يكون احتمال أن تُنتج الصدفة فجوة بهذا الحجم بين الحصص المسحوبة والمرسلة أقل من مرة واحدة في 2,000 محاولة. وهذا يشير إلى مشكلة في الإرسال، لذا يجعل الفحص الفاشل النتيجة غير صالحة.

تحت الفحوص: توقيت الإرسال (كم تباعد خروج المجموعات)، والعيّنة والتداخل، والمُسلَّمة (المعيَّنة والمرسلة والمرتدّة والمُسلَّمة لكل مجموعة)، ورموز المكافآت، والطلبات حسب قاعدة الإسناد، والإيرادات والعروض الترويجية.

بقية الجمهور

إذا كانت التجربة ترسل مجموعة إلى بقية الجمهور، تعرض هذه البطاقة كل قراءة لعيّنة الاختبار، وأي مجموعة تلقّتها البقية ولماذا، وكم رسالة أُرسلت. وهي لم تختر إلا ما تلقّته بقية الجمهور. أما قرار التجربة نفسه فيظل يُسجَّل على النافذة كاملة.

القرار

بعد أن تسجّل قرارًا، يظهر هنا بشكل دائم، مع مبرّرك والدليل الذي أعطاه التحليل له.

ماذا تعني الأرقام

لكل مقارنة ثلاثة أجزاء:

• الفرق: معدل المجموعة ناقص معدل المجموعة الضابطة، بالنقاط المئوية. فنسبة 5.0% للشحن المجاني ناقص 3.7% لخصم 10% تساوي زيادة قدرها 1.33 نقطة.
• الفاصل: النطاق الذي يُرجَّح أن يقع فيه الفرق الحقيقي. وهو هنا من 0.05 إلى 2.62 نقطة. ولأنه لا يشمل الصفر، فالتحسّن الحقيقي مرجَّح، وإن كان قد يكون صغيرًا.
• قيمة p: كم مرة ستظهر فجوة بهذا الحجم لو كان أداء المجموعات متماثلًا فعلًا. وهي هنا p = 0.041، أقل من مستوى الدلالة 0.05، لذا فالفرق دالّ إحصائيًا.

أما النقرات الفريدة فتروي قصة مختلفة. فقد بلغت 15.0% للشحن المجاني مقابل 13.5%، لكن p = 0.185 والفاصل يشمل الصفر. وهذا مؤشر على الاتجاه، لا نتيجة دالّة إحصائيًا: فقد تكون فجوة النقرات مجرد صدفة.

تأتي جملة النتائج في إحدى هذه الصيغ:

• فائز: تفوّقت مجموعة على المجموعة الضابطة في المقياس الأساسي، ولا يمنعها أي مقياس حماية.
• غير حاسمة: لا يوجد دليل كافٍ للاختيار. وهذه نتيجة طبيعية ومفيدة. فهي تخبرك أن الفرق، إن وُجد، أصغر مما يستطيع هذا الاختبار رؤيته.
• لا فرق: كل مجموعة قريبة من المجموعة الضابطة بشكل مثبَت، ضمن هامش انعدام الفرق الذي حدّدته قبل القفل. ودون هامش، تكون النتيجة المتقاربة غير حاسمة.
• لا يمكن الوثوق به: أخفق أحد فحوص جودة البيانات. راجع اللوحة قبل اتخاذ القرار.
• من المبكر الحكم: النافذة ما زالت مفتوحة.

النتائج غير الحاسمة شائعة في القوائم الصغيرة. فاختبار Retro Revival لم يكن يستطيع رصد فرق بثقة إلا إذا بلغ نحو 1.9 نقطة، لذا كانت نتيجته البالغة 1.33 نقطة من حسن الحظ. ولو حقّق الشحن المجاني 85 مشتريًا بدلًا من 98 (4.3% مقابل 3.7%)، لكانت p تساوي 0.29: نتيجة غير حاسمة. والخطوة الصحيحة التالية حينها عيّنة أكبر أو نافذة أطول، يُحدَّد حجمها بـمخطِّط حجم العيّنة، لا نظرة ثانية إلى الأرقام نفسها.

لماذا النافذة ثابتة

كل نظرة يومية إلى اختبار جارٍ فرصة أخرى لأن تبدو الضوضاء فائزًا. فإذا توقفت عند أول نظرة تتجاوز العتبة المعتادة، صار الفائزون الزائفون أكثر احتمالًا بكثير. ولهذا تُقرأ تجربة أفق ثابت مرة واحدة، عند نهاية النافذة التي حدّدتها.

انتهت إحصائية z في Retro Revival عند 2.039، فوق العتبة الثابتة 1.96. وعند قراءتها مرة واحدة، تكون النتيجة دالّة إحصائيًا. لكنها تجاوزت 1.96 أول مرة في اليوم 5، لذا كان من يلقي نظرة يومية سيتوقف هناك، على دليل أضعف.

بدءًا من خطة Business، يتيح التحليل التتابعي النظر أثناء سير النافذة. ولكل نظرة حدّ أشد، فيبقى الاحتمال الإجمالي لفائز زائف عند مستوى الدلالة الذي اخترته. ولا تُجرى أي نظرة قبل أن يصل نحو نصف البيانات المتوقعة، ولا في أول 48 ساعة بعد انتهاء الإرسال، وتُجرى نظرة واحدة في اليوم على الأكثر. وفي أرقام Retro Revival، لا تتجاوز أي نظرة حدّها: فالحدّ الأخير 2.056، أعلى بقليل من 2.039. وإذا تجاوزت مجموعة حدّها مبكرًا، يمكنك تسجيل القرار قبل انتهاء النافذة.

مجموعات متعددة ومقاييس متعددة

كلما زادت المقارنات زادت فرص أن تبدو إحداها جيدة بالحظ. ويصحّح MailInApp ذلك:

• المقياس الأساسي يستخدم تصحيح Holm عبر المجموعات المقارنة بالمجموعة الضابطة. وتُعرض فواصله أعرض لتتوافق مع ذلك: فمع ثلاث مجموعات إلى جانب المجموعة الضابطة، يُعرض كل فاصل عند 98.3% بدلًا من 95%.
• المقاييس الثانوية تستخدم طريقة Benjamini–Hochberg. وهي استكشافية، فقد تكون لافتة لكنها لا تحسم التجربة أبدًا.
• مقاييس الحماية تُقرأ عند مستوى أكثر تساهلًا عن قصد، لأن تفويت ضرر حقيقي أكثر كلفة من إنذار كاذب.

المقارنات المعدلة

إذا أبقيت التعديل وفق ما كان معروفًا قبل الإرسال مفعّلًا في خيارات الإحصاء، تعرض النتائج أيضًا مقارنة معدَّلة. وهي تأخذ في الحسبان درجة تفاعل كل جهة اتصال وسجل مشترياتها وقت القرعة، وهذا يضيّق الفواصل عادةً. والمقارنة الحاسمة هي المعدَّلة حين تُجرى. وتُعرض المقارنة غير المعدَّلة دائمًا أيضًا.

يُتخذ هذا الخيار قبل القفل، مثل بقية الخطة، فلا يستطيع أحد تفعيله بعد أن يرى أي القراءتين تبدو أفضل. ويُتخطّى التعديل، لكل المجموعات معًا، حين تكون مجموعة صغيرة جدًا أو حين لا يوجد ما يُعدَّل وفقه.

مقاييس الإيرادات

يقسم الإيراد لكل رسالة مُسلَّمة إيراد المتجر المنسوب لكل مجموعة على مستلميها الذين تسلّموا الرسالة. ويُحدّ إيراد كل جهة اتصال عند شريحة مئوية مرتفعة من المشترين، تُختار قبل القفل، حتى لا يحسم طلب واحد كبير جدًا الاختبار. ويأتي فاصله من طريقة إعادة معاينة حين يكون الإيراد شديد الالتواء على الصيغة المعتادة.

تعرض الإيرادات والعروض الترويجية المال لكل مجموعة. وهذه أرقام Retro Revival بالدولار الأمريكي:

الإيرادات لا تشمل الضرائب والشحن، والخصومات محسوبة فيها بالفعل. وهذا ليس حسابًا للربح.

• تكلفة الترويج هي خصومات الطلبات، إضافة إلى تقديرك لدعم الشحن عن كل طلب بشحن مجاني.
• استخدام الرموز هو الرموز المستخدمة في طلب منسوب، مقسومةً على الرموز الصادرة لمستلمي المجموعة.
• متوسط قيمة الطلب يعتمد على من اشترى، لذا لا يمكنه حسم التجربة. وهنا كانت طلبات الشحن المجاني أصغر، لكن عدد من اشتروا كان أكبر.
• المبالغ المستردة خلال النافذة في Shopify وWooCommerce تُطرح من الإيرادات. ويحتاج متجر Shopify الذي رُبط قبل وجود مكافآت التجارب إلى إعادة ربط أولًا. ولا تُطرح المبالغ المستردة لمدفوعات الدفع داخل الرسالة.
• العملات الأخرى: تُستبعد من الإيرادات الطلبات بعملة غير عملة التجربة، وتُحتسب على حدة.

كان الإيراد لكل مستلم أعلى مع الشحن المجاني، لكن p = 0.13: غير دالّ إحصائيًا وحده. فتحويل الشراء، وهو المقياس الأساسي، هو الذي يحسم.

تُطابَق الطلبات مع المجموعات وفق قواعد الإسناد التي اخترتها، بالترتيب: رمز الخصم، ثم الرابط المتتبَّع، ثم الدفع داخل الرسالة، ثم عنوان البريد. وأول قاعدة تطابق هي التي تحسم، ولا تُفحص القواعد الباقية. وتعدّ بطاقة الطلبات مطابقات كل قاعدة، وتُوسَم مطابقات عنوان البريد بأنها مرجّحة.

يشرح قسم مكافآت مختلفة لكل مجموعة كل قاعدة وكيف تُنشأ الرموز.

تسجيل القرار

بعد انتهاء النافذة ووصول التحليل النهائي، يفتح تسجيل القرار نافذة حوار. اختر فائز (والمجموعة الفائزة)، أو لا فرق، أو غير حاسم، واكتب مبرّرك. ويأتي الدليل المسجَّل معه من التحليل، لا من النموذج:

• اختيار مجموعة لم يحدّدها التحليل يبقى موسومًا في السجل بشكل دائم: «لم يحدد التحليل هذه المجموعة فائزةً.»
• تسجيل فائز على نتيجة أخفقت في فحص جودة البيانات، أو قبل أي تحليل، يتطلب ملاحظة التجاوز.
• لا يمكن تغيير القرار المسجَّل.

بعد ذلك:

• يجعل إغلاق التجربة السجل نهائيًا. فلا يمكن بعده تغيير إعداداتها ولا نتائجها ولا قرارها. وإذا حُسمت التجربة مبكرًا، فأغلقها بعد وصول التحليل النهائي للنافذة كاملة.
• يُنشئ نشر الفائز رسالة جديدة من المجموعة الفائزة، بمحتواها وعرضها، وموضوعها ومرسِلها، وقائمة جهات الاتصال الخاصة بالتجربة. ويُستبعد كل من عيّنته التجربة من كل إرسال لتلك الرسالة. ولا يُرسل شيء حتى ترسلها أنت من صفحة الإرسال الخاصة بها. ويتتبّع أرسل النسخة الفائزة إلى بقية جمهورك مثالًا من البداية إلى النهاية.
• ينزّل تصدير التقرير بصيغة PDF (مع اسم شركتك ولون علامتك التجارية بدءًا من خطة Business)، أو جداول CSV، أو JSON. ولا يحتوي إلا على أرقام: لا أسماء ولا عناوين.
• يطلب شرح من Mia وصف النتيجة بكلمات بسيطة، مستخدمةً أرقام التقرير وتسمياته فقط. ولا تصف Mia أي فرق بأنه دالّ إحصائيًا ما لم يصفه التحليل بذلك. وكل تشغيل يستهلك طلبًا واحدًا من Mia AI.

تسجيل القرار يجيب عن سؤال التجربة. أما إرسال الفائز إلى عدد أكبر من الناس فخطوة منفصلة تأتي بعده.

انظر أيضًا

• التجارب (اختبارات A/B)
• اعرف أي مكافأة تبيع أكثر باختبار A/B لبطاقة الكشط
• أرسل النسخة الفائزة إلى بقية جمهورك
• Webhooks والأحداث
• الردود وWebhooks