اعرف أي مكافأة تبيع أكثر باختبار A/B لبطاقة الكشط

الشحن المجاني أم خصم 10%: أي مكافأة تحوّل عددًا أكبر من المشتركين إلى مشترين؟ يجيب هذا الدليل عن السؤال كما تجيب عنه التجربة. أخفِ كل مكافأة تحت بطاقة الكشط نفسها، وأرسل النسختين في الوقت نفسه، ودع المشتريات تحسم.

‏Retro Revival علامة ملابس خيالية، وكل الأرقام هنا مختلَقة للتوضيح. اختبارها بالأرقام: 50,874 مشتركًا · مجموعتان للمكافأة · نافذة مراقبة مدتها 7 أيام.

تعرّف إلى Retro Revival

تصمّم Retro Revival ملابس مستوحاة من الطراز العتيق من مواد معاد تدويرها وعضوية، تُصنع بالتعاون مع حرفيين مستقلين. وتستعيد تشكيلتها الجديدة، Grunge Revival: The 90s Edit، أزياء الموسيقى البديلة في التسعينيات.

لإطلاقها، يريد فريق التسويق أن يقدّم للمشتركين مكافأة. وبدل التخمين في أيّها ينجح، يصمّم تجربة مضبوطة ويحسم بالمشتريات.

الرسالة نفسها، وفرق واحد

يتلقى كل المستلمين الرسالة نفسها: سطر الموضوع، ونص التشكيلة، وعرض المنتجات الدوّار، وبطاقة الكشط، وزر المتجر. ولا يختلف إلا المكافأة التي تظهر تحت البطاقة. وبهذا يمكن ردّ أي فرق في المشتريات إلى المكافأة لا إلى التصميم.

النسختان مجموعتان في تجربة واحدة. تقارن التجربة كل مجموعة بـالمجموعة الضابطة، ولا يمكن أن تفوز إلا مجموعة أخرى غيرها. لذا تكون المجموعة الضابطة هي العرض الذي كنت سترسله على أي حال. وهو هنا خصم 10%، أي المجموعة A. أما الشحن المجاني فهو المجموعة B.

تتشارك المجموعتان رسالة واحدة. في الاستوديو، اختر مجموعة من قائمة النسخة في شريط الأدوات، وغيّر جائزة البطاقة لهذه المجموعة وحدها. جرّب المجموعتين أدناه: اكشط البطاقة، أو اعرضها مكشوفة، أو اعرض البديل الذي تُظهره تطبيقات البريد التي لا تدعم بطاقة الكشط.

يقع زر المتجر في البطاقة داخل الجائزة المكشوفة. وحيث تعمل بطاقة الكشط، لا يظهر الزر إلا بعد كشط البطاقة، فيأتي النقر بعد رؤية المكافأة. ولا تحتوي الرسالة على زر ثانٍ تحت البطاقة، لأن ذلك الزر يمكن النقر عليه دون كشف. ويقارن قسم موضع الرابط بين الموضعين.

سجّل مسبقًا قبل الإرسال

في خطوة الفرضية والمقاييس، يدوّن الفريق خطته قبل إرسال أي شيء:

• الفرضية: سيحوّل الشحن المجاني عددًا أكبر من المشتركين إلى مشترين مقارنةً بخصم 10%.
• المقياس الأساسي: تحويل الشراء، أي نسبة المستلمين الذين سُلّمت إليهم الرسالة واشتروا. وهذا الرقم وحده يحسم التجربة.
• المقاييس الثانوية: معدل النقرات الفريدة والإيراد لكل رسالة مُسلَّمة. وهما يفسّران النتيجة ولا يحسمانها.
• مقياس الحماية: معدل إلغاء الاشتراك. ولا يجوز أن يكون الفائز أسوأ فيه بشكل واضح.
• مستوى الدلالة: 5% (ثنائي الطرف)، مع تحليل أفق ثابت على نافذة مراقبة مدتها 7 أيام.

يستبعد الفريق معدل الكشف المرصود ومعدل النقر بعد الكشف. فلا يسجّل MailInApp بعدُ عمليات الكشف من صناديق البريد. كما أن النقرات بعد الكشف تتوقف على من اختار أن يكشف، لذا فهذا المقياس ليس مقارنة عشوائية.

يجمّد قفل التسجيل المسبق، في خطوة المراجعة والقفل، الفرضيةَ والمقاييس والجمهور والمجموعات، ويسحب العيّنة. ولا يستطيع أحد الانتقال إلى مقياس يبدو أفضل بعد وصول النتائج.

الوصول إلى المشتركين المناسبين

تستهدف The 90s Edit المشتركين الذين يحبون موسيقى الروك والتسعينيات. في خطوة الجمهور والعيّنة، يختار الفريق قائمته التي تضم 50,874 جهة اتصال، ويضيف قاعدتَي تصفية: الروك البديل و التسعينيات. وتعرض بطاقة أعداد الجمهور كل مرحلة:

• مؤهلون تسبق الاستهداف. فهناك 4,554 جهة اتصال لا يمكن مراسلتها أصلًا، وتذكر قائمة مستبعدون السبب: إلغاء الاشتراك، أو غياب الموافقة التسويقية، أو عنوان غير صالح، وما إلى ذلك. ويتبقى 46,320.
• مستهدفون تطبّق التصفية على جهات الاتصال المؤهلة وحدها. هناك 11,240 يحبون الروك البديل و14,870 يحبون التسعينيات، لكن 6,420 فقط يحبون الاثنين.
• في التجربة هي العيّنة: 4,000، مقسَّمة إلى 2,000 لكل مجموعة.

قبل السحب، يراجع الفريق رؤى الجمهور حسب الحقل customer_type. من بين 6,420 جهة اتصال مستهدفة، هناك 2,311 عميلًا و3,981 عميلًا محتملًا. و128 بلا قيمة: وهي فئة بلا قيمة، صغيرة بما يكفي لتركها كما هي.

يعتمد الجمهور على القائمة التي وراءه. يتناول أنشئ قاعدة مشتركين جاهزة للاختبار الحقول والموافقة، ويتناول اجمع مرشِّحات الجمهور بـ«و» و«أو» التصفية نفسها.

السحب والتوزيع بعدل

يختار الفريق عيّنة عشوائية متوازنة حسب customer_type. تُسحب العيّنة على حدة من العملاء والعملاء المحتملين وجهات الاتصال التي بلا قيمة، فتحصل المجموعتان على التركيبة نفسها: 720 عميلًا و1,240 عميلًا محتملًا و40 بلا قيمة لكل منهما. فالعيّنة العشوائية البسيطة عادلة في المتوسط، لكن أي سحب منفرد قد ينحرف.

تكون كل جهة اتصال في مجموعة واحدة فقط، ولا يحصل أحد على المكافأتين. ويمنع خيار استبعاد جهات الاتصال المشاركة بالفعل في تجربة أخرى تسرّب عرض اختبار سابق إلى هذا الاختبار.

هل يكفي 2,000 لكل مجموعة؟ يجيب مخطِّط حجم العيّنة بلا، بالنسبة إلى الارتفاع الذي كان الفريق يأمله. فرفع المشتريات من 3.7% إلى 5.0%، أي ارتفاع بمقدار 1.3 نقطة، يحتاج إلى 3,943 جهة اتصال لكل مجموعة.

ومع 4,000 إجمالًا، يستطيع الاختبار أن يرصد بثقة ارتفاعًا يقارب 1.9 نقطة. ويمضي الفريق مع ذلك، وهو يعلم أن فرقًا حقيقيًا أصغر قد يمرّ دون أن يُلحظ. ويشرح اعرف عدد جهات الاتصال التي يحتاجها اختبار A/B المخطِّط خطوة بخطوة.

المكافآت والإطلاق

في خطوة المكافأة والإسناد، تحصل المجموعة A على خصم بنسبة مئوية قدره 10%، وتحصل المجموعة B على شحن مجاني. وتبقى رموز المجموعتين صالحة 7 أيام، فلا يملك أيّ من العرضين وقتًا أطول ليعمل. ويحصل كل مستلم على رمز صالح لاستخدام واحد خاص به ومرتبط به. وتُنشأ الرموز وقت الإرسال في متجر Shopify أو WooCommerce المتصل بقائمة جهات الاتصال الخاصة بالتجربة.

رابط الجائزة في بطاقة الكشط هو وسم الدمج {{discount_url}}، الذي يوصل كل مستلم إلى المتجر برمزه الخاص. وترتبط المعاينات في هذه الصفحة بالمتجر مباشرة، لأن المعاينة لا تستطيع إنشاء رمز.

للشحن المجاني، يُدخل الفريق متوسط تكلفة الشحن لكل طلب بقيمة $5.50. ويُحتسب تكلفةً ترويجية عن كل طلب بشحن مجاني. وفي WooCommerce، تحتاج رموز الشحن المجاني أيضًا إلى طريقة شحن Free Shipping تقبل قسيمة، وتحذّر الخطوة حين لا توجد واحدة.

وتضبط الخطوة نفسها إسناد الطلبات: أي القواعد التي تطابق طلب المتجر مع مجموعة، وتُثبَّت عند القفل. يُبقي الفريق القواعد الثلاث الافتراضية: رمز الخصم ورابط متتبَّع والدفع داخل الرسالة. ويترك عنوان البريد (مرجّح) معطَّلًا، فيكون كل طلب يُحتسب مطابقة مؤكدة.

يبني إطلاق رسالة كل مجموعة كما ستُرسَل. ويرفض الإطلاق إذا أظهرت رسالة إحدى المجموعتين مكافأة الأخرى في أي موضع، بما في ذلك البديل. ثم تنطلق المجموعتان في الوقت نفسه، متداخلتين خلال الدقائق نفسها. يرتد 40 بريدًا لكل مجموعة، فيُسلَّم 1,960 لكل مجموعة. وكل معدل أدناه نسبة من هذه الرسائل المُسلَّمة.

ما يحدث بعد الكشط

يجري كشط البطاقة داخل تطبيق البريد لدى المستلم. ولا يسجّل MailInApp بعدُ عمليات الكشف من صناديق البريد، لذا لا يستطيع هذا الدليل أن يبيّن كم شخصًا كشط البطاقة، ولا من كشط ثم لم يُرصد له نقر. أما ما يصل إلى MailInApp فهو النقر على رابط الجائزة.

ولأن الزر يقع داخل الجائزة المكشوفة، فإن النقر في تطبيق بريد تعمل فيه بطاقة الكشط يأتي بعد كشف. أما في التطبيقات التي تعرض البديل، فالجائزة ورابطها ظاهران من البداية.

بلغ عدد الناقرين الفريدين 294 مع الشحن المجاني مقابل 265 مع خصم 10%: أي 15.0% مقابل 13.5% من الرسائل المُسلَّمة. هذا فرق بمقدار 1.5 نقطة، لكن p = 0.185. ففرق النقرات مؤشر على اتجاه، لا نتيجة دالّة إحصائيًا: قد يكون مصادفة.

الناقرون والمشترون مقياسان منفصلان، كل منهما من الرسائل المُسلَّمة البالغة 1,960. وليسا مراحل في قمع. فقد يشتري شخص دون نقرة متتبَّعة، لأن رمز الخصم يربط الطلب بمجموعته أيضًا.

المشتريات تحسم

حين تنتهي النافذة، تقرأ صفحة النتائج المقياس الأساسي. اشترى 98 من مستلمي الشحن المجاني، مقابل 72 مع خصم 10%: أي 5.0% مقابل 3.7%.

تقول جملة النتائج إن الشحن المجاني تفوّق على خصم 10% بمقدار 1.33 نقطة. ويُرجَّح أن يقع التحسّن الحقيقي بين 0.05 و2.62 نقطة، وp = 0.041. وهذا أقل من مستوى الدلالة 5%، فالفرق دالّ إحصائيًا. وبالقيمة النسبية، باع الشحن المجاني إلى عدد أكبر من المستلمين بنسبة 36.1%.

الفاصل عريض، وحدّه الأدنى قريب من الصفر. فمن المرجح جدًا أن يبيع الشحن المجاني أكثر هنا، لكن مقدار الزيادة غير مؤكد. تذكّر المخطِّط: لم يكن هذا الاختبار يستطيع أن يرى بثقة إلا نحو 1.9 نقطة، فكانت نتيجة 1.33 نقطة من حسن الحظ.

صمد مقياس الحماية معدل إلغاء الاشتراك: 0.20% مع الشحن المجاني مقابل 0.26% مع خصم 10%، فلا يمنع الفائز.

تعرض الإيرادات والعروض الترويجية المال لكل مجموعة، بالدولار الأمريكي:

الإيرادات لا تشمل الضرائب والشحن، والخصومات محسوبة فيها بالفعل. وهذا ليس حسابًا للربح.

كانت طلبات الشحن المجاني أصغر، لكن عدد من اشتروا كان أكبر. وكان الإيراد لكل رسالة مُسلَّمة أعلى مع الشحن المجاني، لكن p = 0.13: غير دالّ إحصائيًا وحده. وهو مقياس ثانوي، فيفسّر النتيجة دون أن يحسمها.

تكلفة الترويج هي ما منحته كل مكافأة. في خصم 10%، هي الخصم على كل طلب. وفي الشحن المجاني، هي تقدير الشحن البالغ $5.50 عن كل طلب بشحن مجاني. ولا يمثّل أيّ من العمودين ربحًا: فتكلفة المنتجات المبيعة ليست في أيّ منهما.

يصل كل طلب إلى مجموعته عبر قواعد الإسناد، التي تُفحص بترتيب ثابت. وأول قاعدة تطابق هي التي تحسم، ولا تُفحص البقية. ولا تُحتسب إلا الطلبات التي قُدّمت خلال نافذة الأيام السبعة.

استخدم كل مشترٍ لدى Retro Revival رمزه، لذا يطابق استخدام الرموز عدد المشترين: 72 و98 رمزًا من أصل 2,000 لكل مجموعة. فالقاعدة الأولى هي التي حسمت كل الطلبات. وتعرض بطاقة الطلبات في صفحة النتائج عدد الطلبات التي طابقتها كل قاعدة. ويتناول قسم مقاييس الإيرادات المبالغ المستردة والعملات الأخرى.

سجّل القرار وأغلق التجربة

تنتهي التجربة بقرار يسجّله الفريق بنفسه. يفتح تسجيل القرار نافذة حوار: فائز، المجموعة B، الشحن المجاني. ويذكر التبرير فرق المشتريات الدالّ إحصائيًا، والنقرات والإيرادات غير الدالّة، والفاصل العريض. والدليل المحفوظ معه مأخوذ من التحليل: دالّ إحصائيًا.

ثم يجعل إغلاق التجربة السجل نهائيًا. ويُنزّل تصدير التقرير بصيغة PDF أو جداول CSV أو JSON. ويضم التسجيل المسبق، والأرقام لكل مجموعة، والفحوص، والقرار، دون أسماء أو عناوين.

تنتهي التجربة هنا. فتسجيل الشحن المجاني فائزًا يجيب عن السؤال. ولا يُرسل شيئًا. أما تقديم الشحن المجاني لبقية الجمهور فإجراء منفصل، بجمهوره وتوقيته الخاصين: أرسل النسخة الفائزة إلى بقية جمهورك.

ثلاث خلاصات

1. غيّر شيئًا واحدًا. تلقّت المجموعتان الرسالة نفسها، فالفرق في المشتريات يأتي من المكافأة. ورسالة واحدة بتعديل لكل مجموعة تحفظ ذلك.
2. النقرات تشير، والمشتريات تحسم. جلب الشحن المجاني نقرات أكثر، لكن دون دلالة إحصائية. ولم يختر الفائز إلا المقياس الأساسي، المحدَّد قبل الإرسال.
3. القرار ليس إرسالًا. سجّل الفريق الشحن المجاني فائزًا، مع الدليل. أما إرساله إلى مزيد من الناس، مع مراعاة تكلفة شحنه، فيأتي بعد ذلك.

ماذا لو كانت النتيجة غير حاسمة؟

لنفترض أن 85 من مستلمي الشحن المجاني اشتروا بدل 98. يصبح ذلك 4.3% مقابل 3.7%، مع p = 0.29. وستعرض صفحة النتائج غير حاسمة: لا يوجد دليل كافٍ للاختيار.

هذه نتيجة عادية ومفيدة. فهي تقول إن أي فرق أصغر مما يستطيع هذا الاختبار رؤيته. وسيسجّل الفريق غير حاسم مع تبريره، ويُبقي خصم 10% عرضه المعتاد. ولمعرفة المزيد، يمكنه أن يخطط بالمخطِّط لعيّنة أكبر أو نافذة أطول، ويجري تجربة جديدة. ولن يسمّي الشحن المجاني فائزًا لمجرد أن معدله كان أعلى.

البدء

افتح الرسالة في الاستوديو وأضف بطاقة كشط واضبط رابط الجائزة فيها على {{discount_url}}. ثم ابدأ تجربة عبر تشغيل كتجربة، وامنح كل مجموعة مكافأتها، واقفل الخطة قبل الإرسال. يغطي التجارب (اختبارات A/B) كل خطوة، ويشرح قراءة نتائج التجربة كيف تقرأ ما يعود.