هل ينبغي أن يتلقى مستخدم التجربة الجديد رسالة قصيرة تأخذه إلى المنتج، أم جولة إرشادية على مدى عدة أيام؟ تجيب تجربة الرحلة عن هذا السؤال بالمشتركين الحقيقيين لديك. تحصل كل جهة اتصال جديدة على مسار عند التقسيم وتحتفظ به، وتحتسب خطوة الهدف من بدأ الاستخدام فعلًا. وحين تصل النتيجة، فالقرار قرارك، وأنت من يرسل الجميع عبر المسار الفائز بنفسه.
يتابع هذا الدليل Darkroom Cloud، وهو تطبيق خيالي لحفظ الصور، وكل الأرقام هنا مختلَقة. هذا النوع من الاختبارات يناسب الرحلة أكثر من إرسال واحد. فالنسختان تختلفان في أكثر من رسالة، وتصل جهات الاتصال الجديدة كل يوم لا دفعة واحدة.
تعرّف إلى Darkroom Cloud
يحفظ Darkroom Cloud مكتبات صور المصورين وينظمها. تستمر التجربة المجانية 14 يومًا، ويعرف الفريق أمرًا واحدًا عمّن يبقى: من يرفع أول ألبوم مبكرًا يميل إلى مواصلة الاستخدام. ويبدأ نحو 140 شخصًا تجربة كل يوم.
يدخل كل تسجيل عبر واجهة البرمجة إلى قائمة جهات اتصال باسم التجارب المجانية، وتبدأ رحلة بمشغّل انضمام جهة اتصال إلى قائمة على تلك القائمة. أراد الفريق أن يعرف أي ترحيب يدفع عددًا أكبر من المستخدمين الجدد إلى رفع أول ألبوم خلال أسبوع.
مساران بعد تقسيم واحد
الخطوة الأولى في الرحلة تقسيم بمسارين:
- المسار 1، بداية سريعة (المجموعة الضابطة): رسالة فيها زر واحد فقط، «Upload your first album»، ثم انتظار 6 أيام وخطوة هدف.
- المسار 2، جولة إرشادية: رسالة تسأل بكتلة استطلاع عمّا تصوّره أكثر وتبدأ الجولة من هناك، ثم انتظار يومين، ثم رسالة ثانية بنصائح لذلك النوع من التصوير، ثم انتظار 4 أيام وخطوة هدف.
المسار 1 · بداية سريعة (ضابطة)
الموضوع
Your first album in two minutes
المسار 2 · جولة إرشادية
الموضوع
Let's set up Darkroom Cloud together
قاعدة خطوة الهدف هي «first_album يساوي yes». يضبط التطبيق حقل جهة الاتصال هذا عبر واجهة البرمجة لحظة رفع أي شخص ألبومًا. وتتحقق خطوة الهدف من قاعدتها حين تصل إليها جهة الاتصال، لذلك ينتهي المساران بخطوة هدف بعد 6 أيام من التقسيم. وهذا يقع داخل نافذة الأيام السبعة لكل جهة اتصال، فيُقاس المساران عند النقطة نفسها.
اختر «إجراء تجربة»
على التقسيم، يقدّم إعداد طريقة التوزيع ثلاثة أوضاع. حصص ثابتة تحتفظ بالأوزان التي تحددها ولا تقيس شيئًا. تعظيم نتيجة (تحسين) يرسل مزيدًا من جهات الاتصال إلى المسار الأفضل تحويلًا مع وصول النتائج. إجراء تجربة (اختبار مسجَّل مسبقًا) يُبقي الحصص ثابتة ويعطيك نتيجة يمكنك الوثوق بها.
- المسار 1
- المسار 2
اليوم 0
اليوم 2
اليوم 7
اليوم 21
الحصص التي حددتها، ما دامت الرحلة تعمل. لا تجري أي مقارنة.
| التوقيت | المسار 1 | المسار 2 |
|---|---|---|
| اليوم 0 | 50% | 50% |
| اليوم 2 | 50% | 50% |
| اليوم 7 | 50% | 50% |
| اليوم 21 | 50% | 50% |
| التوقيت | المسار 1 | المسار 2 |
|---|---|---|
| اليوم 0 | 50% | 50% |
| اليوم 2 | 19% | 81% |
| اليوم 7 | 12% | 88% |
| اليوم 21 | 8% | 92% |
| التوقيت | المسار 1 | المسار 2 |
|---|---|---|
| فترة التسجيل، 20 يومًا | 50% | 50% |
| بعد القرار | 0% | 100% |
التعظيم مغرٍ، فقد كان سيرسل معظم المستخدمين الجدد عبر المسار الأفضل خلال أيام. لكنه لا يعطي مقارنة عادلة أبدًا ولا يحدد فائزًا، فما كان الفريق سيعرف كم تتفوق الجولة الإرشادية، ولا حتى هل تتفوق أصلًا. أراد الفريق هذه الإجابة قبل تغيير ترحيبه نهائيًا، فاختار التجربة.
سجّل السؤال مسبقًا
يفتح إعداد التجربة أربع خطوات. في الفرضية والمقاييس كتب الفريق فرضيته: «الجولة الإرشادية تدفع عددًا أكبر من المستخدمين الجدد إلى رفع أول ألبوم خلال أسبوع مقارنةً برسالة البداية السريعة، لأن المستخدمين الجدد يحتاجون إلى من يرشدهم.» ثم حدّد المقاييس:
- معدل بلوغ الهدف مقياسًا أساسيًا: نسبة جهات الاتصال التي وصلت إلى التقسيم وانتهت رحلتها عند خطوة هدف داخل نافذتها. ويتطلب خطوة هدف بعد التقسيم، وهي موجودة في المسارين.
- معدل النقرات الفريدة مقياسًا ثانويًا، لشرح النتيجة دون الحسم بها.
- معدل إلغاء الاشتراك مقياسَ حماية، لاكتشاف فائز ينفّر الناس.
في الصيغ والمحتوى، المجموعات هي مسارات التقسيم بالترتيب نفسه. سمّاها الفريق «بداية سريعة» و«جولة إرشادية»، وأبقى المسار 1 مجموعةً ضابطة، وترك الحصص عند 50% لكل منهما.
احسب مدة التسجيل
في الجدولة والنافذة تُضبط فترة كل جهة اتصال على 168 ساعة: تُحتسب نتائج كل جهة اتصال لمدة 7 أيام من لحظة وصولها إلى التقسيم.
قرأت أداة مدة التسجيل آخر 28 يومًا من الرحلة. في تلك المدة وصلت 3,920 جهة اتصال إلى التقسيم، أي 140 يوميًا، وبلغ 30% ممن انتهت نافذتهم هدفًا. حدّد الفريق أصغر ارتفاع يستحق الاكتشاف بـ5 نقاط مئوية، بقوة اختبار 80%. فعرضت أداة التخطيط:
- جهات الاتصال التي يجب أن تصل إلى التقسيم: 2,754، أي 1,377 لكل مسار.
- مدة التسجيل الموصى بها: 20 يومًا. بمعدل 140 جهة اتصال يوميًا، يبلغ كل مسار عيّنته في 19.7 يومًا. ثم تجري نافذة الأيام السبعة لكل جهة اتصال، فتصل النتائج النهائية بعد نحو 27 يومًا من البدء.
ضبط استخدام 20 يوم فترة التسجيل. وجمّدت المراجعة والقفل كل شيء، ثم بدأ الفريق التجربة.
أثناء التسجيل
منذ البدء، تحصل كل جهة اتصال تصل إلى التقسيم خلال الأيام العشرين التالية على مسار وتحتفظ به، حتى لو سجّلت مرة أخرى لاحقًا. وبعد تلك الأيام العشرين يعود التقسيم إلى أوزانه. ولا تُحتسب أي جهة اتصال إلا بعد انتهاء نافذتها. وإلى ذلك الحين تعرضها صفحة النتائج بوصفها ما زالوا داخل نافذتهم.
في منتصف الطريق أراد الفريق إعادة صياغة الرسالة الثانية في الجولة الإرشادية. عرض المحرر إشعارًا على تلك الخطوة: إنها على مسارات تجربة جارية، وأي تغيير سيُسجَّل. التغييرات مسموحة، لكن كل تغيير يُدرج مع تاريخه في التغييرات أثناء التجربة، لأن جهات الاتصال قبله وبعده تلقّت نسخًا مختلفة. فقرر الفريق الانتظار حتى تنتهي التجربة.
ولا يمكن أيضًا حذف الرحلة ما دامت تجربتها قيد المراقبة. وهذا يحمي جهات الاتصال المُسنَدة والنتائج التي ستنتج عنها.
اقرأ النتيجة
وصل التحليل النهائي بعد نافذة واحدة من انتهاء فترة التسجيل. كانت 2,800 جهة اتصال قد وصلت إلى التقسيم: 1,412 في البداية السريعة و1,388 في الجولة الإرشادية. واجتاز فحص نسبة العيّنة (p = 0.65): حصل كل مسار على حصته المستحقة من جهات الاتصال.
احتسبت النتائج كل من وصل إلى التقسيم أيًّا كان ما حدث بعد ذلك، وهذا هو مبدأ النية للمعالجة. جهة الاتصال التي ارتدّت رسالة الجولة إليها ما زالت تُحتسب في الجولة الإرشادية. وهكذا تبقى المقارنة عادلة.
المقياس الأساسي:
| المسار | وصلوا إلى التقسيم | بلغوا الهدف | معدل بلوغ الهدف |
|---|---|---|---|
| المسار 1، بداية سريعة (المجموعة الضابطة) | 1,412 | 424 | 30.0% |
| المسار 2، جولة إرشادية | 1,388 | 487 | 35.1% |
كان معدل بلوغ الهدف في الجولة الإرشادية أعلى بـ5.1 نقطة، ويُرجَّح أن يقع الفرق بين 1.6 و8.5 نقطة (p = 0.004). والنتيجة دالّ إحصائيًا. ومع هذا العدد من جهات الاتصال، كان الاختبار قادرًا على رصد فرق بنحو 5.0 نقاط بثقة، وهو الارتفاع الذي خطط له الفريق.
الأرقام الأخرى تشرح النتيجة دون أن تحسمها. بلغ معدل النقرات الفريدة في الجولة الإرشادية 60% مقابل 56%، لكنه مقياس ثانوي يُقرأ استكشافيًا. وبلغ مقياس الحماية لإلغاء الاشتراك 1.5% مقابل 1.3%، لم يثبت أنه أسوأ، فلم يمنع شيء الفائز.
سجّل القرار، ثم أرسل الجميع عبر المسار 2
تنتهي التجربة بقرار يسجّله الفريق. طلب تسجيل القرار النتيجة والمجموعة الفائزة وسببًا. اختار الفريق فائز، أي الجولة الإرشادية، وكتب السبب. والدليل المسجّل معه، «دالّ إحصائيًا»، يأتي من التحليل لا من النموذج.
تسجيل القرار لا يغيّر شيئًا في الرحلة. لكن ظهر زر جديد في صفحة النتائج وعلى التقسيم: إرسال الجميع عبر المسار 2. وشرح مربع الحوار ما يفعله: من الآن فصاعدًا تسلك كل جهة اتصال تصل إلى التقسيم المسار 2. وكرر الدليل أيضًا: «حدّد التحليل هذه الذراع فائزة: الفرق دالّ إحصائيًا.» لا تتغيّر النتائج، لأن كل من أُسند من قبل يبقى في مجموعته.
ضغط الفريق الزر. تعرض اللوحة الآن «الجميع ← المسار 2 (فائز التجربة)»، مع 100% و0% على المسارين. ويعيد تراجع التقسيم إلى أوزانه. ولولا تلك النقرة لما حدث شيء.
وماذا لو لم تكن دالّة إحصائيًا؟
لنفترض أن الجولة الإرشادية تقدّمت قليلًا فقط، دون دلالة إحصائية. يمكن للفريق تسجيل غير حاسم وترك التقسيم كما هو، أو إجراء تجربة أطول. هذه نتيجة طبيعية: تقول إن فرقًا بهذا الصغر لا يمكن تمييزه بهذا العدد من المشتركين.
ويمكنه أيضًا تسجيل فائز رغم ذلك. عندها يذكر السجل، نهائيًا، أن التحليل لم يحدد تلك المجموعة. يظل إرسال الجميع عبر المسار N متاحًا، لكن مربع الحوار ينبّه: «غير دالّ إحصائيًا: لم يحدّد التحليل هذه الذراع فائزة، لذا القرار قرارك.»
البدء
ضع تقسيمًا في بداية رحلتك بمسار لكل نسخة، واختم كل مسار بخطوة هدف داخل النافذة التي تخطط لها. اختر إجراء تجربة (اختبار مسجَّل مسبقًا)، ثم إعداد التجربة، ودع أداة مدة التسجيل تحدد فترة التسجيل. يشرح قسم التجارب داخل الرحلات كل خطوة، ويقارن قسم خطوة التقسيم أوضاع التوزيع الثلاثة.