实验以一个决定结束,而不是一次发送。记录了胜出者之后,“部署胜出组”会把胜出的变体变成一封普通邮件,发给其余受众。所有参与过测试的人都会被排除在外,在你亲自发送之前,不会发出任何邮件。
把两者分开是有意为之。决定记录的是数据显示了什么。发送胜出者是之后的营销选择,有它自己的受众、时机和优惠。
本指南以虚构的服装店 Retro Revival 为例,数字均为虚构。它的实验把 10% 折扣(变体 A,对照组)和免运费(变体 B)分别藏在刮刮卡下面,在喜欢摇滚和 90 年代的 6,420 位订阅者中的 4,000 位身上做了比较。这个实验从头开始的过程见用刮刮卡 A/B 测试找出更好卖的奖励。
从已记录的胜出者开始
当记录了胜出者、且实验处于已决定或已关闭状态时,实验结果页面上会出现部署胜出组。Retro Revival 的购买转化率,免运费为 5.0%,10% 折扣为 3.7%,差异显著。团队把免运费记录为胜出者,并关闭了实验。
- 草稿
- 已锁定
- 已计划
- 发送中
- 观察中
- 分析中
- 已决定或无定论
- 已关闭
部署胜出组
做出决定后的一次单独发送,不是一个状态。
| 步骤 | 状态 |
|---|---|
| 1 | 草稿 |
| 2 | 已锁定 |
| 3 | 已计划 |
| 4 | 发送中 |
| 5 | 观察中 |
| 6 | 分析中 |
| 7 | 已决定 |
| 7 | 无定论 |
| 8 | 已关闭 |
| 不在这条线上 | 部署胜出组 |
部署不在实验的主线上。它不会改变实验、结果或决定,关闭后也可以部署。决定为“无定论”或“无差异”时不会部署任何内容;保留组没有邮件,也无法部署。
部署胜出组会创建什么
点击部署胜出组会打开一个简短的确认框,然后点击创建邮件,就会创建一封以实验和变体命名的新邮件。它就是胜出变体的收件人收到的内容:
- 变体的内容和优惠。 应用了该变体改动的邮件;如果该变体发送的是另一封邮件,则就是那封邮件。
- 主题和发件人。 该变体的主题行,以及发送它的发件人。
- 实验的联系人列表作为受众。
接着会打开新邮件的发送页面。那里的提示会写明实验和变体,主题和实验的受众筛选条件也已经替你填好。在你从这个页面发送之前,不会发出任何邮件。再次点击部署胜出组会打开同一封邮件,而不会再创建一封。
谁会收到,谁不会
新邮件的每一次发送,都会永久排除实验分配过的所有人,无论他们在哪个变体。他们已经收到过这封邮件的某个版本,他们的结果属于这次测试。每次发送都会把他们标为已跳过,原因是“In an experiment on this email”(属于这封邮件的实验)。
Retro Revival 的筛选条件“摇滚/另类 且 90 年代”仍然定位 6,420 位联系人。参与过实验的 4,000 位被排除在外,所以有 2,420 位订阅者可以收到胜出的邮件。
发送前你可以修改受众。发送页面上的筛选条件是普通的筛选条件,你可以把它放宽到整个列表,也可以缩小到某个群体。已退订或因其他原因不符合条件的联系人,会像任何一次发送一样被跳过。
优惠也一起带过来
如果胜出的变体带有店铺奖励,新邮件会保留它。每次发送都会在你连接的店铺上为每位收件人生成一个一次性优惠码,有效天数与该变体的优惠码相同。Retro Revival 的免运费优惠码有效期为 7 天,从每次发送算起。
发送前,请确认这个优惠仍然合理。免运费或折扣在它带来的每一笔订单上都要花钱。实验的收入数字不是利润计算:它不含税费和运费,并且已经扣除了折扣。
发送给超过 200 位联系人
从发送页面一次最多发给 200 位收件人。Retro Revival 的 2,420 位需要分多次发送。有两种方法:
- 多次一次性发送。 每次最多选择 200 位联系人。发送记录会标出谁已经收到过这封邮件。
- 定期发送。 在定期发送中添加相同的筛选规则,并创建每日或每周的计划。每次运行最多发给 200 位符合条件、且还没收到这封邮件的联系人,直到所有人都收到为止。实验中的联系人会在过程中各被检查并跳过一次,所以最初几次运行发出的邮件会少一些。
Lite 及以上套餐包含定期发送。
或者在启动前选好其余受众收到的版本
如果你不想等整个观察期结束,可以在启动前就决定其余受众收到什么邮件。实验计划与观察期步骤中的将结果发送给其余受众,会先在一个样本上测试,然后把一个变体发给所有其他已定位的联系人。它分批发送,没有 200 位联系人的限制。它需要随机样本,这样才会有其余受众可发。
你选择的策略决定其余受众收到什么。假设 Retro Revival 在 2,000 位联系人的样本上测试,并在 48 小时后做出决定。那时,免运费组有 49 位收件人购买,10% 折扣组有 36 位:5.0% 对 3.7%,但尚不显著(p = 0.15)。
- 选择发送显著胜出者,会把对照组的 10% 折扣发给其余 4,420 位联系人,因为当时还没有变体胜出。
- 选择发送领先者(收益策略),会发送免运费,因为它看起来最好。在变体接近时,这是一个合理的押注,但它并不能证明免运费更好。
无论哪种,这个选择只决定其余受众收到什么。实验仍会跑完整个观察期,你仍然要根据完整结果记录它的决定。
开始使用
在实验结果页面记录胜出者,并关闭实验。然后点击部署胜出组,检查新邮件包含的内容,再点击创建邮件。在它的发送页面上检查主题、受众筛选条件和优惠,然后每次最多 200 位分批发送,或设置定期发送。解读实验结果介绍了如何先记录决定。