把胜出的版本发给其余受众

实验以一个决定结束,而不是一次发送。记录了胜出者之后,“部署胜出组”会把胜出的变体连同它的内容、主题和优惠变成一封普通邮件。参与过测试的人会被永久排除,在你发送之前不会发出任何邮件。

示例场景:本页中的品牌、人物和所有数据均为虚构。

主题

Grunge is back: the 90s Edit

实验以一个决定结束,而不是一次发送。记录了胜出者之后,“部署胜出组”会把胜出的变体变成一封普通邮件,发给其余受众。所有参与过测试的人都会被排除在外,在你亲自发送之前,不会发出任何邮件。

把两者分开是有意为之。决定记录的是数据显示了什么。发送胜出者是之后的营销选择,有它自己的受众、时机和优惠。

本指南以虚构的服装店 Retro Revival 为例,数字均为虚构。它的实验把 10% 折扣(变体 A,对照组)和免运费(变体 B)分别藏在刮刮卡下面,在喜欢摇滚和 90 年代的 6,420 位订阅者中的 4,000 位身上做了比较。这个实验从头开始的过程见用刮刮卡 A/B 测试找出更好卖的奖励。

从已记录的胜出者开始

当记录了胜出者、且实验处于已决定或已关闭状态时,实验结果页面上会出现部署胜出组。Retro Revival 的购买转化率,免运费为 5.0%,10% 折扣为 3.7%,差异显著。团队把免运费记录为胜出者,并关闭了实验。

  1. 草稿
  2. 已锁定
  3. 已计划
  4. 发送中
  5. 观察中
  6. 分析中
  7. 已决定或无定论
  8. 已关闭

部署胜出组

做出决定后的一次单独发送,不是一个状态。

实验的各个状态,按顺序排列
步骤状态
1草稿
2已锁定
3已计划
4发送中
5观察中
6分析中
7已决定
7无定论
8已关闭
不在这条线上部署胜出组
锁定会在发送任何邮件之前冻结计划。记录决定就回答了实验的问题。把胜出组发给更多人是另一个步骤。

部署不在实验的主线上。它不会改变实验、结果或决定,关闭后也可以部署。决定为“无定论”或“无差异”时不会部署任何内容;保留组没有邮件,也无法部署。

部署胜出组会创建什么

点击部署胜出组会打开一个简短的确认框,然后点击创建邮件,就会创建一封以实验和变体命名的新邮件。它就是胜出变体的收件人收到的内容:

  • 变体的内容和优惠。 应用了该变体改动的邮件;如果该变体发送的是另一封邮件,则就是那封邮件。
  • 主题和发件人。 该变体的主题行,以及发送它的发件人。
  • 实验的联系人列表作为受众。

接着会打开新邮件的发送页面。那里的提示会写明实验和变体,主题和实验的受众筛选条件也已经替你填好。在你从这个页面发送之前,不会发出任何邮件。再次点击部署胜出组会打开同一封邮件,而不会再创建一封。

谁会收到,谁不会

新邮件的每一次发送,都会永久排除实验分配过的所有人,无论他们在哪个变体。他们已经收到过这封邮件的某个版本,他们的结果属于这次测试。每次发送都会把他们标为已跳过,原因是“In an experiment on this email”(属于这封邮件的实验)。

Retro Revival 的筛选条件“摇滚/另类 且 90 年代”仍然定位 6,420 位联系人。参与过实验的 4,000 位被排除在外,所以有 2,420 位订阅者可以收到胜出的邮件。

发送前你可以修改受众。发送页面上的筛选条件是普通的筛选条件,你可以把它放宽到整个列表,也可以缩小到某个群体。已退订或因其他原因不符合条件的联系人,会像任何一次发送一样被跳过。

优惠也一起带过来

如果胜出的变体带有店铺奖励,新邮件会保留它。每次发送都会在你连接的店铺上为每位收件人生成一个一次性优惠码,有效天数与该变体的优惠码相同。Retro Revival 的免运费优惠码有效期为 7 天,从每次发送算起。

发送前,请确认这个优惠仍然合理。免运费或折扣在它带来的每一笔订单上都要花钱。实验的收入数字不是利润计算:它不含税费和运费,并且已经扣除了折扣。

发送给超过 200 位联系人

从发送页面一次最多发给 200 位收件人。Retro Revival 的 2,420 位需要分多次发送。有两种方法:

  • 多次一次性发送。 每次最多选择 200 位联系人。发送记录会标出谁已经收到过这封邮件。
  • 定期发送。 在定期发送中添加相同的筛选规则,并创建每日或每周的计划。每次运行最多发给 200 位符合条件、且还没收到这封邮件的联系人,直到所有人都收到为止。实验中的联系人会在过程中各被检查并跳过一次,所以最初几次运行发出的邮件会少一些。

Lite 及以上套餐包含定期发送。

或者在启动前选好其余受众收到的版本

如果你不想等整个观察期结束,可以在启动前就决定其余受众收到什么邮件。实验计划与观察期步骤中的将结果发送给其余受众,会先在一个样本上测试,然后把一个变体发给所有其他已定位的联系人。它分批发送,没有 200 位联系人的限制。它需要随机样本,这样才会有其余受众可发。

你选择的策略决定其余受众收到什么。假设 Retro Revival 在 2,000 位联系人的样本上测试,并在 48 小时后做出决定。那时,免运费组有 49 位收件人购买,10% 折扣组有 36 位:5.0% 对 3.7%,但尚不显著(p = 0.15)。

  • 选择发送显著胜出者,会把对照组的 10% 折扣发给其余 4,420 位联系人,因为当时还没有变体胜出。
  • 选择发送领先者(收益策略),会发送免运费,因为它看起来最好。在变体接近时,这是一个合理的押注,但它并不能证明免运费更好。

无论哪种,这个选择只决定其余受众收到什么。实验仍会跑完整个观察期,你仍然要根据完整结果记录它的决定。

开始使用

在实验结果页面记录胜出者,并关闭实验。然后点击部署胜出组,检查新邮件包含的内容,再点击创建邮件。在它的发送页面上检查主题、受众筛选条件和优惠,然后每次最多 200 位分批发送,或设置定期发送。解读实验结果介绍了如何先记录决定。

典型的构建与发送流程

  1. 1

    记录胜出者

    在实验结果页面上,用“记录决定”选择胜出变体并写明理由。实验处于“已决定”或“已关闭”时,就可以部署。

  2. 2

    部署胜出组

    点击“部署胜出组”再点击“创建邮件”,会用胜出变体的内容、主题、发件人和优惠创建一封发给实验列表的新邮件。

  3. 3

    检查新邮件

    它的发送页面会写明实验和变体,并填好主题和受众筛选条件。发送前请确认优惠仍然合理。

  4. 4

    发给其余受众

    实验分配过的所有人在这封邮件的每次发送中都会被跳过。每次最多发 200 位联系人,或者设置定期发送。

常见问题

实验结束时会自动发送胜出者吗?

不会。记录决定只是记录数据显示了什么。“部署胜出组”会创建邮件,但不会自行发送。唯一的自动选项是“将结果发送给其余受众”,需要在启动前的“计划与观察期”步骤中选择。

参加过测试的联系人会再次收到邮件吗?

不会。部署后邮件的每次发送都会跳过实验分配过的所有人,无论在哪个变体,并以 In an experiment on this email 为原因标为已跳过。

胜出的优惠会一起带过来吗?

会。如果胜出变体带有店铺奖励,新邮件的每次发送都会在你连接的店铺上为每位收件人生成一次性优惠码,有效天数与该变体的优惠码相同。

可以部署无定论的结果吗?

不可以。“部署胜出组”需要已记录的胜出者。决定为无定论或无差异时不会部署任何内容;保留组没有邮件,也无法部署。

怎样发给超过 200 位联系人?

从发送页面一次最多发给 200 位收件人。可以分多批发送,或者用同样的筛选条件创建定期发送:每次运行最多发给 200 位符合条件、且还没收到这封邮件的联系人。

在工作室中构建它

从免费套餐开始——每个套餐都包含全部互动模块和完整的降级引擎。