生命周期邮件的标题行,通常是单次发送几乎得不到任何真实信号的那个变量。在主标题之外最多再加 4 个变体,每次发送都会用自己固定的打乱顺序把收件人分配到各个变体,在重试之间保持稳定。发送出去之后,打开率和响应率就会并排显示。
一封试用到期或续订邮件对每位收件人只有一次真正的机会——与其猜测,不如在这一次机会上测试标题行,多花的那三十秒设置完全值得。
一次最多测试 5 条标题行
在一次性发送的主标题字段下方,最多再添加 4 个变体——总共 2 到 5 条。每位收件人的分配取决于其邮箱地址与本次发送,因此被重试的邮件绝不会打乱谁看到了哪条标题,而下一次测试会重新划分列表。
并排查看结果
一旦一次多变体发送出去,这封邮件的洞察就会在发送下显示一张 A/B 测试卡片:你所选那次发送中每个变体的打开率、点击率和响应率。每次发送单独统计,所以旧测试的数字不会混入新测试。在 Pro 及以上套餐中,这张卡片还会显示每个变体与变体 A 的差异以及区间。
或者让 MailInApp 挑选获胜者
开启自动挑选获胜者后,会先只给名单中的一部分测试样本发送(例如 20%,在各变体间平分)。判定指标可以是打开、点击、邮件内响应或营收。对于生命周期邮件,请选择响应或点击。按营收判定需要 Pro 或更高套餐,并且只计入在邮件内通过商品模块完成的购买。
到了你设定的等待时间,MailInApp 会把在该指标上每位收件人比率最高的变体发送给其余所有人。如果打平,或每个变体的发送量少于 5 封,则回退到第一个变体,并在 A/B 测试卡片上如实标注,而不是宣称有获胜者。
宣布获胜者之前
简单的 A/B 发送不会预先固定任何东西,所以它的卡片只是简单比较,而不是结论。每个变体只有几百名收件人时,一两个百分点的差距往往只是偶然。请寻找大的差距,并在下一批用户上重复测试。每次发送都会重新打乱收件人,所以下一次测试会把不同的联系人放进变体 A。其余注意事项见谨慎解读 A/B 结果。
简单的 A/B 不够用时
如果标题行关系到续订或升级,请改为把它作为实验运行:发送页面 A/B 区域中的作为实验运行会从同一封邮件开始创建一个实验。你可以选择真正重要的指标,例如点击而不是打开,或在 Pro 及以上套餐中选择购买和营收;样本量规划会告诉你测试需要多少联系人。结果附带统计检验,并由你记录决定。你会得到什么,见解读实验结果。
把获胜者带入你的持续节奏
某个变体在一次性测试中胜出后,把它设为触达这个生命周期阶段的定期计划的主题,之后每次运行都会发送胜出者。
你自己的系统也能看到变体
每位收件人的变体会伴随他的所有行为:他在洞察中的回答、点击和购买,以及发给他的每次 Webhook 投递。这样你就能确认,胜出的主题是否不仅带来了打开,还带来了邮件内更多的点击或购买。
快速上手
在一次一次性的生命周期发送(一封试用到期或续订提醒)上,添加 2 到 5 条标题行变体并发送出去。在这封邮件的洞察中查看 A/B 测试卡片,然后把获胜的标题设置为你面向同一个生命周期阶段的定期发送计划上的唯一标题。