用刮刮卡 A/B 测试找出更好卖的奖励

免运费还是 10% 折扣：哪种奖励能把更多订阅者变成买家？本指南用实验的方式来回答。把两种奖励藏在同一张刮刮卡下面，同时发出两个版本，让购买来决定。

Retro Revival 是一个虚构的服装品牌，这里的所有数字都是为了举例而编造的。这次测试的概况：50,874 位订阅者 · 2 个奖励变体 · 7 天观察期。

认识 Retro Revival

Retro Revival 用回收材料和有机材料设计复古风格的服装，并与独立手工艺人合作制作。新系列 Grunge Revival: The 90s Edit 重现了 90 年代的另类时尚。

为了推出新系列，营销团队想给订阅者一份奖励。他们没有去猜哪种奖励有效，而是设计了一个对照实验，按购买来决定。

同一封邮件，只有一处不同

每位收件人收到的都是同一封邮件：标题行、系列介绍文案、商品轮播、刮刮卡和商店按钮都一样。只有卡片下揭晓的奖励不同。这样，购买上的差异就可以归因于奖励，而不是设计。

这两个版本是同一个实验的变体。实验会把每个变体与对照组比较，只有对照组以外的变体才能被判为胜出。所以，对照组应该是你无论如何都会发的那个优惠。这里是 10% 折扣，即变体 A。免运费是变体 B。

两个变体共用一封邮件。在工作室中，从工具栏的变体菜单里选一个变体，只为这个变体修改卡片的奖品。可以在下面试试两个变体：刮开卡片、查看揭晓后的样子，或查看不支持刮刮卡的邮件应用显示的回退版本。

卡片的商店按钮放在揭晓的奖品内。在刮刮卡能运行的应用中，卡片刮开后按钮才会出现，所以点击发生在看到奖励之后。邮件里卡片下方没有第二个按钮，因为那个按钮不揭晓也能点。两种位置的对比见链接的位置。

发送前先预注册

在假设与指标这一步，团队在发送任何内容之前先把计划写下来：

• 假设： 免运费会比 10% 折扣把更多订阅者变成买家。
• 主要指标： 购买转化率，即邮件已送达的收件人中完成购买的比例。只有这一个数字决定实验结果。
• 次要指标： 唯一点击率和每封送达邮件收入。它们用来解释结果，但不决定结果。
• 护栏指标： 退订率。胜出的变体在这一项上不能明显更差。
• 显著性水平： 5%（双侧），在 7 天观察期上做固定期限分析。

团队没有选用观测到的揭晓率和揭晓后点击率。MailInApp 目前还不记录收件箱中的揭晓。而且揭晓后的点击还取决于谁选择了揭晓，所以这个指标不是随机化的比较。

在检查并锁定这一步点击锁定预注册，会固定假设、指标、受众和变体，并抽取样本。结果出来后，谁也不能改用一个看起来更好的指标。

找准订阅者

The 90s Edit 面向喜欢摇滚和 90 年代的订阅者。在受众与样本这一步，团队选择有 50,874 位联系人的列表，并添加两条筛选规则：摇滚–另类 且 90 年代。受众人数卡片显示每个阶段：

• 符合条件在定位之前确定。有 4,554 位联系人根本不能发送邮件，原因列在已排除列表中：已退订、没有营销同意、地址无效等。剩下 46,320 位。
• 已定位只对符合条件的联系人应用筛选。喜欢摇滚–另类的有 11,240 位，喜欢 90 年代的有 14,870 位，但两者都喜欢的只有 6,420 位。
• 参与实验就是样本：4,000 位，每个变体 2,000 位。

抽样之前，团队按 customer_type 字段查看受众洞察。在 6,420 位已定位的联系人中，2,311 位是客户，3,981 位是潜在客户。128 位没有值，归入无值分组，数量很小，可以不做处理。

受众取决于背后的列表。字段和同意的内容见搭建可用于测试的订阅者数据库，筛选本身见用“且”和“或”组合受众筛选。

公平地抽样和分配

团队按 customer_type 选择均衡随机样本。样本在客户、潜在客户和无值联系人中分别抽取，所以两个变体的构成相同：每个变体各有 720 位客户、1,240 位潜在客户和 40 位无值联系人。简单随机样本平均来说是公平的，但任何一次抽样都可能出现偏差。

每位联系人只在一个变体中，没有人会同时收到两种奖励。排除已在其他实验中的联系人可以防止之前某次测试的优惠渗入这次实验。

每个变体 2,000 位够吗？对于团队期望的提升，样本量规划给出的答案是不够。要把购买率从 3.7% 提高到 5.0%，即提高 1.3 个百分点，每个变体需要 3,943 位联系人。

总共 4,000 位时，测试能可靠地发现约 1.9 个百分点的提升。团队明知更小的真实差异可能被漏掉，仍然决定继续。规划工具的用法见了解你的 A/B 测试需要多少联系人。

奖励与启动

在奖励与归因这一步，变体 A 设为 10% 的按比例折扣，变体 B 设为免运费。两个变体的优惠码都有效 7 天，所以哪种优惠都不会多出起效的时间。每位收件人都会获得与其本人绑定的一次性优惠码。优惠码在发送时，由连接到实验联系人列表的 Shopify 或 WooCommerce 商店生成。

刮刮卡的奖品链接是 {{discount_url}} 合并标签，它会带着每位收件人自己的优惠码把他们送到商店。本页的预览直接链接到商店，因为预览无法生成优惠码。

对于免运费，团队把每笔订单的平均运费填为 $5.50。每笔免运费订单都会把这笔钱计为促销成本。在 WooCommerce 上，免运费优惠码还需要一个接受优惠券的 Free Shipping 配送方式，没有时这一步会提示。

同一步还要设置订单归因：把商店订单匹配到变体的规则，在锁定时固定。团队保留了三条默认规则：优惠码、跟踪链接和邮件内结账。**邮箱地址（可能）**保持关闭，所以计入的每笔订单都是确定的匹配。

启动会按实际发送的样子生成每个变体的邮件。只要某个变体的邮件在任何位置（包括回退版本）显示了另一个变体的奖励，就会拒绝启动。之后，两个变体在同一时间发出，在相同的几分钟内交替发送。每个变体有 40 封邮件退信，所以每个变体送达 1,960 封。下面的所有比率都是相对这些已送达邮件计算的。

刮开之后会发生什么

刮开卡片发生在收件人的邮件应用里。MailInApp 目前还不记录收件箱中的揭晓，所以本指南无法显示有多少人刮开了卡片，也无法显示谁刮开后没有点击。MailInApp 能收到的，是对奖品链接的点击。

因为按钮放在揭晓的奖品内，在刮刮卡能运行的邮件应用中，点击发生在揭晓之后。在显示回退版本的应用中，奖品和链接从一开始就能看到。

唯一点击人数方面，免运费是 294 人，10% 折扣是 265 人：分别占已送达邮件的 15.0% 和 13.5%。相差 1.5 个百分点，但 p = 0.185。点击上的差异只是一个方向，并不显著：可能只是偶然。

点击的人和购买的人是两个独立的指标，都以 1,960 封已送达邮件为基数。它们不是漏斗的各个阶段。有人可以不经过跟踪点击就购买，因为优惠码也能把订单匹配到它的变体。

由购买来决定

观察期结束后，结果页面会读取主要指标。免运费组有 98 位收件人购买，10% 折扣组有 72 位：分别是 5.0% 和 3.7%。

结果句子说，免运费比 10% 折扣高 1.33 个百分点。真实的提升很可能在 0.05 到 2.62 个百分点之间，p = 0.041。这低于 5% 的显著性水平，所以这个差异是显著的。按相对值算，免运费多卖给了 36.1% 的收件人。

区间很宽，下限接近零。在这里免运费很可能卖得更多，但多多少并不确定。回想一下规划工具：这次测试只能可靠地看出约 1.9 个百分点的差异，所以 1.33 个百分点的结果算是运气好。

护栏指标退订率没有问题：免运费是 0.20%，10% 折扣是 0.26%，所以它不会阻止胜出的变体。

收入与促销按变体显示金额，以美元计：

收入不含税费和运费，并且已扣除折扣。这不是利润计算。

免运费的订单金额更小，但购买的人更多。每封送达邮件收入在免运费组更高，但 p = 0.13：单看这一项并不显著。它是次要指标，所以只解释结果，不决定结果。

促销成本是每种奖励送出去的部分。对 10% 折扣来说，是每笔订单的折扣。对免运费来说，是每笔免运费订单估算的 $5.50 运费。这两列都不是利润：已售商品的成本不在其中任何一列。

每笔订单通过归因规则匹配到它的变体，规则按固定顺序检查。第一条匹配的规则做决定，其余的不再检查。只有在 7 天观察期内下的订单才计入。

Retro Revival 的每位买家都使用了自己的优惠码，所以优惠码核销与购买人数一致：每个变体 2,000 个优惠码中分别有 72 个和 98 个被使用。也就是说，所有订单都由第一条规则决定。结果页面的订单卡片会显示每条规则匹配到多少笔订单。退款和其他货币的处理见收入指标。

记录决定并结束

实验以团队自己记录的决定结束。点击记录决定会打开一个对话框：选择胜出，变体 B，免运费。理由中写明购买差异显著、点击和收入不显著、区间很宽。与决定一起保存的证据来自分析：显著。

接着，结束实验会让记录成为最终版本。导出可以把报告下载为 PDF、CSV 表格或 JSON。报告包含预注册、各变体的数字、各项检查和决定，不含姓名或地址。

实验到这里就结束了。把免运费记录为胜出，回答了实验的问题。这不会发送任何内容。把免运费提供给其余受众，是另一项操作，有自己的受众和时间安排：把胜出的版本发给其余受众。

三点启示

1. 只改一处。 两个变体收到的是同一封邮件，所以购买上的差距来自奖励。用一封邮件、每个变体做一处覆盖，就能保持这一点。
2. 点击指方向，购买做决定。 免运费带来了更多点击，但并不显著。只有发送前确定的主要指标选出了胜出的变体。
3. 做出决定不等于发送。 团队把免运费记录为胜出，并附上证据。考虑到运费成本后再把它发给更多人，是之后的事。

如果结果无定论呢？

假设免运费组购买的收件人是 85 位而不是 98 位。那就是 4.3% 对 3.7%，p = 0.29。结果页面会显示无定论：没有足够的证据做出选择。

这是正常且有用的结果。它说明即使存在差异，也小于这次测试能看出的程度。团队会附上理由记录无定论，并继续把 10% 折扣作为常规优惠。想了解更多，可以用规划工具安排更大的样本或更长的观察期，再做一次新实验。团队不会因为免运费的比率更高，就把它称为胜出。

开始使用

在工作室中打开邮件，添加一张刮刮卡，并把它的奖品链接设为 {{discount_url}}。然后用作为实验运行开始一个实验，为每个变体设置奖励，并在发送前锁定计划。每一步的说明见实验（A/B 测试），如何解读返回的结果见解读实验结果。