解读实验结果

实验以你亲自记录的一个决定结束。结果页面提供做这个决定所需的一切：变体之间的差异、你对它能有多确定，以及发送本身是否公平。本页逐个面板介绍结果页面，然后解释这些数字的含义。

示例使用 Retro Revival 这家虚构的服装店，数字均为虚构。它的对照组（变体 A）提供 10% 折扣，变体 B 提供免运费。每个变体的邮件送达 1,960 位收件人，主要指标是购买转化率。

查看结果

每个实验的结果位于其邮件的洞察中的实验下。在实验列表中，每一行的菜单里都有在洞察中查看结果。首批结果在第一次分析之后出现，而第一次分析在发送完成后运行。观察期仍在进行时，页面会注明这是中期结果：在观察期结束前不要做决定。

页眉显示状态、观察期、目前的证据和可用的操作：解读、导出、记录决定、结束实验和部署胜出组，各自在适用时出现。

结果页面各面板

预注册

你在锁定时固定下来的内容：假设、各指标及其角色、显著性水平、变体、样本和统计选项。它放在这里，是为了让任何阅读结果的人都能确认，结果回答的正是当初提出的问题。

结果

主要指标卡片显示每个变体减去对照组的差异，以及它的区间、经 Holm 校正的 p 值和结论：显著、不显著或显著：对照组表现更好。卡片下方有一句话用通俗的语言说明结果的含义，最后给出可检测的最小差异：以这么多收件人，能可靠发现的差异有多大。

以 Retro Revival 为例，这句话说免运费比 10% 折扣高 1.33 个百分点（5.0% 对 3.7%）。真实的提升很可能在 0.05 到 2.62 个百分点之间。如果两者的表现其实相同，出现这么大的差距是不寻常的。

次要指标和护栏指标列在下方的表格中。次要指标是探索性的：每个标记为表现突出或表现不突出，从不标记为“显著”。护栏指标显示为差于对照组或未显示更差。只有明显更差的护栏指标才会阻止胜出。

与保留组相比

有保留组时，第二张卡片会按每位分配到的联系人，把每个发送了邮件的变体与什么都没收到的联系人进行比较。它显示的是邮件相对于完全不发送所带来的增量。这张卡片是描述性的：决定仍然是把各变体与对照组比较。

互动阶段

分开的柱状条，每个阶段一组：独立点击者和购买者，各自是相对于自己基数的比例。它们不是转化漏斗的步骤。有人可以不点击跟踪链接就购买，因为优惠码也能把订单关联到它的变体。

观察期内的趋势

主要指标在观察期内的走势，每次每日分析一个点。它只用来观察。途中时有时无的领先不是证据：检验只在观察期结束时读取一次。

数据质量

请先看这个面板，再看结果。它的统计检查说明抽样、发送和数据是否可靠：

• 分配：每个变体都包含抽样时分配给它的联系人。
• 样本比例：每个变体的邮件按抽样时的比例发出。
• 退信：各变体的退信率相近。如果不相近，指标会改为按每封发送的邮件计算，而不是按每封送达的邮件。
• 均衡性和构成：各变体在发送前已知的方面起点相同，例如互动程度和过往订单。
• 其他实验：联系人同时参与另一个实验时，两个实验是否在主要指标上相互影响。

样本比例检查最重要。如果抽样比例与实际发送比例之间的差距大到偶然造成它的机会在 2,000 次尝试中还不到一次，检查就不通过。这说明发送出了问题，因此检查不通过会把结果标记为无效。

检查下方依次是：发送时间（各变体发出的时间相差多少）、样本与重叠、送达（每个变体的分配、发送、退信和送达数）、奖励优惠码、按归因规则统计的订单，以及收入与促销。

其余受众

如果实验会把一个变体发给其余受众，这张卡片会显示对测试样本的每次查看、其余受众收到了哪个变体及原因，以及发出了多少封。它只决定其余受众收到什么。实验本身的决定仍然基于整个观察期来记录。

决定

你一旦记录了决定，它就会永久显示在这里，附带你的理由和分析给出的证据。

这些数字的含义

每次比较都有三部分：

• 差异：变体的比率减去对照组的比率，单位是百分点。免运费的 5.0% 减去 10% 折扣的 3.7%，是 +1.33 个百分点。
• 区间：真实差异很可能落入的范围。这里是 0.05 到 2.62 个百分点。它不包含零，所以很可能确有提升，只是提升可能不大。
• p 值：如果各变体的表现其实相同，出现这么大差距的频率有多高。这里 p = 0.041，低于 0.05 的显著性水平，所以差异是显著的。

独立点击者的情况则不同。免运费为 15.0%，对照组为 13.5%，但 p = 0.185，区间跨过了零。这只是一个方向，并不显著：点击上的差距可能只是偶然。

结果语句会是以下几种之一：

• 胜出：某个变体在主要指标上胜过对照组，且没有护栏指标阻止它。
• 尚无定论：证据不足，无法做出选择。这是正常且有用的结果。它说明即使存在差异，也小于这次测试能看出的程度。
• 无差异：每个变体都被证明与对照组接近，落在你锁定前设置的“无差异”阈值之内。没有设置阈值时，持平的结果会算作尚无定论。
• 结果不可信：某项数据质量检查未通过。做决定前请先查看该面板。
• 现在下结论太早：观察期仍在进行。

在小列表上，尚无定论的结果很常见。Retro Revival 的测试只能可靠发现约 1.9 个百分点的差异，所以它 1.33 个百分点的结果算是幸运。如果免运费带来的购买者是 85 位而不是 98 位（4.3% 对 3.7%），p 会是 0.29：尚无定论。这时正确的下一步是用样本量规划确定更大的样本或更长的观察期，而不是对同样的数字再看一遍。

为什么观察期是固定的

对正在运行的测试每看一次，噪声就多一次机会看起来像胜出者。只要在第一次越过常用阈值时就停下，虚假的胜出者就会多得多。所以固定期限实验只在你设定的观察期结束时读取一次。

Retro Revival 的 z 统计量最终为 2.039，高于 1.96 的固定阈值。只读取一次时，结果是显著的。但它在第 5 天就第一次超过了 1.96，所以每天偷看的人会在那时停下，而那时的证据更弱。

在 Business 及以上套餐中，序贯分析允许你在观察期内查看。每次查看都有更严格的边界，所以出现虚假胜出者的总体概率仍保持在你设定的显著性水平。在预期数据收集到大约一半之前不会查看，发送完成后的头 48 小时内也不会，而且每天最多查看一次。按 Retro Revival 的数字，没有一次查看越过边界：最后一次的边界是 2.056，刚好高于 2.039。如果某个变体提前越过了边界，你可以在观察期结束前记录决定。

多个变体与多个指标

比较越多，就越有机会某一项只是靠运气看起来不错。MailInApp 会对此进行校正：

• 主要指标对与对照组比较的各变体使用 Holm 校正。它的区间也相应显示得更宽：除对照组外有三个变体时，每个区间按 98.3% 而不是 95% 显示。
• 次要指标使用 Benjamini–Hochberg 校正。它们是探索性的，可以表现突出，但从不决定实验。
• 护栏指标有意采用更宽松的水平，因为漏掉真实的损害比一次误报代价更大。

校正后的比较

如果你在统计选项中保持开启了根据发送前已知的信息进行校正，结果还会显示校正后的比较。它考虑了每位联系人在抽样时的互动分数和购买记录，通常能让区间变窄。只要校正运行了，起决定作用的就是校正后的比较。未校正的比较也始终会显示。

这个选择和计划的其余部分一样，在锁定前确定，所以没人能在看到哪种读法更好之后再把它打开。当某个变体太小或没有可校正的内容时，会对所有变体同时跳过校正。

收入指标

每封送达邮件收入是把每个变体归因的商店收入除以其送达的收件人数。每位联系人的收入会在购买者的一个较高百分位处封顶，该百分位在锁定前选定，这样一笔超大订单就无法决定测试。当收入分布过于偏斜、常规公式不适用时，它的区间改用重抽样方法计算。

收入与促销按变体显示金额。Retro Revival 的数字，以美元计：

收入不含税费和运费，并且已扣除折扣。这不是利润计算。

• 促销成本是订单的折扣，加上你为每笔免运费订单估算的运费补贴。
• 优惠码核销是在已归因订单上兑换的优惠码数，除以发放给该变体收件人的优惠码数。
• 平均订单金额取决于哪些人购买了，所以它不能决定实验。这里免运费的订单金额更小，但购买的人更多。
• 退款：观察期内在 Shopify 和 WooCommerce 上发生的退款会从收入中扣除。在实验奖励功能推出之前连接的 Shopify 商店需要先重新连接。邮件内结账付款的退款不会扣除。
• 其他货币：货币与实验不同的订单不计入收入，而是单独统计。

免运费的每位送达收件人收入更高，但 p = 0.13：单看这一项并不显著。起决定作用的是主要指标购买转化率。

订单按你选择的归因规则依次匹配到变体：优惠码、跟踪链接、邮件内结账，最后是邮箱地址。第一条匹配的规则做决定，其余规则不再检查。订单卡片统计每条规则的匹配数，通过邮箱地址匹配的订单会标为可能。

每条规则和优惠码的生成方式见每个变体使用不同的奖励。

记录决定

观察期结束且最终分析完成后，记录决定会打开一个对话框。选择胜出（以及胜出的变体）、无差异或无定论，并写下你的理由。随决定一起记录的证据来自分析，而不是来自表单：

• 如果你选的变体不是分析认定的那一个，记录上会永久标注：“分析并未认定这一组胜出。”
• 如果结果未通过数据质量检查，或还没有任何分析，记录胜出需要填写例外说明。
• 决定一经记录便无法更改。

接下来：

• 结束实验会让记录成为定案。之后它的配置、结果和决定都不能再更改。如果实验提前做出了决定，请在整个观察期的最终分析完成后再结束它。
• 部署胜出组会用胜出的变体创建一封新邮件，带有它的内容和优惠、标题行和发件人，以及实验的联系人列表。实验分配过的每个人都会被排除在这封邮件的所有发送之外。在你从它的发送页面发出之前，不会发送任何邮件。把胜出的版本发给其余受众完整演示了这一过程。
• 导出会以 PDF（在 Business 及以上套餐中带有你的公司名称和品牌颜色）、CSV 表格或 JSON 下载报告。报告只包含数字，没有姓名或地址。
• 解读会请 Mia 用通俗的话描述结果，只使用报告中的数字和标签。除非分析认定差异显著，否则 Mia 从不说差异显著。每次使用消耗一次 Mia AI 请求。

记录决定就回答了实验的问题。把胜出组发给更多人是之后的另一个步骤。

相关内容

• 实验（A/B 测试）
• 用刮刮卡 A/B 测试找出更好卖的奖励
• 把胜出的版本发给其余受众
• Webhook 与事件
• 响应与 Webhook