在邮件列表上做的 A/B 测试，大多数规模太小，看不出它们想找的差异。实验“受众”步骤里的样本量规划，会在发送任何邮件之前告诉你：测试需要多少联系人，或者你的受众能可靠显示的最小差异是多少。
规模太小的测试，即使其中一个版本确实更好，通常也会以“无定论”结束。这不是测试失败，而是说明这个问题问的人太少。先做规划，你就知道是按现状启动测试、测试一个更大胆的改动，还是等受众更大时再测。
下面的例子以虚构的服装店 Retro Revival 为例，数字均为虚构。它的完整奖励测试另有一个专门的使用场景。
规划需要你提供什么
打开一个实验，进入受众与样本。样本量规划位于受众人数下方。它针对你在第 1 步选择的主要指标做规划，需要四个数值：
- 对照组的预期比率。 例如，送达的收件人中购买的比例。规划会根据你自己的历史数据填入。
- 值得发现的最小提升。 会改变你做法的、相对对照组的最小差异。对于比率，用百分点表示：1 个百分点就是从 3.7% 到 4.7%。
- 检验效能。 当这么大的提升真实存在时，测试能发现它的概率。通常选 80%；85%、90% 和 95% 需要更多联系人。
- 预期送达率。 退信的邮件不会带来购买，所以规划会增加联系人来弥补。
显著性水平来自第 1 步，各变体之间的分配来自实验组与内容步骤。
从你自己的历史数据开始
很少有人能记住自己的基线，凭感觉估计往往偏差很大。规划会从你的账户中读取基线，并说明每个数字的来源：
- 这个列表上过去的实验，没有的话就用你其他列表上的实验。涵盖所有指标，包括购买和收入。
- 你最近发给这个列表的邮件，用于还没有实验测量过的点击或回复类主要指标。
- 你过去 90 天的发送，用于送达率，以及退订和投诉的护栏指标。
某个指标没有历史数据时，它会请你输入预期比率。你也可以覆盖任何数字。这时它会标为你的估计值，仅用于规划，点击使用历史数据即可恢复测量值。修改过的基线或送达率只用于规划。要发现的提升和检验效能会随实验一起保存。
解读建议
你一输入值得发现的最小提升，规划就会显示推荐样本：整个测试需要的联系人数，以及每个变体需要多少。如果你已定位的受众足够大，它会直接说明。然后一个按钮就能把样本设为这个规模：使用这么多联系人，或者如果你还没有抽样，就随机抽取这么多。
如果受众太小，它会明确告诉你：此受众太小，无法发现低于某个百分点数的提升。这个数字就是你的测试的真实规模。比它更小的真实差异很容易被漏掉。按这个数字规划会据此更新计划。
每个变体的联系人数
| 可检测的最小差异 | 每个变体的联系人数 |
|---|---|
| 1.0 个百分点 | 6,444 |
| 1.5 个百分点 | 3,027 |
| 2.0 个百分点 | 1,793 |
| 2.5 个百分点 | 1,206 |
| 3.0 个百分点 | 877 |
这条曲线展示了其中的取舍。想发现的差异减半，每个变体需要的联系人就几乎变成四倍。Retro Revival 的购买率为 3.7%，在 98% 送达率和 80% 检验效能下：
| 要发现的最小提升 | 每个变体的联系人 |
|---|---|
| 1 个百分点 | 6,444 |
| 1.3 个百分点 | 3,943 |
| 1.5 个百分点 | 3,027 |
| 2 个百分点 | 1,793 |
| 3 个百分点 | 877 |
Retro Revival 希望免运费能让购买率提高 1.3 个百分点，这需要每个变体 3,943 位联系人。它总共只有 4,000 位，也就是每个变体 2,000 位。在这个样本下，规划给出的可可靠发现的最小提升约为 1.9 个百分点。团队明知更小的真实差异可能会被漏掉，仍然进行了测试。
测试需要更多联系人的情况
有几种选择会让数字变大，规划会指出是哪一种：
- 更多变体。 每个变体都以更严格的水平与对照组比较，使所有比较合在一起仍保持你的显著性水平。三个变体时，每个变体需要的联系人比两个变体时多。
- 分配不均。 较小的保留组或较大的对照组，会让每次比较的成本高于均分。
- 护栏指标的容差。 带容差的护栏指标可能比主要指标需要更多联系人。这时规划会按护栏指标来确定测试规模。
- 序贯分析（Business 套餐及以上）。在观察期内查看结果，比只在最后看一次需要更多联系人。规划会说明需要多多少。
更小的测试规模：Test & Roll
有时你不需要证据，只需要为列表其余部分做出更好的选择。在将结果发送给其余受众中选择发送领先者（收益策略），会在一次短测试后，把看起来最好的变体发给其他所有人。
对于这种策略，规划可以建议一个收益最优的测试规模（Test & Roll）。它会权衡你过去实验结果的波动程度，以及列表其余部分可能获得的收益。前提是至少有两个过去的实验，并且是没有保留组的两个变体。这个规模通常远小于推荐样本。这是一个收益上的选择：这么大的样本通常太小，找不到显著的胜出者。
计划在锁定时固定
要发现的提升和检验效能随实验保存，并在锁定时与其余预注册内容一起固定。之后，结果页面会报告已结束的测试能可靠发现的最小差异。如果测试以无定论结束，这个数字能告诉你是否可能漏掉了真实的差异。
那快速的主题行测试呢？
在发送页面上做的普通 A/B 发送没有规划，也不会事先固定任何内容。对于重要的主题行，比如续订提醒，请把它作为实验运行，并按点击率而不是打开率来规划。Apple 邮件隐私保护会虚增打开数，所以打开率不适合作为主要指标。
变体 A (对照组)
主题
The October restock is here
变体 B
主题
Back in stock: the 3 cameras you asked for
点击比购买常见得多，所以主题行测试需要的联系人通常比奖励测试少得多。基线会用你最近发给这个列表的点击历史来填入。
开始使用
在邮件的发送页面用作为实验运行创建实验。在假设与指标中选择主要指标，然后在受众与样本中打开样本量规划。确认基线的来源，输入足以让你采取行动的最小提升，并在锁定之前确定样本规模。实验（A/B 测试）介绍了每一步。