新的试用用户应该收到一封把他带进产品的简短邮件，还是一段持续几天的引导之旅？旅程实验可以用你自己的注册用户来回答这个问题。每个新联系人在分流处被分配一条路径并一直保留，目标步骤统计谁真正开始使用了产品。结果出来后由你决定，也由你亲手让所有人走胜出的路径。
本指南以 Darkroom Cloud 为例，这是一个虚构的照片存储应用，文中所有数字均为虚构。这类测试更适合放在旅程里，而不是一次发送中。两个版本的差别不止一封邮件，而且新联系人每天陆续到来，而不是一次全部到齐。
认识 Darkroom Cloud
Darkroom Cloud 为摄影师存储和整理照片库。免费试用期为 14 天，团队知道留下来的人有一个共同点：早早上传第一个相册的人，往往会继续使用。每天大约有 140 人开始试用。
每次注册都会通过 API 进入 免费试用 联系人列表，旅程由这个列表上的 联系人加入列表 触发器启动。团队想知道，哪种欢迎方式能让更多新用户在一周内上传第一个相册。
分流之后的两条路径
旅程的第一步是一个有两条路径的分流：
- 路径 1，快速上手（对照组）：一封只有一个按钮“Upload your first album”的邮件，然后等待 6 天，再到目标步骤。
- 路径 2，引导之旅：一封用投票块询问你最常拍什么、并由此开始引导之旅的邮件，等待 2 天，第二封邮件提供该类摄影的技巧，等待 4 天，再到目标步骤。
路径 1 · 快速上手 (对照组)
主题
Your first album in two minutes
路径 2 · 引导之旅
主题
Let's set up Darkroom Cloud together
目标步骤的规则是“first_album 为 yes”。只要有人上传，应用就会通过 API 设置这个联系人字段。目标步骤在联系人到达时检查规则，所以两条路径都在分流后第 6 天以目标步骤结束。这仍在每个联系人 7 天的窗口内，因此两条路径在同一时间点被衡量。
选择“运行实验”
在分流上，分配方式 提供三种模式。固定比例 保持你设定的权重，不做任何衡量。最大化某项结果（优化） 会随着结果到来，把更多联系人送往转化更好的路径。运行实验（预先登记的测试） 保持比例不变，给你一个可信的结果。
- 路径 1
- 路径 2
第 0 天
第 2 天
第 7 天
第 21 天
你设定的比例，在旅程运行期间一直不变。不做任何比较。
| 时间点 | 路径 1 | 路径 2 |
|---|---|---|
| 第 0 天 | 50% | 50% |
| 第 2 天 | 50% | 50% |
| 第 7 天 | 50% | 50% |
| 第 21 天 | 50% | 50% |
| 时间点 | 路径 1 | 路径 2 |
|---|---|---|
| 第 0 天 | 50% | 50% |
| 第 2 天 | 19% | 81% |
| 第 7 天 | 12% | 88% |
| 第 21 天 | 8% | 92% |
| 时间点 | 路径 1 | 路径 2 |
|---|---|---|
| 入组期（20 天） | 50% | 50% |
| 做出决定后 | 0% | 100% |
最大化很诱人，因为几天之内它就会把大多数新用户送上更好的路径。但它从不提供公平的比较，也不会判定胜出，所以团队永远不会知道引导之旅好多少，甚至不知道它是否更好。团队想在永久改变新手引导之前得到这个答案，于是选择了实验。
预先登记问题
设置实验 会打开四个步骤。在 假设与指标 中，团队写下了假设：“与快速上手邮件相比，引导之旅能让更多新用户在一周内上传第一个相册，因为新用户需要有人带着走。”然后确定了指标：
- 目标达成率 作为主要指标：到达分流的联系人中，旅程在自己的窗口内于目标步骤结束的人所占的比例。它要求分流后有目标步骤，两条路径都有。
- 唯一点击率 作为次要指标，用来解释结果，而不是决定结果。
- 退订率 作为护栏指标，用来发现会把人赶走的胜出版本。
在 实验组与内容 中，变体就是分流的各条路径，顺序相同。团队把它们命名为“快速上手”和“引导之旅”，保留路径 1 为对照组，比例各为 50%。
算出招募多长时间
在 计划与观察期 中，每个联系人的统计期 设为 168 小时：每个联系人的结果从到达分流的那一刻起统计 7 天。
注册多长时间 读取了旅程过去 28 天的数据。这段时间里有 3,920 个联系人到达分流，每天 140 个；在窗口已结束的人中，有 30% 达成了目标。团队把 值得发现的最小提升 设为 5 个百分点，检验效能为 80%。规划器显示：
- 需要到达分流的联系人：2,754 个，每条路径 1,377 个。
- 建议注册期：20 天。按每天 140 个联系人计算，每条路径在 19.7 天内达到样本量。之后还要走完每个联系人 7 天的窗口，所以最终结果约在启动后 27 天得出。
点 使用 20 天 设定了招募期。检查并锁定 冻结了所有设置，团队随后启动了实验。
招募期间
启动后的 20 天内，每个到达分流的联系人都会被分配一条路径并一直保留，即使之后再次注册也一样。20 天过后，分流回到原来的权重。每个联系人只有在自己的窗口结束后才计入结果。在那之前，结果页面将其显示为 仍在窗口内。
进行到一半时，团队想改写引导之旅的第二封邮件。编辑器在这个步骤上显示了提示：它位于一个运行中实验的路径上，任何修改都会被记录。修改是允许的，但每次修改都会带日期列在 实验期间的更改 中，因为修改前后的联系人收到了不同的版本。团队决定等实验结束再改。
实验正在观察时，旅程也无法删除。这保护了已分配的联系人，以及他们将产生的结果。
阅读结果
最终分析在招募期结束后再过一个窗口出来。共有 2,800 个联系人到达分流：快速上手 1,412 个，引导之旅 1,388 个。样本比例 检查通过（p = 0.65）：每条路径都得到了应得的联系人占比。
结果统计了每个到达分流的人，不管之后发生了什么，这就是意向性分析。某个联系人的引导邮件被退回，他仍然计入引导之旅。这样比较才公平。
主要指标：
| 路径 | 到达分流 | 达成目标 | 目标达成率 |
|---|---|---|---|
| 路径 1，快速上手（对照组） | 1,412 | 424 | 30.0% |
| 路径 2，引导之旅 | 1,388 | 487 | 35.1% |
引导之旅的目标达成率高出 5.1 个百分点，差异很可能在 1.6 到 8.5 个百分点之间（p = 0.004）。结果显示 显著。有这么多联系人，测试能可靠地发现约 5.0 个百分点的差异，这正是团队计划的提升幅度。
其他数字用来解释结果，而不是决定结果。引导之旅的唯一点击率为 60%，快速上手为 56%，但这是次要指标，只作探索性参考。退订护栏为 1.5% 对 1.3%，未显示更差，所以没有什么阻止胜出。
记录决定，再让所有人走路径 2
实验以团队记录的决定结束。记录决定 要求填写结论、胜出的变体和理由。团队选择了 胜出，即引导之旅，并写下原因。随之记录的证据“显著”来自分析，而不是表单。
记录决定不会改变旅程中的任何东西。不过，结果页面和分流上出现了一个新按钮：让所有人走路径 2。对话框说明了它的作用：从现在起，每个到达分流的联系人都走路径 2。它还再次给出证据：“分析判定该组为胜出组：差异具有统计显著性。”结果不会改变，因为已分配的人都留在原来的变体里。
团队点了这个按钮。画布现在显示“所有人 → 路径 2（实验胜出组）”，两条路径上分别标着 100% 和 0%。点 撤销 会让分流回到原来的权重。没有这一下点击，什么都不会发生。
如果结果不显著呢？
假设引导之旅只是略微领先，并不显著。团队可以记录 无定论，让分流保持原样，或者运行一个更长的实验。这是正常的结果：它说明以这么多注册用户，分辨不出这么小的差异。
团队也可以照样记录一个胜出版本。这时记录会永久注明，分析并未判定该变体胜出。让所有人走路径 N 仍然可用，但对话框会提醒：“不显著：分析未判定该组为胜出组，因此由你决定。”
开始使用
在旅程开头放一个分流，每个版本一条路径，并让每条路径在你计划的窗口内以目标步骤结束。选择 运行实验（预先登记的测试），再点 设置实验，让 注册多长时间 帮你确定招募期。旅程中的实验介绍了每一步，分流步骤比较了三种分配方式。