ジャーニーの実験で 2 つのオンボーディング経路をテストする

新しいトライアル利用者には、製品へ案内する短いメールを 1 通送るべきでしょうか。それとも数日かけたガイドツアーでしょうか。ジャーニーの実験なら、自社の登録者でこの問いに答えられます。新しい連絡先はスプリットで経路を割り当てられてそのまま進み、ゴールのステップが使い始めた人を数えます。結果が出たら判断するのはあなたで、全員を勝った経路に送るのもあなたです。

このガイドでは、架空の写真保存アプリ Darkroom Cloud を例にします。数値はすべて作り物です。これは 1 回の送信よりジャーニーに向いたテストです。2 つのバージョンは複数のメールで異なり、新しい連絡先は一度にではなく毎日やって来ます。

Darkroom Cloud について

Darkroom Cloud は、写真家のライブラリを保存して整理するアプリです。無料トライアルは 14 日間で、チームは継続する人について 1 つのことを知っています。早いうちに最初のアルバムをアップロードした人は、使い続けることが多いのです。毎日およそ 140 人がトライアルを始めます。

登録はすべて API 経由で 無料トライアル という連絡先リストに入り、そのリストへの 連絡先がリストに参加 トリガーでジャーニーが始まります。チームが知りたかったのは、どちらの歓迎の仕方なら 1 週間以内に最初のアルバムをアップロードする新規利用者が多くなるか、でした。

スプリット後の 2 つの経路

ジャーニーの最初のステップは、2 つの経路を持つスプリットです。

• 経路 1、クイックスタート（コントロール）：「Upload your first album」というボタンが 1 つだけのメール、6 日間の待機、ゴールのステップ。
• 経路 2、ガイドツアー：投票ブロックで何を一番よく撮るかを尋ね、そこからツアーを始めるメール、2 日間の待機、その撮影ジャンル向けのヒントを送る 2 通目のメール、4 日間の待機、ゴールのステップ。

ゴールのステップのルールは「first_album が yes」です。誰かがアップロードした瞬間に、アプリが API でこの連絡先フィールドを設定します。ゴールのステップは連絡先が到達したときにルールを確認するので、どちらの経路もスプリットから 6 日後にゴールのステップで終わります。これは各連絡先の 7 日間の期間内なので、2 つの経路は同じ時点で測定されます。

「実験を行う」を選ぶ

スプリットの 振り分け には 3 つのモードがあります。固定の割合 は設定した重みのままで、何も測定しません。成果を最大化（最適化） は、結果が集まるにつれて成果の良い経路へ多くの連絡先を送ります。実験を行う（事前登録したテスト） は割合を固定したまま、信頼できる結果を出します。

最大化は魅力的に見えます。数日のうちに、新規利用者の大半をより良い経路に送れたはずだからです。しかし、公平な比較にはならず、勝者も決まりません。そのため、ガイドツアーがどれだけ良いのか、そもそも良いのかさえ、チームにはわからないままです。オンボーディングを本格的に変える前にその答えがほしかったので、チームは実験を選びました。

問いを事前登録する

実験を設定 を押すと 4 つのステップが開きます。仮説と指標 に、チームは次の仮説を書きました。「ガイドツアーは、クイックスタートのメールよりも、1 週間以内に最初のアルバムをアップロードする新規利用者を増やす。新規利用者には案内が必要だからだ。」続いて指標を決めました。

• 主要指標は ゴール達成率：スプリットに到達した連絡先のうち、自分の期間内にジャーニーがゴールのステップで終わった人の割合です。スプリットの後にゴールのステップが必要で、どちらの経路にもあります。
• 副次指標は ユニーククリック率：結果を説明するためのもので、判断には使いません。
• ガードレールは 配信停止率：人を遠ざけるような勝者を見逃さないためです。

アームとコンテンツ では、バリアントはスプリットの経路そのもので、順番も同じです。チームは「クイックスタート」「ガイドツアー」と名前を付け、経路 1 をコントロールのままにし、割合は 50% ずつにしました。

登録期間を計算する

スケジュールと期間 で、連絡先ごとの期間 を 168 時間にします。各連絡先の結果は、スプリットに到達した時点から 7 日間数えられます。

登録期間 の計画ツールは、ジャーニーの過去 28 日間を読み取りました。その間に 3,920 人がスプリットに到達し（1 日 140 人）、期間が終わった人のうち 30% がゴールに達していました。チームは 検出したい最小の上昇幅 を 5 パーセントポイント、検出力を 80% にしました。計画ツールの表示は次のとおりです。

• 分岐に到達する必要がある連絡先：2,754 人（各経路 1,377 人）。
• 推奨登録期間：20 日。1 日 140 人なら、各経路は 19.7 日でサンプルに達します。その後に各連絡先の 7 日間の期間が続くので、最終結果は開始から約 27 日後です。

20 日を使用 で登録期間を設定しました。確認とロック ですべてを固定し、チームは実験を開始しました。

登録期間中

開始後 20 日間にスプリットへ到達した連絡先には経路が割り当てられ、あとで再登録してもその経路のままです。20 日を過ぎると、スプリットは重みに戻ります。各連絡先が数に入るのは、本人の期間が終わってからです。それまでは、結果ページに 期間中の連絡先 として表示されます。

途中で、チームはガイドツアーの 2 通目のメールを書き直したくなりました。エディターには、そのステップに通知が表示されました。実行中の実験の経路上にあり、変更はすべて記録されるという内容です。変更自体はできますが、変更前と変更後の連絡先は違う版を受け取ることになるため、どの変更も日付つきで 実験中の変更 に記録されます。チームは実験が終わるまで待つことにしました。

また、実験が観測中の間はジャーニーを削除できません。これで、割り当て済みの連絡先と、これから出る結果が守られます。

結果を読む

最終分析は、登録期間が終わってから 1 期間後に届きました。スプリットに到達したのは 2,800 人で、クイックスタートが 1,412 人、ガイドツアーが 1,388 人です。サンプル比 のチェックは合格でした（p = 0.65）。各経路は、受け取るべき割合の連絡先を受け取っています。

結果は、スプリットに到達した人を、その後に何があっても全員数えています。これが intention to treat です。ツアーのメールがバウンスした連絡先も、ガイドツアー側で数えます。これで比較が公平に保たれます。

主要指標：

ガイドツアーのゴール達成率は 5.1 ポイント高く、差はおそらく 1.6〜8.5 ポイントの間です（p = 0.004）。結果は 有意 です。この人数なら、約 5.0 ポイントの差を確実に検出できました。これはチームが計画した上昇幅です。

ほかの数値は、結果を説明するもので、判断には使いません。ガイドツアーのユニーククリック率は 60%、クイックスタートは 56% でしたが、これは探索的に読む副次指標です。配信停止のガードレールは 1.5% 対 1.3% で 悪いとは示されていない となり、勝者を妨げるものはありませんでした。

判断を記録し、全員を経路 2 に送る

実験は、チームが記録する判断で終わります。判断を記録 では、結果、勝ったバリアント、理由を入力しました。チームは 勝者 にガイドツアーを選び、理由を書きました。一緒に記録される根拠「有意」は、フォームではなく分析から来ます。

判断を記録しても、ジャーニーは何も変わりません。ただし、結果ページとスプリットに新しいボタン 全員を経路 2 に送る が現れました。ダイアログには、これからスプリットに到達する連絡先はすべて経路 2 に進む、という動作が書かれていました。根拠も再度示されていました。「分析はこのアームを勝者としました。差は有意です。」割り当て済みの人は自分のバリアントのままなので、結果は変わりません。

チームはクリックしました。キャンバスには「全員 → 経路 2（実験の勝者）」と表示され、2 つの経路には 100% と 0% が付いています。元に戻す を押せば、スプリットは重みに戻ります。このクリックがなければ、何も起きませんでした。

有意でなかったら？

ガイドツアーがわずかに上回っただけで、有意でなかったとします。チームは 結論なし を記録してスプリットをそのままにするか、より長い実験を行えます。これは普通の結果です。この登録者数では、これほど小さな差は見分けられない、ということを示しています。

それでも勝者を記録することもできます。その場合、分析がそのバリアントを勝者としていないことが、記録に永久に残ります。全員を経路 N に送る は使えますが、ダイアログに警告が出ます。「有意ではありません。分析はこのアームを勝者としていないため、判断はあなたに委ねられます。」

はじめに

ジャーニーの最初にスプリットを置いてバージョンごとに経路を作り、各経路を、予定する期間内のゴールのステップで終えます。実験を行う（事前登録したテスト） を選び、実験を設定 を押して、登録期間の計画ツールに登録期間を決めさせます。各ステップはジャーニー内の実験で、3 つの振り分けモードの違いはスプリットのステップで説明しています。