勝ったバージョンをオーディエンスの残りに送る

実験の終わりは送信ではなく判断です。勝者を記録したら、「勝者を展開」で勝ったバリアントを、オーディエンスの残りに送る通常のメールに変えられます。テストに参加した人は全員除外され、あなたが送信するまで何も送られません。

この2つを分けているのは意図的です。判断は、データが示したことの記録です。勝者を送るのは、そのあとに行うマーケティング上の選択で、オーディエンスも、タイミングも、特典も別に決めます。

このガイドでは、架空の衣料品店Retro Revivalを、架空の数字で取り上げます。この店の実験では、10%オフ（バリアントA、コントロール）と送料無料（バリアントB）を、それぞれスクラッチカードの下に隠して比べました。対象は、ロックと90年代が好きな6,420人の購読者のうち4,000人です。この実験の最初からの流れはスクラッチカードのA/Bテストで、よく売れる特典を見つけるで紹介しています。

記録済みの勝者から始める

勝者を展開は、勝者が記録され、実験が決定済みまたは終了のときに、実験の結果ページに表示されます。Retro Revivalの購入コンバージョンは、送料無料が5.0%、10%オフが3.7%で、有意な差でした。チームは送料無料を勝者として記録し、実験を終了しました。

展開は、実験の本来の流れの外にあります。実験そのもの、結果、判断は変わらず、終了後でも展開できます。「結論なし」や「差なし」の判断では何も展開されず、ホールドアウトはメールがないため展開できません。

「勝者を展開」で作られるもの

勝者を展開を押すと短い確認が開き、メールを作成で新しいメールが1通作られます。名前は実験とバリアントから付けられます。中身は、勝ったバリアントの受信者が受け取ったものです。

• バリアントのコンテンツと特典。 そのバリアントの変更を反映したメール、または別のコンテンツを送っていた場合はバリアント自身のメールです。
• 件名と送信者。 バリアントの件名と、そのバリアントを送った送信者です。
• 実験の連絡先リストがオーディエンスになります。

続いて、新しいメールの送信ページが開きます。そこには実験とバリアントを示すお知らせがあり、件名と実験のオーディエンスフィルターがあらかじめ入力されています。そのページから送信するまで、何も送られません。もう一度勝者を展開を押しても、2通目は作られず同じメールが開きます。

受け取る人、受け取らない人

新しいメールのすべての送信で、実験に割り当てられた人はどのバリアントであっても永続的に除外されます。この人たちはすでにこのメールのいずれかのバージョンを受け取っており、その結果はテストのものだからです。各送信では、理由「In an experiment on this email」（このメールの実験の対象）とともにスキップとして表示されます。

Retro Revivalのフィルター「ロック／オルタナティブ AND 90年代」は、引き続き6,420件をターゲットにしています。実験に参加した4,000件は除外されるため、勝者のメールを受け取れるのは2,420人の購読者です。

送信前にオーディエンスを変えることもできます。送信ページのフィルターは通常のフィルターなので、リスト全体に広げることも、1つのグループに絞ることもできます。配信停止した連絡先や、ほかの理由で送信可能でない連絡先は、ほかの送信と同じくスキップされます。

特典も引き継がれる

勝ったバリアントにストアの特典があった場合、新しいメールもそれを引き継ぎます。送信のたびに、連携しているストアで受信者ごとに1回限りのコードが発行され、有効日数はバリアントのコードと同じです。Retro Revivalの送料無料コードは、各送信から7日間有効です。

送信前に、特典がまだ理にかなっているか確認してください。送料無料や割引は、それによって生まれる注文のたびにコストがかかります。実験の売上の数字は利益の計算ではありません。税と送料を含まず、割引はすでに反映済みです。

200件を超える連絡先に送る

送信ページからの1回の送信で届くのは、最大200人です。Retro Revivalの2,420人には複数回の送信が必要です。方法は2つあります。

• 単発の送信を複数回。 毎回最大200件の連絡先を選びます。送信履歴で、すでにメールを受け取った人がわかります。
• 定期送信。 定期送信で同じフィルタールールを追加し、毎日または毎週のスケジュールを作成します。各回で、条件に合い、まだこのメールを受け取っていない連絡先に最大200件ずつ送り、全員に届くまで続けます。実験の連絡先は途中でそれぞれ1回ずつ確認されてスキップされるため、最初の数回は送信数が少なくなります。

定期送信はLiteプラン以上に含まれています。

または、開始前に残りへのバージョンを決める

観測期間の終わりまで待ちたくない場合は、開始前に、オーディエンスの残りがどのメールを受け取るかを決めておきます。実験のスケジュールと期間ステップにある結果を残りに送信は、まずサンプルでテストし、その後ターゲットのほかの全員に1つのバリアントを送ります。200件の上限はなく、バッチに分けて送ります。送る相手として残りが必要なので、ランダムサンプルが条件です。

残りが何を受け取るかは、選ぶポリシーで決まります。仮にRetro Revivalが2,000件のサンプルでテストし、48時間後に判断したとします。その時点で、送料無料の受信者49人が購入し、10%オフは36人でした。5.0%対3.7%ですが、まだ有意ではありません（p = 0.15）。

• 有意な勝者を送信なら、残りの4,420件にはコントロールの10%オフが送られていました。まだどのバリアントも勝っていなかったからです。
• **トップのアームを送信（利益重視ポリシー）**なら、最も良さそうに見えた送料無料が送られていました。バリアントの差が小さいときには妥当な賭けですが、送料無料のほうが優れているという証拠ではありません。

どちらの場合も、この選択で決まるのは残りが何を受け取るかだけです。実験は観測期間の最後まで続き、判断はいつもどおり全体の結果に基づいて記録します。

はじめに

実験の結果ページで勝者を記録し、実験を終了します。次に勝者を展開を押し、新しいメールの中身を確認してからメールを作成を押します。その送信ページで件名、オーディエンスフィルター、特典を確認し、200件以下ずつ送信するか、定期送信を設定してください。先に判断を記録する方法は、実験結果の読み方で説明しています。