A/Bテストに必要な連絡先の数を知る

メールリストで行うA/Bテストの多くは、探している差を見つけるには小さすぎます。実験の「オーディエンス」ステップにあるサンプルサイズプランナーは、何も送信しないうちに、テストに必要な連絡先の数、またはあなたのオーディエンスで確実に示せる最小の差を教えてくれます。

小さすぎるテストは、一方のバージョンが本当に優れていても「結論なし」で終わることがほとんどです。これはテストの失敗ではありません。問いを投げかけた相手が少なすぎたというサインです。先に計画すれば、そのままテストを始めるか、もっと大胆な変更を試すか、オーディエンスが大きくなるのを待つかを判断できます。

以下の例では、架空の衣料品店Retro Revivalを、架空の数字で取り上げます。この店の特典のテスト全体は、独立した活用例として紹介しています。

プランナーに必要な情報

実験を開き、オーディエンスとサンプルに進みます。サンプルサイズプランナーは、オーディエンスの件数の下にあります。ステップ1で選んだ主要指標について、次の4つの値で計画します。

• コントロールの想定率。 たとえば、配信された受信者のうち購入する人の割合です。プランナーはあなた自身の履歴からこの値を入力します。
• 検出したい最小の上昇幅。 あなたの行動を変えるだけの、コントロールに対する最小の差です。率の場合はポイントで書きます。1ポイントなら3.7%が4.7%になります。
• 検出力。 その大きさの上昇が実在するとき、テストがそれを見つける確率です。80%が一般的で、85%、90%、95%にするとより多くの連絡先が必要です。
• 見込み配信率。 バウンスしたメールでは購入が起きないため、プランナーはその分の連絡先を上乗せします。

有意水準はステップ1から、バリアント間の配分はアームとコンテンツステップから取られます。

自分の履歴から始める

自社のベースラインを覚えていることはまれで、当て推量は大きく外れがちです。プランナーはアカウントからベースラインを読み取り、それぞれの数字の出どころを示します。

• このリストでの過去の実験、なければほかのリストでの実験。購入や売上も含め、すべての指標が対象です。
• このリストへの最近の送信。まだどの実験でも測っていないクリックや回答の主要指標に使います。
• 過去90日間の送信。配信率と、配信停止や苦情のガードレールに使います。

ある指標に履歴がない場合は、想定する率の入力を求められます。どの数字も上書きできます。その場合は**計画用の見積もりです（保存されません）**と表示され、履歴を使うで測定値に戻せます。変更したベースラインや配信率は計画にだけ使われます。検出したい上昇幅と検出力は実験と一緒に保存されます。

推奨を読む

検出したい最小の上昇幅を入力すると、プランナーは推奨サンプルを表示します。テスト全体に必要な連絡先の数と、バリアントごとの数です。ターゲットのオーディエンスが十分に大きければ、そう表示されます。続いてボタンでサンプルをその大きさに設定できます。その件数を使用するか、まだ抽出していなければランダムに抽出します。

オーディエンスが小さすぎる場合は、はっきりそう示されます。「このオーディエンスは小さすぎて、あるポイント数未満の上昇は検出できません」。この数字がテストの正直な大きさです。それより小さい本当の差は、見逃されやすくなります。その数字で計画すると、プランがそれに合わせて更新されます。

曲線はトレードオフを表しています。検出したい差を半分にすると、各バリアントに必要な連絡先はほぼ4倍になります。Retro Revivalの購入率は3.7%で、配信率98%、検出力80%の場合は次のとおりです。

Retro Revivalは送料無料で購入が1.3ポイント上がることを期待していました。そのためにはバリアントあたり3,943件が必要です。手元にあったのは合計4,000件、つまりバリアントあたり2,000件でした。このサンプルでは、プランナーが示す確実に検出できる最小の上昇幅は約1.9ポイントです。チームは、それより小さい本当の差は見逃されるかもしれないと承知のうえで、テストを実施しました。

テストに必要な連絡先が増えるとき

いくつかの選択で数字は増え、プランナーはどれが原因かを示します。

• バリアントが多い。 各バリアントはより厳しい水準でコントロールと比較されるため、すべての比較を合わせても有意水準が保たれます。3つのバリアントは、2つの場合よりバリアントあたりの連絡先が多く必要です。
• 配分が偏っている。 小さなホールドアウトや大きなコントロールは、均等な配分より比較ごとのコストを上げます。
• ガードレールのマージン。 マージン付きのガードレールは、主要指標より多くの連絡先を必要とすることがあります。その場合、プランナーはガードレールに合わせてテストの規模を決めます。
• 逐次分析（Businessプラン以上）。観測期間の途中で結果を確認するには、最後に一度だけ読む場合より多くの連絡先が必要です。プランナーはどれだけ増えるかを示します。

もっと小さなテスト規模：Test & Roll

証拠までは要らず、リストの残りにとってより良い選択だけが欲しいこともあります。結果を残りに送信で**トップのアームを送信（利益重視ポリシー）**を選ぶと、短いテストのあとで最も良さそうなバリアントがほかの全員に送られます。

このポリシーでは、プランナーが利益最大化のテスト規模（Test & Roll）を提案できます。過去の実験で結果がどれだけばらついたかと、リストの残りが得られるものとを比べて決めます。過去の実験が2つ以上あり、ホールドアウトのない2つのバリアントであることが条件です。この規模は通常、推奨サンプルよりかなり小さくなります。これは利益のための選択で、この大きさでは有意な勝者を見つけるには小さすぎるのが普通です。

プランはロック時に固定される

検出したい上昇幅と検出力は実験と一緒に保存され、事前登録のほかの項目とともにロック時に固定されます。結果ページでは、終了したテストが確実に検出できた最小の差が表示されます。テストが結論なしで終わった場合、この数字から本当の差を見逃した可能性があるかどうかがわかります。

件名の簡単なテストは？

送信ページからの通常のA/B送信にはプランナーがなく、事前に何も固定されません。更新のリマインダーのように大事な件名なら、実験として実行し、開封ではなくクリック率で計画してください。開封はAppleのメールプライバシー保護によって水増しされるため、主要指標には向きません。

クリックは購入よりはるかに多く起きるため、件名のテストは特典のテストより必要な連絡先がずっと少なく済むのが普通です。ベースラインには、このリストへの最近の送信のクリック履歴が使われます。

はじめに

メールの送信ページで実験として実行を選び、実験を作成します。仮説と指標で主要指標を選び、オーディエンスとサンプルでサンプルサイズプランナーを開きます。ベースラインの出どころを確認し、行動を変えるだけの最小の上昇幅を入力して、ロックする前にサンプルの規模を決めてください。各ステップは実験（A/Bテスト）で説明しています。