スクラッチカードのA/Bテストで、よく売れる特典を見つける

送料無料と10%オフ、より多くの購読者を購入者に変えるのはどちらの特典でしょうか。このガイドは、実験と同じやり方でその答えを出します。どちらの特典も同じスクラッチカードの下に隠し、2つのバージョンを同時に送り、購入で判断します。

Retro Revivalは架空の衣料品ブランドで、ここに出てくる数字はすべて説明のための架空のものです。テストの概要：購読者50,874人 · 特典のバリアント2つ · 観測期間7日間。

Retro Revivalについて

Retro Revivalは、リサイクル素材とオーガニック素材を使い、独立した職人と一緒にビンテージ風の服をつくるブランドです。新しいコレクション「Grunge Revival: The 90s Edit」は、90年代のオルタナティブファッションをよみがえらせます。

その発売にあたり、マーケティングチームは購読者に特典を出したいと考えています。どの特典が効くかを推測する代わりに、対照実験を組み、購入で判断します。

同じメールで、違いは1つだけ

受信者全員に同じメールが届きます。件名、コレクションの説明、商品カルーセル、スクラッチカード、ショップボタンまで同じです。違うのはカードの下に現れる特典だけです。こうすれば、購入の差をデザインではなく特典によるものと考えられます。

2つのバージョンは、1つの実験のバリアントです。実験では各バリアントをコントロールと比べ、勝者になれるのはコントロール以外のバリアントだけです。そのため、コントロールにはいずれにしても送るはずのオファーを置きます。ここでは10%オフがバリアントAです。送料無料はバリアントBです。

2つのバリアントは1通のメールを共有します。スタジオで、ツールバーのバリエーションメニューからバリアントを選び、そのバリアントだけカードの景品を変えます。下で両方を試してみてください。カードを削る、表示後の状態を見る、スクラッチカードを表示できないメールアプリでのフォールバックを見る、のいずれもできます。

カードのショップボタンは表示された賞品の中にあります。スクラッチカードが動くアプリでは、カードを削って初めてボタンが現れるので、クリックは特典を見たあとに起こります。カードの下に2つ目のボタンは置いていません。そちらは削らなくてもクリックできてしまうからです。2つの配置の違いはリンクを置く場所で比べています。

送信前に事前登録する

仮説と指標のステップで、チームは何かを送る前に計画を書き残します。

• 仮説： 送料無料は10%オフよりも多くの購読者を購入者に変える。
• 主要指標： 購入コンバージョン。配信された受信者のうち購入した人の割合です。この1つの数字が実験の結果を決めます。
• 副次指標： ユニーククリック率と配信メールあたりの売上。結果の説明には使いますが、結果を決めることはありません。
• ガードレール： 配信停止率。勝者は、この指標で明らかに悪くなってはいけません。
• 有意水準： 5%（両側）。7日間の観測期間で固定期間の分析を行います。

チームは観測された開封演出率と結果表示後のクリック率を外します。MailInAppは、受信トレイでの結果表示をまだ記録していません。また、結果表示後のクリックは、誰が結果を表示したかにも左右されるので、この指標はランダム化された比較になりません。

確認とロックのステップにある事前登録をロックで、仮説、指標、オーディエンス、バリアントが固定され、サンプルが抽出されます。結果が出てから見栄えのよい指標に切り替えることは、誰にもできません。

適切な購読者に届ける

The 90s Editは、ロックと90年代が好きな購読者向けです。オーディエンスとサンプルのステップで、チームは50,874件の連絡先リストを選び、ロック・オルタナティブ AND 90年代という2つのフィルタールールを加えます。オーディエンス数のカードに各段階が表示されます。

• 送信可能はターゲティングより前に決まります。4,554件の連絡先にはそもそもメールを送れず、その理由は除外の一覧に表示されます。配信停止、マーケティングの同意なし、無効なアドレスなどです。残りは46,320件です。
• ターゲットは、送信可能な連絡先だけにフィルターを適用します。ロック・オルタナティブが好きな人は11,240件、90年代が好きな人は14,870件ですが、両方が好きなのは6,420件です。
• 実験対象がサンプルです。4,000件を、バリアントごとに2,000件ずつに分けます。

抽出の前に、チームはcustomer_typeフィールドでオーディエンスの内訳を確認します。ターゲットの6,420件のうち、顧客は2,311件、見込み客は3,981件です。128件は値がなく、値なしのグループに入ります。そのままで問題ない小ささです。

オーディエンスは、その元になるリストで決まります。フィールドと同意についてはテストに使える購読者データベースを整える、フィルターそのものについてはANDとORでオーディエンスフィルターを組み合わせるで取り上げています。

公平に抽出して割り当てる

チームはcustomer_typeでバランス調整済みランダムサンプルを選びます。サンプルは顧客、見込み客、値のない連絡先のそれぞれから別々に抽出されるので、どちらのバリアントにも同じ構成が入ります。顧客720件、見込み客1,240件、値なし40件ずつです。単純なランダムサンプルは平均すれば公平ですが、1回ごとの抽出では偏ることがあります。

各連絡先が入るバリアントは1つだけで、両方の特典を受け取る人はいません。別の実験に参加中の連絡先を除外を使うと、以前のテストのオファーがこの実験に紛れ込むのを防げます。

バリアントごとに2,000件で足りるでしょうか。チームが期待した上昇幅については、サンプルサイズプランナーの答えは「足りない」です。購入を3.7%から5.0%へ、1.3ポイント上げるには、バリアントごとに3,943件の連絡先が必要です。

合計4,000件だと、テストが確実に検出できるのは約1.9ポイントの上昇です。チームは、それより小さい本当の差は見逃すかもしれないと承知のうえで進めます。プランナーの使い方はA/Bテストに必要な連絡先の数を知るで順を追って説明しています。

特典と開始

特典とアトリビューションのステップで、バリアントAには割合割引の10%、バリアントBには送料無料を設定します。どちらのバリアントのコードも有効期間は7日間なので、どちらかのオファーだけが長く効くことはありません。各受信者には、その人に紐付いた1回限りのコードが届きます。コードは送信の時点で、実験の連絡先リストに接続したShopifyまたはWooCommerceのストアで発行されます。

スクラッチカードの景品リンクは{{discount_url}}のマージタグで、受信者それぞれを自分のコード付きでストアへ案内します。このページのプレビューはストアへ直接リンクしています。プレビューではコードを発行できないためです。

送料無料について、チームは注文あたりの平均送料に$5.50と入力します。これは送料無料の注文ごとにプロモーション費用として計上されます。WooCommerceでは、送料無料のコードにはクーポンを受け付けるFree Shippingの配送方法も必要で、ない場合はこのステップに警告が表示されます。

同じステップで注文のアトリビューションも設定します。ストアの注文をバリアントに紐付けるルールで、ロックの時点で固定されます。チームは既定の3つ、割引コード、トラッキングリンク、メール内チェックアウトをそのまま使います。**メールアドレス（推定）**はオフのままにするので、数える注文はすべて確実な一致です。

開始を押すと、送信される形のまま各バリアントのメールが作られます。あるバリアントのメールのどこかに、フォールバックも含めて、もう一方の特典が表示されていると開始できません。そのあと2つのバリアントは同時に、同じ数分間に交互に送られます。バリアントごとに40通がバウンスするので、配信されるのは各1,960通です。以下の率はすべて、この配信されたメールに対する割合です。

削ったあとに起こること

カードを削る操作は、受信者のメールアプリの中で起こります。MailInAppは受信トレイでの結果表示をまだ記録していないので、このガイドでは何人が削ったか、誰が削ってクリックしなかったかを示せません。MailInAppに届くのは、景品リンクのクリックです。

ボタンは表示された景品の中にあるので、スクラッチカードが動くメールアプリでのクリックは、結果表示のあとに起こります。フォールバックを表示するアプリでは、景品とそのリンクが最初から見えています。

ユニーククリック数は、送料無料が294人、10%オフが265人でした。配信メールに対して15.0%と13.5%です。差は1.5ポイントですが、p = 0.185です。クリックの差は傾向を示すだけで、有意ではありません。偶然の可能性があります。

クリックした人と購入した人は別々の指標で、どちらも配信された1,960通が母数です。じょうごの段階ではありません。割引コードでも注文をバリアントに紐付けられるので、トラッキングされたクリックなしで購入する人もいます。

購入で判断する

期間が終わると、結果ページが主要指標を読み取ります。購入したのは送料無料で98人、10%オフで72人でした。5.0%と3.7%です。

結果の文には、送料無料が10%オフより1.33ポイント上回ったとあります。本当の改善幅はおそらく0.05〜2.62ポイントの間で、p = 0.041です。有意水準の5%を下回るので、この差は有意です。相対的には、送料無料は36.1%多くの受信者に売れました。

区間は広く、下限はゼロに近い値です。ここでは送料無料のほうが売れる可能性が非常に高いものの、どれだけ多く売れるかははっきりしません。プランナーを思い出してください。このテストが確実に見分けられたのは約1.9ポイントまでなので、1.33ポイントという結果は運がよかったといえます。

ガードレールの配信停止率は問題ありませんでした。送料無料が0.20%、10%オフが0.26%なので、勝者を阻止しません。

売上とプロモーションには、バリアントごとの金額が米ドルで表示されます。

売上には税金と送料を含みません。割引は反映済みです。利益の計算ではありません。

送料無料の注文は少額でしたが、購入した人は多くなりました。配信メールあたりの売上は送料無料のほうが高かったものの、p = 0.13で、それ単独では有意ではありません。副次指標なので、結果の説明には使いますが、結果は決めません。

プロモーション費用は、それぞれの特典で提供した分です。10%オフでは、各注文の割引額です。送料無料では、送料無料の注文ごとの見込み送料$5.50です。どちらの列も利益ではありません。販売した商品の原価は、どちらにも含まれていないからです。

各注文は、決まった順番で確認されるアトリビューションのルールでバリアントに紐付きます。最初に一致したルールで決まり、それ以降は確認されません。数えるのは、7日間の期間中の注文だけです。

Retro Revivalの購入者は全員が自分のコードを使ったので、コードの利用は購入者数と一致します。バリアントごとに2,000件のうち72件と98件です。つまり、すべての注文が最初のルールで決まりました。結果ページの注文カードには、各ルールで紐付いた注文の数が表示されます。返金や他の通貨については売上の指標で説明しています。

判断を記録して終了する

実験は、チーム自身が記録する判断で終わります。判断を記録を押すとダイアログが開きます。勝者はバリアントB、送料無料です。理由には、購入の差が有意だったこと、クリックと売上は有意でなかったこと、区間が広いことを書きます。一緒に保存される根拠は分析から取られ、「有意」となります。

続いて実験を終了で記録が確定します。エクスポートでは、レポートをPDF、CSVの表、JSONでダウンロードできます。事前登録、バリアントごとの数字、チェックの結果、判断が含まれ、名前やアドレスは含まれません。

実験はここで終わりです。送料無料を勝者として記録することで、問いに答えが出ました。これで何かが送られるわけではありません。オーディエンスの残りに送料無料を提供するのは、独自のオーディエンスとタイミングを持つ別の操作です。勝ったバージョンをオーディエンスの残りに送るを参照してください。

3つのポイント

1. 変えるのは1つだけ。 どちらのバリアントにも同じメールが届いたので、購入の差は特典から来ています。1通のメールにバリアントごとの変更を加える方法なら、この状態を保てます。
2. クリックは方向を示し、購入が決める。 送料無料はクリックを多く集めましたが、有意ではありませんでした。勝者を選んだのは、送信前に決めた主要指標だけです。
3. 判断は送信ではない。 チームは送料無料を、根拠とともに勝者として記録しました。送料のコストを考えたうえで、より多くの人に送るのはそのあとです。

結論が出なかったら？

送料無料で購入した受信者が98人ではなく85人だったとします。4.3%対3.7%で、p = 0.29です。結果ページには結論なしと表示されます。選ぶのに十分な根拠がない、という意味です。

これは普通の、役に立つ結果です。差があるとしても、このテストで見分けられる大きさより小さい、ということを示しています。チームは理由を添えて結論なしと記録し、10%オフをいつものオファーとして続けます。さらに知りたければ、プランナーでより大きなサンプルや長い期間を計画し、新しい実験を行えます。率が高かったというだけで、送料無料を勝者と呼ぶことはしません。

はじめに

スタジオでメールを開き、景品リンクを{{discount_url}}にしたスクラッチカードを追加します。次に実験として実行で実験を始め、各バリアントに特典を設定し、送信前に計画をロックします。各ステップは実験（A/Bテスト）、戻ってきた結果の読み方は実験結果の読み方で説明しています。