ライフサイクルメールの件名A/Bテスト

ライフサイクルメールの件名は、1回の送信からはほとんど信号が得られない唯一の変数です。メインの件名にさらに最大4件のバリアントを追加すると、各送信が独自の固定された並び替えで受信者をバリアントに振り分けます。この割り当ては再試行の間も変わりません。送信されると、開封率、クリック率、応答率がメールのインサイトに並んで表示されます。

件名

Your trial ends soon

ライフサイクルメールの件名は、1回の送信からは通常本当の信号が得られない変数です。メインの件名にさらに最大4件のバリアントを追加すると、各送信が独自の固定された並び替えで受信者をバリアントに振り分け、その割り当ては再試行の間も変わりません。送信されると、開封率と応答率が並んで表示されます。

トライアル期限や更新のメールは、受信者ごとに本当のチャンスが1回しかありません — 推測するのではなく、そのたった1回で件名をテストすることは、余分な30秒の設定に見合う価値があります。

一度に最大5件の件名をテストする

1回限りの送信のメイン件名フィールドの下に、さらに最大4件のバリアントを追加します — 合計2〜5件です。各受信者の割り当てはメールアドレスと送信から決まるため、再試行されたメッセージが誰がどの件名を見たかを再シャッフルすることはなく、次のテストではリストが改めて振り分けられます。

結果を並べて読む

複数件名の送信が行われると、メールのインサイトの送信にA/Bテストカードが表示されます。選んだ送信について、バリアントごとの開封率、クリック率、応答率が示されます。送信はそれぞれ個別に集計されるため、以前のテストの数値が新しいテストに混ざることはありません。Proプラン以上では、各バリアントとバリアントAとの差も区間付きで表示されます。

またはMailInAppに勝者を選ばせる

自動的に勝者を選ぶを有効にすると、まずリストのテスト用の一部(たとえば20%、各バリアントに分割)にだけ送信します。判定に使う指標は、開封、クリック、メール内での回答、収益から選べます。ライフサイクルメールなら回答かクリックを選びましょう。収益で判定するにはProプラン以上が必要で、数えるのはメール内の商品ブロックで完了した購入だけです。

指定した待機時間が過ぎると、MailInAppはその指標で受信者あたりの率が最も高いバリアントを、残しておいた全員に送信します。同率の場合や、各バリアントの送信数が5件未満の場合は最初のバリアントに戻し、勝者を名乗る代わりにその旨をA/Bテストカードに表示します。

勝者を決める前に

手早いA/B送信は何も事前に固定しないため、そのカードは単純な比較であり、結論ではありません。バリアントあたり数百人の受信者では、1〜2ポイントの差は偶然であることがよくあります。大きな差を探し、次のコホートでテストを繰り返してください。送信ごとに受信者が改めて振り分けられるため、次のテストではバリアントAに入る連絡先が変わります。その他の注意点はA/Bテストの結果を慎重に読むにまとめています。

手早いA/Bでは足りないとき

件名が更新やアップグレードを左右するなら、代わりに実験として実行しましょう。送信ページのA/Bボックスの実験として実行から、同じメールで実験を始められます。開封ではなくクリックなど、重要な指標を選べます(購入と収益はProプラン以上)。サンプルサイズプランナーが、テストに必要な連絡先の数を示します。結果には統計的な検定が付き、判断はあなたが記録します。何が得られるかは実験結果の読み方をご覧ください。

勝者を継続的な配信サイクルに引き継ぐ

1回限りのテストでバリエーションが勝ったら、それをこのライフサイクル段階に届く定期スケジュールの件名に設定します。以降の実行では毎回勝者が送られます。

自社のシステムでもバリエーションがわかる

各受信者のバリエーションは、その人の行動すべてについて回ります。インサイトでの回答、クリック、購入、そしてその人へのWebhook配信です。勝った件名が開封だけでなく、メール内のクリックや購入も増やしたかを確認できます。

はじめに

1回限りのライフサイクル送信(トライアル期限や更新のリマインダーなど)で、2〜5件の件名バリアントを追加して送信します。メールのインサイトでA/Bテストカードを確認し、勝った件名を同じライフサイクル段階の繰り返しスケジュールの唯一の件名として設定してください。

典型的な作成・送信の流れ

  1. 1

    さらに最大4件の件名バリアントを追加する

    1回限りの送信のメイン件名フィールドの下に、合計2〜5件の件名を追加して互いにテストします。

  2. 2

    送信する

    各受信者には、メールアドレスと送信に基づいて1つのバリアントが割り当てられます — 再試行の間も変わらず、新しいテストのたびにリストは改めて振り分けられます。

  3. 3

    結果を読む

    メールのインサイトの「送信」にA/Bテストのカードが表示されます — 選んだ送信について、開封率、クリック率、応答率が並んで表示され、数値はその送信だけを集計したものです。

  4. 4

    勝者を定期送信に反映する

    勝ったバリエーションを、このライフサイクル段階に届く定期スケジュールの件名に設定します。

よくある質問

定期送信で勝った件名を使えますか?

はい。1回限りの送信でテストし、勝った件名を定期スケジュールの件名に設定します。以降の実行では勝者が送られます。

各受信者への件名バリアントの割り当てはどのように行われますか?

メールアドレスと送信に基づいて割り当てられます。同じ送信の再試行で受信者のバリアントが変わることはありません。一方、新しい送信のたびに受信者は改めて振り分けられるため、毎回同じ連絡先がバリアントAに入ることはありません。

一度にテストできる件名はいくつですか?

合計最大5件(メインの件名に加え、さらに最大4件のバリアント)です — 1回の送信で2〜5件の件名が互いにスプリットテストされます。

自動の勝者選びはどの指標で判定できますか?

開封、クリック、メール内での回答、収益のいずれかで、どれも受信者あたりの率で比べます。Appleのメールプライバシー保護は開封を水増しするため、メール内での回答が推奨される既定の指標です。収益で判定するにはProプラン以上が必要で、数えるのはメールから商品ブロックで完了した購入だけです。実験でも、購入と収益の指標にはProプランが必要です。

結果は直近のA/B送信だけを対象としますか、それともすべてを対象としますか?

一度に1回の送信が対象です。メールのインサイトにあるA/Bテストのカードには、選んだ送信の件名と数値が表示されるため、以前のテストが新しいテストに混ざることはありません。

自社のシステムでバリエーションを確認できますか?

はい。各受信者のバリエーションはその人の行動すべてについて回るので、インサイトでの回答、クリック、購入にも、その人へのWebhook配信にも含まれます。

バリエーションの比較で、差が統計的に有意かどうかわかりますか?

A/Bテストのカードはシンプルな比較です。Pro以上ではバリエーションAとの差を区間付きで表示し、自動勝者はすべてのバリエーションが5通以上送られた時点で最も高い率を選びます。事前にサンプル数を決めた統計的な検定には、エクスペリメントとして実行します。

スタジオでこれを作ってみましょう

無料プランから始められます — すべてのインタラクティブブロックと完全なフォールバックエンジンが、どのプランにも含まれています。