ライフサイクルメールの件名は、1回の送信からは通常本当の信号が得られない変数です。メインの件名にさらに最大4件のバリアントを追加すると、各送信が独自の固定された並び替えで受信者をバリアントに振り分け、その割り当ては再試行の間も変わりません。送信されると、開封率と応答率が並んで表示されます。
トライアル期限や更新のメールは、受信者ごとに本当のチャンスが1回しかありません — 推測するのではなく、そのたった1回で件名をテストすることは、余分な30秒の設定に見合う価値があります。
一度に最大5件の件名をテストする
1回限りの送信のメイン件名フィールドの下に、さらに最大4件のバリアントを追加します — 合計2〜5件です。各受信者の割り当てはメールアドレスと送信から決まるため、再試行されたメッセージが誰がどの件名を見たかを再シャッフルすることはなく、次のテストではリストが改めて振り分けられます。
結果を並べて読む
複数件名の送信が行われると、メールのインサイトの送信にA/Bテストカードが表示されます。選んだ送信について、バリアントごとの開封率、クリック率、応答率が示されます。送信はそれぞれ個別に集計されるため、以前のテストの数値が新しいテストに混ざることはありません。Proプラン以上では、各バリアントとバリアントAとの差も区間付きで表示されます。
またはMailInAppに勝者を選ばせる
自動的に勝者を選ぶを有効にすると、まずリストのテスト用の一部(たとえば20%、各バリアントに分割)にだけ送信します。判定に使う指標は、開封、クリック、メール内での回答、収益から選べます。ライフサイクルメールなら回答かクリックを選びましょう。収益で判定するにはProプラン以上が必要で、数えるのはメール内の商品ブロックで完了した購入だけです。
指定した待機時間が過ぎると、MailInAppはその指標で受信者あたりの率が最も高いバリアントを、残しておいた全員に送信します。同率の場合や、各バリアントの送信数が5件未満の場合は最初のバリアントに戻し、勝者を名乗る代わりにその旨をA/Bテストカードに表示します。
勝者を決める前に
手早いA/B送信は何も事前に固定しないため、そのカードは単純な比較であり、結論ではありません。バリアントあたり数百人の受信者では、1〜2ポイントの差は偶然であることがよくあります。大きな差を探し、次のコホートでテストを繰り返してください。送信ごとに受信者が改めて振り分けられるため、次のテストではバリアントAに入る連絡先が変わります。その他の注意点はA/Bテストの結果を慎重に読むにまとめています。
手早いA/Bでは足りないとき
件名が更新やアップグレードを左右するなら、代わりに実験として実行しましょう。送信ページのA/Bボックスの実験として実行から、同じメールで実験を始められます。開封ではなくクリックなど、重要な指標を選べます(購入と収益はProプラン以上)。サンプルサイズプランナーが、テストに必要な連絡先の数を示します。結果には統計的な検定が付き、判断はあなたが記録します。何が得られるかは実験結果の読み方をご覧ください。
勝者を継続的な配信サイクルに引き継ぐ
1回限りのテストでバリエーションが勝ったら、それをこのライフサイクル段階に届く定期スケジュールの件名に設定します。以降の実行では毎回勝者が送られます。
自社のシステムでもバリエーションがわかる
各受信者のバリエーションは、その人の行動すべてについて回ります。インサイトでの回答、クリック、購入、そしてその人へのWebhook配信です。勝った件名が開封だけでなく、メール内のクリックや購入も増やしたかを確認できます。
はじめに
1回限りのライフサイクル送信(トライアル期限や更新のリマインダーなど)で、2〜5件の件名バリアントを追加して送信します。メールのインサイトでA/Bテストカードを確認し、勝った件名を同じライフサイクル段階の繰り返しスケジュールの唯一の件名として設定してください。