テストの前にオーディエンスの内訳を読む

サンプルを抽出する前に、フィルターのターゲットを確認しましょう。オーディエンスの内訳パネルは、リストの任意のフィールド、購入履歴、エンゲージメントでオーディエンスを分け、値のない連絡先の行も表示します。ここで1分かければ、放っておくとテストを偏らせる不揃いな値や空欄を見つけられます。

これは3部構成のシリーズのパート2です。パート1でフィルターを作りました。このパートではそのターゲットを読み解き、パート3でオーディエンスを保存して再利用します。

例では、架空のビンテージ衣料品店Retro Revivalを、架空の数字で取り上げます。

パネルの場所

実験のオーディエンスとサンプルステップを開きます。オーディエンスの内訳はフィルターの横にあります。送信可能かどうかを判定したあとの、いまのフィルターのターゲットを表示するので、ターゲットの件数と同じ連絡先を表しています。フィルターを変えるとパネルも追随します。

内訳の基準で見たいものを選びます。

• リストのフィールド：customer_type や genre など、連絡先リストの任意の列。
• アクティビティから：MailInAppと連携ストアが記録した購入による購入履歴と、「1未満」から「20以上」までの段階で表すエンゲージメントスコア。

値ごとに、それを持つターゲットの連絡先の件数と割合が表示されます。多い順に12個の値が並び、残りはまとめて数えられます。値のない連絡先には専用の行があり、値なし、エンゲージメントではアクティビティの記録なしと表示されます。リストが非常に大きい場合は、その一部をサンプルとして集計し、その旨が表示されます。

Retro Revivalの内訳

Retro Revivalのフィルターは6,420人の購読者をターゲットにしています。customer_type で分けると次のとおりです。

顧客はオーディエンスの約3分の1です。顧客と見込み客では購入率が大きく違うため、偶然どちらかのバリアントに顧客が多く入ると、特典ではなく顔ぶれのおかげで勝ってしまうかもしれません。これを防ぐのがバランス調整済みランダムサンプルです。値ごとに別々に抽出するので、どちらのバリアントにも同じ割合で入ります。

サンプルを抽出する前に確認すること

1つであるべき値。 フィルターは大文字と小文字を区別しませんが、内訳とバランス調整済みのサンプリングは区別します。「Customer」と「customer」は2つの行になり、2つのグループになります。似た値が並んでいたら、先にリストの値を直しましょう。

値なしの行の大きさ。 Retro Revivalで customer_type のない128件は、オーディエンスの2%です。バランス調整済みサンプルはこれを独立したグループとして扱い、均等に振り分けます。この程度の大きさなら問題ありません。オーディエンスの3分の1に値がない場合は、その列でバランスを取る前に値を埋めるか、別のフィールドでバランスを取りましょう。

小さすぎるグループ。 ごく少数の連絡先しか持たない値は、バランス調整にほとんど役立たず、単独では何もわかりません。まれな値が多いフィールドなら、「other」のような広い値にまとめましょう。

本当にアクティブな人。 エンゲージメントスコアの表示では、オーディエンスのうち最近やり取りのあった人の割合がわかります。アクティビティの記録なしの割合が大きければ、率は履歴が示すより低くなるため、プランナーのサンプルサイズを信頼する前にベースラインを確認しましょう。

このパネルではできないこと。 パネルはオーディエンスを説明するだけです。何も比較せず、その割合から結果を予測することもできません。

そのうえでサンプルを選ぶ

サンプルでバランス調整済みランダムサンプルを選び、バランス基準に確認したフィールドを設定します。バランス調整済みのサンプリングはProプラン以上に含まれています。ほかのプランでもランダムサンプルならバリアントは無作為に割り当てられ、数千件の連絡先があれば割合はたいてい近くなります。

Retro Revivalは customer_type でバランスを取り、4,000件を抽出しました。顧客1,440件、見込み客2,480件、値なし80件で、2つのバリアントに均等に分けられています。

はじめに

下書きの実験のオーディエンスとサンプルステップでオーディエンスの内訳を開き、バランスの基準にする予定のフィールドで内訳を見ます。リストの重複した値や大きな空欄を直してから、バランス調整済みランダムサンプルを選びましょう。このオーディエンスをほかの送信やテストで再利用するには、パート3をお読みください。