実験結果の読み方

実験は、あなた自身が判断を記録して終わります。結果ページには、その判断に必要なものがそろっています。バリアント間の差、その差がどれほど確かか、そして送信そのものが公平だったかです。このページでは、結果ページをパネルごとに見たあと、数値の意味を説明します。

例には、架空の衣料品店Retro Revivalと架空の数値を使っています。コントロールのバリアントAは10%オフ、バリアントBは送料無料を提示しました。各バリアントのメールは1,960人の受信者に配信され、主要指標は購入コンバージョンでした。

結果の場所

各実験の結果は、そのメールのインサイトの実験にあります。実験の一覧では、行メニューのインサイトで結果を見るから開けます。最初の結果は、送信が終わった後の最初の分析で表示されます。観測期間中は、結果が中間結果であることがページに示されます。期間が終わるまで判断しないでください。

ヘッダーには、ステータス、期間、現時点での根拠、そして操作ボタンが表示されます。この結果を説明、エクスポート、判断を記録、実験を終了、勝者を展開のうち、その時点で使えるものが並びます。

結果ページをパネルごとに見る

事前登録

ロック時に固定した内容です。仮説、指標とその役割、有意水準、バリアント、サンプル、統計の選択が表示されます。結果を読む人が、それが最初の問いに答えているかを確かめられるようにするためのものです。

結果

主要指標のカードには、各バリアントからコントロールを引いた差が、区間、Holm調整後のp値、判定とともに表示されます。判定は有意、有意でない、有意：コントロールの方が良い結果のいずれかです。その下には、結果の意味をわかりやすく述べた一文があります。文の最後には検出可能な最小差、つまりこの受信者数で確実に検出できた差の大きさが示されます。

Retro Revivalの場合、送料無料は10%オフより1.33ポイント良い結果だった（5.0%対3.7%）という文になります。本当の改善幅は0.05〜2.62ポイントの間にある可能性が高く、2つが同じ成果だったとすれば、これほどの差が出るのは珍しいことです。

副次指標とガードレールは、その下の表にあります。副次指標は探索的なもので、「有意」ではなく、目立つか目立たないで示されます。ガードレールはコントロールより悪いか悪いとは示されていないで示されます。勝者を阻止するのは、明確に悪化したガードレールだけです。

ホールドアウトとの比較

ホールドアウトがある場合は、2つ目のカードで、メールを送った各バリアントを何も受け取らなかった連絡先と比べます（割り当てられた連絡先あたり）。まったく送信しない場合と比べて、メールがどれだけ上乗せしたかがわかります。これは参考値で、判断は引き続きコントロールとの比較で行います。

インタラクションの段階

段階ごとに1組ずつの個別の棒です。ユニーククリックと購入者が、それぞれの母数に対する割合で表示されます。ファネルの各段階ではありません。割引コードでも注文がバリアントに紐付くため、トラッキングリンクをクリックせずに購入する人もいます。

期間中の推移

観測期間中の主要指標の推移で、毎日の分析ごとに1点ずつ表示されます。これは推移を見るためだけのものです。途中で現れたり消えたりするリードは根拠になりません。テストは期間の終了時に一度だけ判定します。

データ品質

結果を読む前に、このパネルを確認してください。統計チェックでは、抽出、送信、データに問題がなかったかがわかります:

• 割り当て：各バリアントに、抽出で割り当てられた連絡先が含まれているか。
• サンプル比：各バリアントのメールが、抽出時の比率どおりに送信されたか。
• バウンス：バウンス率がバリアント間で同程度か。そうでない場合、指標は配信数ではなく送信数あたりで計算されます。
• バランスと構成：エンゲージメントや過去の注文など、送信前に分かっていた点でバリアントが同じように始まったか。
• ほかの実験：連絡先が同時に別の実験にも参加していた場合に、2つの実験が主要指標で交互作用していないか。

最も重要なのはサンプル比のチェックです。抽出時と送信時の割合の差が、偶然では2,000回に1回も起きないほど大きいと不合格になります。これは送信の問題を示すため、不合格になると結果は無効とされます。

チェックの下には、送信タイミング（バリアントの送信がどれだけ離れていたか）、サンプルと重複、配信（バリアントごとの割り当て、送信、バウンス、配信）、特典コード、アトリビューションのルール別の注文、売上とプロモーションが並びます。

オーディエンスの残り

実験がオーディエンスの残りにバリアントを送信する場合、このカードには、テストサンプルの各確認、残りに送ったバリアントとその理由、送信数が表示されます。これは残りに何を送るかを選んだだけです。実験そのものの判断は、引き続き観測期間全体で記録します。

判断

判断を記録すると、その根拠と分析が示した根拠の強さとともに、ここにずっと表示されます。

数値の意味

各比較には3つの要素があります:

• 差：バリアントの率からコントロールの率を引いた値で、単位はパーセントポイントです。送料無料の5.0%から10%オフの3.7%を引くと、+1.33ポイントです。
• 区間：本当の差が入っている可能性が高い範囲です。ここでは0.05〜2.62ポイントです。ゼロを含まないので、改善は本物である可能性が高いと言えます。ただし、その幅は小さいかもしれません。
• p値：バリアントの成果が本当に同じだった場合に、これほどの差がどれくらいの頻度で出るかを表します。ここではp = 0.041で、有意水準の0.05を下回るため、差は有意です。

ユニーククリックは別の結果を示しています。送料無料は15.0%、10%オフは13.5%でしたが、p = 0.185で、区間はゼロをまたいでいます。これは傾向にすぎず、有意ではありません。クリックの差は偶然かもしれません。

結果の文は、次のいずれかの形になります:

• 勝者：あるバリアントが主要指標でコントロールを上回り、それを阻止するガードレールもない。
• 結論なし：選ぶのに十分な根拠がない。これは普通の、役に立つ結果です。差があるとしても、このテストで見えるよりも小さいことがわかります。
• 差なし：すべてのバリアントがコントロールに近いことが、ロック前に設定した「差なし」のマージンの範囲内で示された。マージンがなければ、差が見られない結果は「結論なし」になります。
• 信頼できません：データ品質チェックが不合格になった。判断する前にパネルを確認してください。
• 判断にはまだ早い：観測期間がまだ続いている。

小さなリストでは、「結論なし」はよくある結果です。Retro Revivalのテストで確実に検出できたのは約1.9ポイントの差までだったため、1.33ポイントの結果が出たのは幸運でした。送料無料の購入者が98人ではなく85人だったら（4.3%対3.7%）、pは0.29となり、結論なしです。その場合に取るべき次の手は、同じ数値を見直すことではありません。サンプルサイズプランナーで大きさを決め、より大きなサンプルか、より長い期間で実験することです。

期間を固定する理由

実行中のテストを毎日のぞくたびに、ノイズが勝者のように見える機会が1回増えます。通常の基準を超えた最初の時点で止めると、誤った勝者が出る可能性ははるかに高くなります。そのため、固定期間の実験は、設定した観測期間の終了時に一度だけ判定します。

Retro Revivalのz統計量は最終的に2.039で、固定の基準である1.96を上回りました。一度だけ判定すれば、結果は有意です。しかし、初めて1.96を超えたのは5日目でした。毎日のぞいていた人は、より弱い根拠のままそこで止めていたことになります。

Businessプラン以上では、逐次分析を使うと、期間中に結果を確認できます。確認のたびにより厳しい境界が使われるため、誤った勝者が出る全体の確率は有意水準のまま保たれます。予定のデータの約半分が集まるまで、また送信完了から48時間以内は確認が行われず、確認は1日1回までです。Retro Revivalの数値では、どの確認も境界を越えません。最後の境界は2.056で、2.039をわずかに上回っています。バリアントが早めに境界を越えた場合は、期間の終了前に判断を記録できます。

複数のバリアントと複数の指標

比較が増えるほど、どれかが偶然よく見える機会も増えます。MailInAppはこれを補正します:

• 主要指標には、コントロールと比べる各バリアントに対してHolmの補正を使います。それに合わせて区間も広く表示されます。コントロール以外にバリアントが3つある場合、それぞれの区間は95%ではなく98.3%で表示されます。
• 副次指標にはBenjamini–Hochberg法を使います。副次指標は探索的なもので、目立つことはあっても、実験の結果を決めることはありません。
• ガードレールは、あえて緩い水準で判定します。本当の悪影響を見逃す方が、誤った警告よりも代償が大きいためです。

補正済みの比較

統計の選択で送信前に分かっていた情報で補正するをオンにしていた場合、結果には補正済みの比較も表示されます。抽出時点の各連絡先のエンゲージメントスコアと購入履歴を考慮するため、通常は区間が狭くなります。補正が実行された場合は、補正済みの比較で判定します。補正前の比較も常に表示されます。

この選択は、計画の他の項目と同じくロック前に行います。そのため、どちらの読み方がよく見えるかを確かめてからオンにすることはできません。バリアントが小さすぎる場合や補正に使う情報がない場合、補正はすべてのバリアントでまとめて省略されます。

売上の指標

配信メールあたりの売上は、各バリアントのアトリビューションされたストア売上を、配信された受信者数で割ったものです。1件の非常に大きな注文でテストが決まらないよう、各連絡先の売上は、ロック前に選んだ購入者の高いパーセンタイルで上限処理されます。売上の偏りが大きく通常の公式が使えない場合、区間は再標本化の手法で求めます。

売上とプロモーションには、バリアントごとの金額が表示されます。Retro Revivalの場合（米ドル）:

売上には税金と送料を含みません。割引は反映済みです。利益の計算ではありません。

• プロモーション費用は、注文の割引額に、送料無料の注文ごとの送料補助の見込み額を加えたものです。
• コードの利用は、アトリビューションされた注文で使われたコードの数を、そのバリアントの受信者に発行したコードの数で割ったものです。
• 平均注文額は誰が購入したかに左右されるため、実験の結果を決めることはできません。この例では送料無料の注文の方が少額でしたが、購入した人は多くなりました。
• 返金：ShopifyとWooCommerceで期間内に行われた返金は売上から差し引かれます。実験の特典機能ができる前に接続したShopifyストアは、先に再接続が必要です。メール内チェックアウトでの支払いの返金は差し引かれません。
• 他の通貨：実験の通貨以外の注文は売上から除外され、別に集計されます。

配信メールあたりの売上は送料無料の方が高くなりましたが、p = 0.13で、それ単独では有意ではありません。判定するのは主要指標の購入コンバージョンです。

注文は、選んだアトリビューションのルールで、割引コード、トラッキングリンク、メール内チェックアウト、メールアドレスの順にバリアントに紐付けられます。最初に一致したルールで決まり、それ以降のルールは確認されません。注文のカードには各ルールの一致数が表示され、メールアドレスによる一致には推定と示されます。

各ルールとコードの発行方法はバリアントごとに異なる特典で説明しています。

判断を記録する

観測期間が終わり最終分析が出ると、判断を記録からダイアログを開けます。勝者（と勝者のバリアント）、差なし、結論なしのいずれかを選び、根拠を書きます。一緒に記録される根拠の強さは、フォームの入力ではなく分析から取られます:

• 分析が勝者としなかったバリアントを選ぶと、記録にそのことがずっと残ります（「分析はこのパターンを勝者としていません。」）。
• データ品質チェックに不合格だった結果や、分析前の時点で勝者を記録するには、オーバーライドの理由が必要です。
• 記録した判断は変更できません。

その後:

• 実験を終了すると、記録が確定します。設定、結果、判断は以後変更できません。早めに判断した実験は、観測期間全体の最終分析が出てから終了してください。
• 勝者を展開すると、勝者のバリアントから新しいメールが作られます。コンテンツと特典、件名と送信者、実験の連絡先リストが引き継がれます。実験で割り当てられた全員は、そのメールのすべての送信から除外されます。そのメールの送信ページから送信するまで、何も送られません。一連の流れは勝ったバージョンをオーディエンスの残りに送るで紹介しています。
• エクスポートでは、レポートをPDF（Businessプラン以上では会社名とブランドカラー付き）、CSV（表）、JSONでダウンロードできます。含まれるのは数値だけで、名前やアドレスは含まれません。
• この結果を説明では、レポートの数値とラベルだけを使って、Miaが結果をわかりやすく説明します。分析が有意としていない差を、Miaが有意と言うことはありません。1回の実行でMia AIのリクエストを1回使います。

判断を記録すれば、実験の問いへの答えが出ます。勝者をより多くの人に送るのは、その後の別のステップです。

関連ページ

• 実験（A/Bテスト）
• スクラッチカードのA/Bテストで、よく売れる特典を見つける
• 勝ったバージョンをオーディエンスの残りに送る
• Webhook とイベント
• 回答とWebhook