Die meisten A/B-Tests auf E-Mail-Listen sind zu klein, um den Unterschied zu sehen, nach dem sie suchen. Der Stichprobenplaner im Zielgruppen-Schritt eines Experiments sagt Ihnen, bevor etwas versendet wird, wie viele Kontakte der Test braucht, oder welchen kleinsten Unterschied Ihre Zielgruppe zuverlässig zeigen kann.
Ein zu kleiner Test endet meist „nicht eindeutig“, auch wenn eine Version wirklich besser ist. Das ist kein Fehler des Tests. Es zeigt, dass die Frage zu wenigen Menschen gestellt wurde. Wer vorher plant, weiß, ob er den Test so starten, eine mutigere Änderung testen oder auf eine größere Zielgruppe warten sollte.
Das Beispiel unten folgt Retro Revival, einem erfundenen Modegeschäft, mit erfundenen Zahlen. Sein vollständiger Belohnungstest hat einen eigenen Anwendungsfall.
Was der Planer von Ihnen braucht
Öffnen Sie ein Experiment und gehen Sie zu Zielgruppe & Stichprobe. Der Stichprobenplaner steht unter den Zählungen der Zielgruppe. Er plant für die primäre Metrik, die Sie in Schritt 1 gewählt haben, mit vier Angaben:
- Die erwartete Rate der Kontrollgruppe. Zum Beispiel der Anteil der zugestellten Empfänger, die kaufen. Der Planer füllt sie aus Ihrer eigenen Historie.
- Kleinster Anstieg, der sich lohnt. Der kleinste Unterschied zur Kontrollgruppe, der Ihr Handeln ändern würde. Bei einer Rate wird er in Prozentpunkten angegeben: 1 Punkt führt von 3,7 % auf 4,7 %.
- Teststärke. Die Wahrscheinlichkeit, dass der Test einen Anstieg dieser Größe findet, wenn er echt ist. Üblich sind 80 %; 85 %, 90 % und 95 % brauchen mehr Kontakte.
- Erwartete Zustellrate. Gebouncte E-Mails können nicht kaufen, also rechnet der Planer Kontakte hinzu, um sie auszugleichen.
Das Signifikanzniveau kommt aus Schritt 1, die Aufteilung auf die Varianten aus dem Schritt Varianten & Inhalt.
Mit der eigenen Historie beginnen
Den eigenen Ausgangswert kennt man selten auswendig, und eine Schätzung liegt oft weit daneben. Der Planer liest ihn aus Ihrem Konto und sagt, woher jede Zahl stammt:
- Frühere Experimente auf dieser Liste, sonst auf Ihren anderen Listen. Sie decken jede Metrik ab, auch Käufe und Umsatz.
- Ihre letzten Versände an diese Liste, für eine primäre Metrik aus Klicks oder Antworten, die noch kein Experiment gemessen hat.
- Ihre Versände der letzten 90 Tage, für die Zustellrate und für Leitplanken zu Abmeldungen und Beschwerden.
Ohne Historie für eine Metrik fragt er nach der erwarteten Rate. Sie können auch jede Zahl überschreiben. Sie ist dann als Ihre Schätzung, nur für die Planung markiert, und Historie verwenden setzt den gemessenen Wert zurück. Ein geänderter Ausgangswert oder eine geänderte Zustellrate dient nur der Planung. Der zu erkennende Anstieg und die Teststärke werden mit dem Experiment gespeichert.
Die Empfehlung lesen
Sobald Sie den kleinsten Anstieg eingeben, der sich lohnt, zeigt der Planer die Empfohlene Stichprobe: die Kontakte, die der ganze Test braucht, und wie viele pro Variante. Ist Ihre ausgewählte Zielgruppe groß genug, sagt er das. Ein Knopf setzt die Stichprobe dann auf diese Größe: so viele Kontakte verwenden, oder eine Zufallsstichprobe ziehen, wenn Sie noch keine Stichprobe gezogen haben.
Ist die Zielgruppe zu klein, sagt er es offen: Diese Zielgruppe ist zu klein, um einen Anstieg unter einer bestimmten Zahl von Prozentpunkten zu erkennen. Diese Zahl ist die ehrliche Größe Ihres Tests. Ein kleinerer echter Unterschied könnte leicht unentdeckt bleiben. Für diese Zahl planen passt den Plan an.
Kontakte pro Variante
| Kleinster erkennbarer Unterschied | Kontakte pro Variante |
|---|---|
| 1,0 Pp. | 6.444 |
| 1,5 Pp. | 3.027 |
| 2,0 Pp. | 1.793 |
| 2,5 Pp. | 1.206 |
| 3,0 Pp. | 877 |
Die Kurve zeigt den Zielkonflikt. Halbiert man den Unterschied, den man erkennen will, braucht jede Variante fast viermal so viele Kontakte. Die Kaufrate von Retro Revival lag bei 3,7 %, bei 98 % Zustellung und 80 % Teststärke:
| Kleinster zu erkennender Anstieg | Kontakte pro Variante |
|---|---|
| 1 Punkt | 6.444 |
| 1,3 Punkte | 3.943 |
| 1,5 Punkte | 3.027 |
| 2 Punkte | 1.793 |
| 3 Punkte | 877 |
Retro Revival hoffte, dass kostenloser Versand die Käufe um 1,3 Punkte steigert. Dafür braucht es 3.943 Kontakte pro Variante. Das Geschäft hatte insgesamt 4.000, also 2.000 pro Variante. Mit dieser Stichprobe meldet der Planer einen kleinsten zuverlässig erkennbaren Anstieg von etwa 1,9 Punkten. Das Team startete den Test trotzdem, im Wissen, dass ein kleinerer echter Unterschied unentdeckt bleiben konnte.
Wenn der Test mehr Kontakte braucht
Einige Entscheidungen treiben die Zahl nach oben, und der Planer sagt, welche es ist:
- Mehr Varianten. Jede Variante wird auf einem strengeren Niveau mit der Kontrollgruppe verglichen, damit alle Vergleiche zusammen Ihr Signifikanzniveau halten. Drei Varianten brauchen mehr Kontakte pro Variante als zwei.
- Eine ungleiche Aufteilung. Ein kleiner Holdout oder eine große Kontrollgruppe machen jeden Vergleich teurer als eine gleichmäßige Aufteilung.
- Margen bei Leitplanken. Eine Leitplanke mit Marge kann mehr Kontakte brauchen als die primäre Metrik. Der Planer bemisst den Test dann nach der Leitplanke.
- Sequenzielle Auswertung (ab dem Business-Tarif). Das Ergebnis schon während des Zeitfensters anzusehen, braucht mehr Kontakte als eine einzige Auswertung am Ende. Der Planer sagt, wie viele mehr.
Eine kleinere Teststichprobe: Test & Roll
Manchmal brauchen Sie keinen Beweis, nur die bessere Wahl für den Rest Ihrer Liste. Ergebnis an den Rest senden mit der Strategie Den Spitzenreiter senden (Ertragsstrategie) schickt nach einem kurzen Test die Variante an alle anderen, die am besten aussieht.
Für diese Strategie kann der Planer eine Ertragsoptimale Teststichprobe (Test & Roll) vorschlagen. Er wägt ab, wie stark die Ergebnisse in Ihren früheren Experimenten schwankten, und was der Rest der Liste gewinnen kann. Dafür braucht er mindestens zwei frühere Experimente und zwei Varianten ohne Holdout. Die Stichprobe ist meist viel kleiner als die empfohlene. Es ist eine Ertragsentscheidung: Eine Stichprobe dieser Größe ist meist zu klein, um einen signifikanten Gewinner zu finden.
Der Plan wird beim Sperren eingefroren
Der zu erkennende Anstieg und die Teststärke werden mit dem Experiment gespeichert und beim Sperren eingefroren, zusammen mit der übrigen Vorregistrierung. Die Ergebnisseite meldet später den kleinsten Unterschied, den der fertige Test zuverlässig hätte erkennen können. Endet der Test nicht eindeutig, sagt Ihnen diese Zahl, ob ein echter Unterschied unentdeckt geblieben sein könnte.
Und ein schneller Betreffzeilentest?
Ein einfacher A/B-Versand von der Versandseite hat keinen Planer, und nichts wird vorab festgelegt. Für eine Betreffzeile, auf die es ankommt, etwa eine Verlängerungserinnerung, führen Sie ihn als Experiment durch und planen Sie ihn auf die Klickrate statt auf Öffnungen. Apples Datenschutz für Mail bläht Öffnungen auf, deshalb taugen sie wenig als primäre Metrik.
Variante A (Kontrollgruppe)
Betreff
The October restock is here
Variante B
Betreff
Back in stock: the 3 cameras you asked for
Klicks sind viel häufiger als Käufe, deshalb braucht ein Betreffzeilentest meist weit weniger Kontakte als ein Prämientest. Ihre eigene Klickhistorie aus den letzten Versänden an die Liste liefert den Ausgangswert.
Erste Schritte
Erstellen Sie auf der Versandseite einer E-Mail ein Experiment mit Als Experiment durchführen. Wählen Sie die primäre Metrik in Hypothese & Metriken und öffnen Sie dann den Stichprobenplaner in Zielgruppe & Stichprobe. Prüfen Sie, woher der Ausgangswert kommt, geben Sie den kleinsten Anstieg ein, für den Sie handeln würden, und bemessen Sie die Stichprobe vor dem Sperren. Experimente (A/B-Tests) führt durch jeden Schritt.