Experimentergebnisse lesen

Ein Experiment endet mit einer Entscheidung, die Sie selbst festhalten. Die Ergebnisseite liefert Ihnen alles dafür: den Unterschied zwischen den Varianten, wie sicher Sie sich dabei sein können und ob der Versand selbst fair war. Diese Seite geht sie Bereich für Bereich durch und erklärt dann, was die Zahlen bedeuten.

Die Beispiele zeigen Retro Revival, einen erfundenen Modeshop, mit erfundenen Zahlen. Die Kontrollgruppe, Variante A, bot 10 % Rabatt. Variante B bot kostenlosen Versand. Die E-Mail jeder Variante wurde 1.960 Empfängern zugestellt, und die Kaufkonversion war die primäre Metrik.

Die Ergebnisse finden

Die Ergebnisse jedes Experiments liegen in den Insights seiner E-Mail, unter Experimente. In der Liste Experimente finden Sie im Zeilenmenü Ergebnisse in Insights. Die ersten Ergebnisse erscheinen nach der ersten Auswertung, die läuft, sobald der Versand abgeschlossen ist. Solange das Zeitfenster offen ist, weist die Seite die Ergebnisse als Zwischenergebnisse aus: Entscheiden Sie nicht vor seinem Ende.

Der Kopfbereich zeigt den Status, das Zeitfenster, die bisherige Beweislage und die Aktionen: Erklären, Exportieren, Entscheidung festhalten, Experiment abschließen und Gewinner ausrollen, jeweils wenn sie zutreffen.

Die Ergebnisseite, Bereich für Bereich

Vorregistrierung

Was Sie beim Sperren festgelegt haben: die Hypothese, die Metriken und ihre Rollen, das Signifikanzniveau, die Varianten, die Stichprobe und die statistischen Einstellungen. Der Bereich ist dafür da, dass jeder beim Lesen des Ergebnisses prüfen kann, ob es die gestellte Frage beantwortet.

Ergebnisse

Die Karte der primären Metrik zeigt jede Variante minus Kontrollgruppe, mit ihrem Intervall, ihrem Holm-angepassten p-Wert und einem Urteil: Signifikant, Nicht signifikant oder Signifikant: Die Kontrollgruppe schnitt besser ab. Darunter sagt ein Satz in einfachen Worten, was das Ergebnis bedeutet. Er endet mit dem kleinsten erkennbaren Unterschied: wie groß ein Unterschied sein muss, damit der Test ihn mit so vielen Empfängern zuverlässig erkennt.

Für Retro Revival lautet der Satz, dass kostenloser Versand 1,33 Prozentpunkte vor 10 % Rabatt lag (5,0 % gegenüber 3,7 %). Die tatsächliche Verbesserung liegt wahrscheinlich zwischen 0,05 und 2,62 Prozentpunkten. Ein so großer Abstand wäre ungewöhnlich, wenn beide gleich gut wären.

Sekundärmetriken und Leitplanken stehen in der Tabelle darunter. Sekundäre Metriken sind explorativ: Jede ist mit Fällt auf oder Fällt nicht auf markiert, nie mit „signifikant“. Eine Leitplanke zeigt Schlechter als die Kontrollgruppe oder Nicht nachweislich schlechter. Nur eine Leitplanke, die deutlich schlechter ist, verhindert einen Gewinner.

Im Vergleich zum Holdout

Mit einer Holdout-Variante vergleicht eine zweite Karte jede versendete Variante mit den Kontakten, die nichts erhalten haben, pro zugewiesenem Kontakt. Sie zeigt, was die E-Mail gegenüber gar keinem Versand gebracht hat. Sie ist beschreibend: Die Entscheidung vergleicht die Varianten weiterhin mit der Kontrollgruppe.

Interaktionsstufen

Getrennte Balken, ein Paar pro Stufe: Eindeutige Klickende und Käufer, jeweils als Anteil an der eigenen Basis. Das sind keine Schritte eines Trichters. Menschen können kaufen, ohne einen getrackten Link anzuklicken, da auch der Rabattcode eine Bestellung ihrer Variante zuordnet.

Der Verlauf über das Zeitfenster

Die primäre Metrik über das Zeitfenster, ein Punkt pro täglicher Auswertung. Er dient nur zum Beobachten. Ein Vorsprung, der unterwegs kommt und geht, ist kein Beleg: Der Test wird einmal gelesen, wenn das Zeitfenster endet.

Datenqualität

Lesen Sie diesen Bereich vor dem Ergebnis. Unter Statistische Prüfungen sehen Sie, ob Ziehung, Versand und Daten in Ordnung waren:

• Zuweisungen: Jede Variante enthält die Kontakte, die ihr die Ziehung zugeteilt hat.
• Stichprobenverhältnis: Die E-Mails jeder Variante gingen in dem Verhältnis hinaus, für das sie gezogen wurde.
• Bounces: Die Bounce-Raten sind über die Varianten hinweg ähnlich. Sind sie es nicht, werden Metriken pro gesendeter statt pro zugestellter E-Mail gezählt.
• Ausgewogenheit und Zusammensetzung: Die Varianten starteten gleich bei dem, was vor dem Versand bekannt war, etwa Engagement und frühere Bestellungen.
• Andere Experimente: Waren Kontakte gleichzeitig in einem anderen Experiment, ob sich die beiden bei der primären Metrik beeinflussen.

Die Prüfung Stichprobenverhältnis ist die wichtigste. Sie schlägt fehl, wenn der Zufall eine so große Lücke zwischen gezogenen und gesendeten Anteilen seltener als einmal in 2.000 Versuchen hervorbringen würde. Das deutet auf ein Versandproblem hin, daher markiert eine fehlgeschlagene Prüfung das Ergebnis als ungültig.

Unter den Prüfungen folgen: Versandzeitpunkt (wie weit die Varianten zeitlich auseinander hinausgingen), Stichprobe und Überschneidung, Zugestellt (zugewiesen, gesendet, gebounct und zugestellt pro Variante), Belohnungscodes, Bestellungen nach Zuordnungsregel sowie Umsatz und Aktionen.

Rest der Zielgruppe

Sendet das Experiment eine Variante an den Rest der Zielgruppe, zeigt diese Karte jede Auswertung der Teststichprobe, welche Variante der Rest erhielt und warum, und wie viele E-Mails versendet wurden. Sie bestimmt nur, was der Rest der Zielgruppe erhielt. Die eigene Entscheidung des Experiments wird weiterhin über das ganze Zeitfenster festgehalten.

Entscheidung

Sobald Sie eine Entscheidung festhalten, steht sie hier dauerhaft, mit Ihrer Begründung und der Beweislage, die die Auswertung ihr gegeben hat.

Was die Zahlen bedeuten

Jeder Vergleich hat drei Teile:

• Der Unterschied: die Rate der Variante minus die der Kontrollgruppe, in Prozentpunkten. 5,0 % bei kostenlosem Versand minus 3,7 % bei 10 % Rabatt ergibt +1,33 Prozentpunkte.
• Das Intervall: der Bereich, in dem der tatsächliche Unterschied wahrscheinlich liegt. Hier sind es 0,05 bis 2,62 Prozentpunkte. Es schließt die Null nicht ein, eine echte Verbesserung ist also wahrscheinlich, auch wenn sie klein sein kann.
• Der p-Wert: wie oft ein so großer Abstand auftreten würde, wenn die Varianten in Wahrheit gleich gut wären. Hier ist p = 0,041, unter dem Signifikanzniveau von 0,05. Der Unterschied ist also signifikant.

Die eindeutigen Klickenden erzählen etwas anderes. Kostenloser Versand kam auf 15,0 % gegenüber 13,5 %, aber p = 0,185, und das Intervall schließt die Null ein. Das ist eine Tendenz, kein signifikantes Ergebnis: Der Abstand bei den Klicks kann Zufall sein.

Der Ergebnissatz hat eine dieser Formen:

• Gewinner: Eine Variante hat die Kontrollgruppe bei der primären Metrik geschlagen, und keine Leitplanke blockiert sie.
• Nicht eindeutig: Die Belege reichen für keine Wahl. Das ist ein normales, nützliches Ergebnis. Es sagt Ihnen, dass ein etwaiger Unterschied kleiner ist, als dieser Test erkennen konnte.
• Kein Unterschied: Jede Variante liegt nachweislich nah an der Kontrollgruppe, innerhalb der Marge für „kein Unterschied“, die Sie vor dem Sperren festgelegt haben. Ohne Marge ist ein flaches Ergebnis nicht eindeutig.
• Nicht verlässlich: Eine Prüfung der Datenqualität ist fehlgeschlagen. Sehen Sie sich den Bereich an, bevor Sie entscheiden.
• Noch zu früh: Das Zeitfenster ist noch offen.

Bei kleinen Listen sind nicht eindeutige Ergebnisse häufig. Der Test von Retro Revival konnte nur einen Unterschied von etwa 1,9 Prozentpunkten zuverlässig erkennen. Das Ergebnis von 1,33 Prozentpunkten war also ein glücklicher Fall. Hätte kostenloser Versand 85 statt 98 Käufer gebracht (4,3 % gegenüber 3,7 %), läge p bei 0,29: nicht eindeutig. Der richtige nächste Schritt ist dann eine größere Stichprobe oder ein längeres Zeitfenster, bemessen mit dem Stichprobenplaner, und kein zweiter Blick auf dieselben Zahlen.

Warum das Zeitfenster feststeht

Jeder tägliche Blick auf einen laufenden Test ist eine weitere Gelegenheit, bei der Rauschen wie ein Gewinner aussieht. Wer beim ersten Blick aufhört, der die übliche Schwelle überschreitet, macht falsche Gewinner deutlich wahrscheinlicher. Deshalb wird ein Experiment mit Fester Zeitpunkt einmal gelesen, am Ende des Zeitfensters, das Sie festgelegt haben.

Die z-Statistik von Retro Revival endete bei 2,039, über der festen Schwelle von 1,96. Einmal gelesen, ist das Ergebnis signifikant. Sie lag aber schon an Tag 5 erstmals über 1,96. Wer täglich nachgesehen hätte, hätte dort aufgehört, auf schwächerer Grundlage.

Ab dem Business-Tarif können Sie mit der Auswertung Sequenziell schon während des Zeitfensters hinsehen. Jeder Blick hat eine strengere Grenze, sodass die Gesamtwahrscheinlichkeit eines falschen Gewinners bei Ihrem Signifikanzniveau bleibt. Es gibt keinen Blick, bevor etwa die Hälfte der erwarteten Daten vorliegt, keinen in den ersten 48 Stunden nach Versandende und höchstens einen pro Tag. Mit den Zahlen von Retro Revival überschreitet kein Blick seine Grenze: Die letzte liegt bei 2,056, knapp über 2,039. Überschreitet eine Variante die Grenze früh, können Sie die Entscheidung vor dem Ende des Zeitfensters festhalten.

Mehrere Varianten und mehrere Metriken

Mehr Vergleiche bedeuten mehr Gelegenheiten, dass einer zufällig gut aussieht. MailInApp korrigiert das:

• Die primäre Metrik nutzt die Holm-Korrektur über die Varianten, die mit der Kontrollgruppe verglichen werden. Ihre Intervalle werden entsprechend breiter gezeigt: Bei drei Varianten neben der Kontrollgruppe erscheint jedes mit 98,3 % statt 95 %.
• Sekundäre Metriken nutzen Benjamini–Hochberg. Sie sind explorativ: Sie können auffallen, entscheiden aber nie über das Experiment.
• Leitplanken werden bewusst auf einem lockereren Niveau gelesen, weil ein übersehener echter Schaden mehr kostet als ein Fehlalarm.

Angepasste Vergleiche

Haben Sie in den statistischen Einstellungen Berücksichtigen, was vor dem Versand bekannt war eingeschaltet gelassen, zeigen die Ergebnisse zusätzlich einen angepassten Vergleich. Er berücksichtigt Engagement-Score und Kaufhistorie jedes Kontakts zum Zeitpunkt der Ziehung, was die Intervalle meist enger macht. Entscheidend ist der angepasste Vergleich, wenn er gelaufen ist. Der unangepasste wird immer mit angezeigt.

Die Einstellung wird wie der übrige Plan vor dem Sperren getroffen. So kann sie niemand erst einschalten, nachdem er gesehen hat, welche Lesart besser aussieht. Die Anpassung entfällt für alle Varianten zugleich, wenn eine Variante zu klein ist oder es nichts anzupassen gibt.

Umsatzmetriken

Umsatz pro zugestellter E-Mail teilt den zugeordneten Shop-Umsatz jeder Variante durch ihre zugestellten Empfänger. Der Umsatz jedes Kontakts wird bei einem hohen Perzentil der Käufer gekappt, das vor dem Sperren festgelegt wird. So kann eine einzelne sehr große Bestellung den Test nicht entscheiden. Das Intervall stammt aus einem Resampling-Verfahren, wenn der Umsatz für die übliche Formel zu ungleich verteilt ist.

Umsatz und Aktionen zeigt das Geld pro Variante. Für Retro Revival, in US-Dollar:

Der Umsatz enthält keine Steuern und keinen Versand, und Rabatte sind bereits abgezogen. Das ist keine Gewinnrechnung.

• Aktionskosten sind die Rabatte der Bestellungen, dazu Ihre geschätzte Versandkostenübernahme für jede Bestellung mit kostenlosem Versand.
• Code-Einlösung sind die bei einer zugeordneten Bestellung eingelösten Codes, geteilt durch die Codes, die an die Empfänger der Variante ausgegeben wurden.
• Der durchschnittliche Bestellwert hängt davon ab, wer gekauft hat. Er kann das Experiment daher nicht entscheiden. Hier waren die Bestellungen mit kostenlosem Versand kleiner, aber mehr Menschen haben gekauft.
• Rückerstattungen, die im Zeitfenster bei Shopify und WooCommerce erfolgt sind, werden vom Umsatz abgezogen. Ein Shopify-Shop, der verbunden wurde, bevor es Experiment-Belohnungen gab, muss dafür zuerst neu verbunden werden. Rückerstattungen von Zahlungen über den Checkout in der E-Mail werden nicht abgezogen.
• Andere Währungen: Bestellungen in einer anderen Währung als der des Experiments fließen nicht in den Umsatz ein und werden getrennt gezählt.

Der Umsatz pro zugestellter E-Mail war mit kostenlosem Versand höher, aber p = 0,13: für sich genommen nicht signifikant. Entscheidend ist die Kaufkonversion, die primäre Metrik.

Bestellungen werden den Varianten nach den Zuordnungsregeln zugeordnet, die Sie gewählt haben, in dieser Reihenfolge: Rabattcode, getrackter Link, Checkout in der E-Mail, dann E-Mail-Adresse. Die erste passende Regel entscheidet, die übrigen werden nicht mehr geprüft. Die Karte Bestellungen zählt die Treffer jeder Regel, und Treffer über die E-Mail-Adresse sind als wahrscheinlich gekennzeichnet.

Unterschiedliche Belohnungen pro Variante erklärt jede Regel und wie die Codes erzeugt werden.

Eine Entscheidung festhalten

Wenn das Zeitfenster vorbei ist und die abschließende Auswertung vorliegt, öffnet Entscheidung festhalten einen Dialog. Wählen Sie Gewinner (und die gewinnende Variante), Kein Unterschied oder Nicht eindeutig, und schreiben Sie Ihre Begründung. Die Beweislage, die mit ihr gespeichert wird, stammt aus der Auswertung, nicht aus dem Formular:

• Wählen Sie eine Variante, die die Auswertung nicht benannt hat, bleibt das dauerhaft im Eintrag vermerkt: „Die Analyse hat diese Variante nicht als Gewinner ermittelt.“
• Einen Gewinner auf einem Ergebnis festzuhalten, das eine Datenqualitätsprüfung nicht bestanden hat, oder vor jeder Auswertung, erfordert eine Begründung der Abweichung.
• Eine festgehaltene Entscheidung lässt sich nicht ändern.

Danach:

• Experiment abschließen macht den Eintrag endgültig. Konfiguration, Ergebnisse und Entscheidung können sich danach nicht mehr ändern. Wurde das Experiment früh entschieden, schließen Sie es ab, sobald die abschließende Auswertung über das ganze Zeitfenster vorliegt.
• Gewinner ausrollen erstellt eine neue E-Mail aus der gewinnenden Variante, mit ihrem Inhalt und Angebot, ihrem Betreff und Absender und der Kontaktliste des Experiments. Jeder, den das Experiment zugewiesen hat, ist von allen Versänden dieser E-Mail ausgeschlossen. Versendet wird nichts, bis Sie es auf ihrer Versandseite tun. Die Gewinnerversion an den Rest Ihrer Zielgruppe senden begleitet einen solchen Fall von Anfang bis Ende.
• Exportieren lädt den Bericht als PDF (ab dem Business-Tarif mit Ihrem Firmennamen und Ihrer Markenfarbe), als CSV-Tabellen oder als JSON herunter. Er enthält nur Zahlen: keine Namen oder Adressen.
• Erklären bittet Mia, das Ergebnis in einfachen Worten zu beschreiben, nur mit den Zahlen und Bezeichnungen aus dem Bericht. Mia nennt einen Unterschied nie signifikant, wenn die Auswertung es nicht getan hat. Jeder Durchlauf verbraucht eine Mia-KI-Anfrage.

Mit der festgehaltenen Entscheidung ist die Frage des Experiments beantwortet. Den Gewinner an mehr Menschen zu senden, ist ein eigener Schritt danach.

Siehe auch

• Experimente (A/B-Tests)
• Mit einem A/B-Test per Rubbelkarte herausfinden, welche Belohnung mehr verkauft
• Die Gewinnerversion an den Rest Ihrer Zielgruppe senden
• Webhooks & Ereignisse
• Antworten & Webhooks