Experimente (A/B-Tests)

Ein Experiment testet eine Änderung an einer E-Mail gegen eine Kontrollgruppe. Sie legen die Frage fest, die eine Zahl, die sie beantwortet, und wer teilnimmt. MailInApp schreibt all das fest, bevor irgendetwas versendet wird. Dann versendet es alle Versionen gleichzeitig, misst, was passiert, und sagt Ihnen, wie belastbar das Ergebnis ist.

Die Abbildungen auf dieser Seite zeigen Retro Revival, einen erfundenen Modeshop, mit erfundenen Zahlen. Retro Revival testet, ob kostenloser Versand oder 10 % Rabatt mehr verkauft. Die Belohnung steckt dabei unter einer Rubbelkarte.

Was ein Experiment ist

Ein Experiment gehört zu einer E-Mail und beantwortet eine Frage. Es besteht aus:

• Einer Hypothese: was Sie erwarten und warum, aufgeschrieben, bevor Sie Ergebnisse sehen.
• Einer primären Metrik: der Zahl, die über das Ergebnis entscheidet, etwa die Kaufkonversion. Alles andere wird zur Erklärung gezeigt, entscheidet aber nie.
• Zwei oder mehr Varianten: Versionen der E-Mail. Eine davon ist die Kontrollgruppe, mit der jede andere Variante verglichen wird.
• Einer Zufallsstichprobe Ihrer Kontakte, einmal gezogen und auf die Varianten verteilt. Niemand erhält zwei Varianten.
• Einem Beobachtungsfenster: wie lange Klicks und Bestellungen nach dem Versand zählen. Das Ergebnis wird gelesen, wenn es endet.

Sie starten ein Experiment über Experimente in der Seitenleiste mit Neues Experiment. Oder Sie wählen Als Experiment durchführen im A/B-Bereich auf der Versandseite einer E-Mail, in ihrem Zeilenmenü in der E-Mail-Liste oder im Kampagnenkalender.

Wann ein schneller A/B-Versand genügt

Ein einfacher A/B-Versand teilt einen Versand auf bis zu fünf Varianten auf und zeigt ihre Raten nebeneinander. Das geht schnell und reicht für einen groben Vergleich zweier Betreffzeilen. Aber nichts ist vorab festgelegt: weder die Metrik noch die Stichprobengröße noch der Zeitpunkt, an dem Sie aufhören.

Nutzen Sie ein Experiment, wenn es auf die Antwort ankommt. Es ergänzt, was ein schneller Versand weglässt:

• Stichprobe und Metrik stehen vor dem Versand fest, sodass niemand hinterher die Lesart wählt, die am besten aussieht;
• einen statistischen Test, mit Intervallen und einem Urteil in einfachen Worten;
• Prüfungen, ob der Versand selbst fair war, etwa ob alle Varianten zur selben Zeit hinausgingen;
• eigene Shop-Belohnungen pro Variante, und Bestellungen werden der Variante zugeordnet, die sie ausgelöst hat;
• eine festgehaltene Entscheidung, die dauerhaft beim Experiment bleibt.

Anders als ein direkter Versand ist ein Experiment auch nicht auf 200 Empfänger begrenzt: Es versendet über einen eigenen Auftrag, in Teilen, an seine ganze Stichprobe.

Tarife

Experimente gibt es ab dem Lite-Tarif. Was jeder Tarif erlaubt:

Ein Holdout zählt als eine der Varianten.

Die sechs Schritte

Ein Experiment wird in sechs Schritten eingerichtet. Bis Sie es sperren, können Sie zu jedem davon zurückkehren.

Hypothese & Metriken

Schreiben Sie zuerst die Hypothese. Wählen Sie dann die primäre Metrik, die eine Zahl, die über das Experiment entscheidet. Jede Metrik ist ein Anteil oder ein Betrag über ihrer eigenen Basis:

Zugestellt heißt: gesendet minus Hard Bounces. Ein Kontakt zählt einmal, egal wie oft er klickt oder kauft.

Sekundäre Metriken stehen neben der primären, um sie zu erklären. Sie entscheiden nicht über das Ergebnis. Leitplanken sind Metriken, die ein Gewinner nicht verschlechtern darf, etwa die Abmelde- oder die Beschwerderate. Eine Variante, die die Kontrollgruppe schlägt, aber bei einer Leitplanke deutlich schlechter ist, ist kein Gewinner.

Zwei Metriken haben eigene Grenzen:

• Die Öffnungsrate dient nur dem Kontext. Apples Datenschutz für Mail öffnet E-Mails automatisch, daher kann sie weder primäre Metrik noch Leitplanke sein.
• Beobachtete Aufdeckrate und Klickrate nach Aufdeckung brauchen Aufdeckungen, die aus E-Mail-Programmen erfasst werden, und das kann MailInApp noch nicht. Lassen Sie diese Metriken vorerst weg. Klicks nach einer Aufdeckung hängen außerdem davon ab, wer aufgedeckt hat. Diese Metrik ist also kein randomisierter Vergleich.

Das Signifikanzniveau legt fest, wie stark die Belege sein müssen, bevor ein Unterschied zählt. Üblich sind 5 % (zweiseitig). Bei der Auswertung wählen Sie Fester Zeitpunkt (einmal gelesen, wenn das Fenster endet) oder, ab dem Business-Tarif, Sequenziell (laufend geprüft, mit strengeren Schwellen). Warum das Zeitfenster feststeht erklärt den Unterschied.

Unter Statistik legen Sie jetzt noch einige weitere Punkte fest, damit sie später nicht passend zum Ergebnis gewählt werden können. Dazu gehören die Berücksichtigung dessen, was vor dem Versand bekannt war, die Währung für den Umsatz, eine Obergrenze für sehr große Bestellungen und optionale Margen. Experimentergebnisse lesen erklärt jeden Punkt.

Varianten & Inhalt

Jede Variante ist eine Version der E-Mail. Geben Sie jeder eine Bezeichnung und einen Anteil an der Stichprobe, und markieren Sie eine als Kontrollgruppe. Gleichmäßig aufteilen setzt gleiche Anteile.

Eine Variante kann die Betreffzeile, den Absender und den Inhalt ändern. Für den Inhalt gibt es zwei Wege:

• Diese E-Mail, mit den Änderungen dieser Variante. Öffnen Sie die E-Mail im Studio, wählen Sie die Variante im Menü Variante der Symbolleiste und bearbeiten Sie die Blöcke, die sich ändern sollen. Alles andere bleibt für alle Varianten gleich. So unterscheiden sich die Varianten nur in dem, was Sie testen.
• Eine andere E-Mail. Die Variante versendet eine ganz andere E-Mail. Ihre Ergebnisse landen trotzdem bei diesem Experiment.

Einige Einstellungen dürfen sich zwischen Varianten nicht unterscheiden, weil sie bestimmen, wie Antworten oder Zahlungen geprüft werden: etwa die richtigen Antworten eines Quiz oder der Preis eines Produkts. Das Studio zeigt, welche Felder eine Variante ändern kann.

Ein Test muss den Inhalt gar nicht berühren. Hier teilen sich die beiden Varianten eine E-Mail und unterscheiden sich nur in der Betreffzeile:

Ab dem Pro-Tarif kann eine Variante ein Holdout sein: Kontakte, die nichts erhalten. Der Vergleich mit dieser Gruppe zeigt, wie viele Menschen auch ohne die E-Mail gekauft hätten. Dafür braucht es eine Kauf- oder Umsatzmetrik als primäre Metrik.

Zielgruppe & Stichprobe

Wählen Sie eine Kontaktliste und dann mit Filterregeln, wen Sie ansprechen. Mit einem gespeicherten Segment beginnen kopiert den Filter eines Segments in das Experiment. Wenn Sie ihn dort bearbeiten, ändert sich das Segment nicht.

Die Karte Zielgruppenzahlen zählt vier Stufen, mit denselben Regeln, die der Versand anwendet:

1. In der Liste: jeder Kontakt der Liste.
2. Berechtigt: Kontakte, die überhaupt angeschrieben werden dürfen. Die Liste Ausgeschlossen nennt die Gründe für die übrigen: abgemeldet oder unzustellbar, eine als ungültig verifizierte Adresse, keine Marketing-Einwilligung, eine unbestätigte Anmeldung, vom Thema dieser E-Mail abgemeldet oder bereits in einem anderen Experiment.
3. Ausgewählt: berechtigte Kontakte, auf die Ihr Filter zutrifft.
4. Im Experiment: die Stichprobe, aufgeteilt auf die Varianten.

Neben dem Filter schlüsseln die Zielgruppen-Einblicke die ausgewählten Kontakte nach einem Listenfeld, nach Kaufhistorie oder nach Engagement-Score auf. Jede Aufschlüsselung hat einen Bereich Kein Wert für Kontakte, denen dieses Feld fehlt. Prüfen Sie ihn vor der Stichprobe: Fehlt bei vielen Kontakten der Wert, bringt der Ausgleich über dieses Feld wenig.

Wählen Sie dann die Art der Stichprobe:

• Alle Zielkontakte: Jeder ausgewählte Kontakt nimmt teil, zufällig auf die Varianten verteilt.
• Zufallsstichprobe: eine Zufallsstichprobe der ausgewählten Kontakte, zufällig verteilt.
• Ausgewogene Zufallsstichprobe (ab Pro): Die Stichprobe wird getrennt für jeden Wert eines gewählten Felds gezogen, sodass jede Variante dieselbe Mischung erhält, etwa aus Kunden und Interessenten.
• Das gesamte Segment: jeder Kontakt, den die Regeln auswählen. Das ist eine regelbasierte Auswahl, keine Zufallsstichprobe, daher beschreiben die Ergebnisse nur dieses Segment. Die Varianten werden trotzdem zufällig zugeteilt.

Kontakte ausschließen, die bereits an einem anderen Experiment teilnehmen verhindert, dass sich Experimente überschneiden. Das gilt für Experimente, die gesperrt sind, noch in ihrem Beobachtungsfenster laufen oder deren Angebot noch eingelöst werden kann. So kann das Angebot eines früheren Tests nicht in diesen hineinwirken.

Der Stichprobenplaner berechnet, wie viele Kontakte der Test braucht, bevor etwas versendet wird. Er geht von Ihrer eigenen Historie aus: frühere Experimente mit der Liste oder Ihre letzten Versände. Sie geben den kleinsten Anstieg ein, der sich zu erkennen lohnt, und die gewünschte Teststärke, und er empfiehlt eine Stichprobe. Ist die Zielgruppe zu klein, nennt er stattdessen den kleinsten Anstieg, den der Test zuverlässig erkennen kann.

Retro Revival hoffte, dass die Käufe von 3,7 % auf 5,0 % steigen. Der Planer verlangt 3.943 Kontakte pro Variante, um diesen Anstieg um 1,3 Prozentpunkte zu erkennen. Mit insgesamt 4.000 Kontakten erkennt der Test zuverlässig einen Anstieg von etwa 1,9 Prozentpunkten. Ein kleinerer echter Unterschied kann leicht unentdeckt bleiben. Planen Sie deshalb die Größe, die Sie sich leisten können, vor dem Start und nicht danach. So viele Kontakte braucht Ihr A/B-Test führt Schritt für Schritt durch den Planer.

Belohnung & Zuordnung

Geben Sie jeder Variante ihr eigenes Shop-Angebot oder keines: einen Prozentrabatt, einen festen Rabattbetrag oder kostenlosen Versand. Entweder bekommt jede Variante eine Belohnung oder keine, und die Codes aller Varianten bleiben gleich viele Tage gültig. So werden die Varianten fair verglichen.

Jeder Empfänger erhält seinen eigenen Einmalcode, der an ihn gebunden ist. Zeigen Sie ihn in der E-Mail mit den Merge-Tags {{discount_code}} und {{discount_url}} an, etwa im Gewinn und im Link einer Rubbelkarte. Gesperrt werden kann erst, wenn ein Block die Belohnung zeigt.

Einiges ist vorher einzurichten:

• Die Codes werden in dem Shopify- oder WooCommerce-Shop erzeugt, der mit der Kontaktliste des Experiments verbunden ist. Fehlt ein solcher Shop, warnt der Schritt, dass keine Codes erzeugt werden können.
• Bei WooCommerce brauchen Codes für kostenlosen Versand eine Versandart Kostenloser Versand, die einen gültigen Gutschein für kostenlosen Versand voraussetzt. Der Schritt warnt, wenn Ihr Shop keine hat.
• Tragen Sie für kostenlosen Versand unter Durchschnittliche Versandkosten pro Bestellung ein, was Sie ein Versand im Schnitt kostet. Dieser Betrag zählt bei jeder Bestellung mit kostenlosem Versand als Aktionskosten.

Die Bestellzuordnung ordnet jede Shop-Bestellung einer Variante zu. Die erste passende Regel gilt, in dieser Reihenfolge:

1. Rabattcode: Die Bestellung hat den Code der Variante verwendet. Die stärkste Zuordnung, auch Tage später.
2. Getrackter Link: Der Käufer kam über den markierten Link der E-Mail.
3. Checkout in der E-Mail: Der Käufer hat über den Checkout eines Produkt-Blocks bezahlt.
4. E-Mail-Adresse (wahrscheinlich): Die Adresse des Käufers gehört zu einem Empfänger, der im Zeitfenster geklickt hat. Diese Bestellungen werden als wahrscheinlich ausgewiesen.

Die ersten drei Regeln sind standardmäßig aktiv. E-Mail-Adresse (wahrscheinlich) bleibt aus, bis Sie sie wählen. Sie ist die einzige Regel, die Bestellungen eines Holdouts zuordnen kann, weil der Holdout keine E-Mail bekommt. Unterschiedliche Belohnungen pro Variante erklärt die Codes und die Regeln im Detail, und Mit einem A/B-Test per Rubbelkarte herausfinden, welche Belohnung mehr verkauft führt einen vollständigen Belohnungstest durch.

Enthält die E-Mail eine Rubbelkarte, legt Call-to-Action beim Rubbellos fest, wo ihr Shop-Button sitzt: Im aufgedeckten Gewinn oder Unter der Karte. Eine Rubbelkarte messen erklärt, was Sie mit der jeweiligen Position messen können.

Zeitplan & Zeitfenster

Wählen Sie Sobald ich starte oder Zu einem festen Zeitpunkt. Alle Varianten gehen gemeinsam hinaus, verschränkt über dieselben Minuten. Die Versandzeit-Optimierung ist bei Experimenten aus. Ein Unterschied zwischen den Varianten kann also nicht vom Versandzeitpunkt kommen.

Das Beobachtungsfenster legt fest, wie lange Klicks und Bestellungen nach dem Versand zählen, von 1 bis 60 Tagen. Das Ergebnis wird einmal gelesen, wenn es endet. Wählen Sie eine Länge, die abdeckt, wie lange Menschen üblicherweise zum Handeln brauchen, und für die das Angebot gültig bleibt.

Ergebnis an den Rest senden testet zuerst an einer Stichprobe und sendet dann eine Variante an alle übrigen Kontakte der Zielgruppe. Dafür braucht es eine Zufallsstichprobe (Schritt 3), damit es einen Rest gibt. Wählen Sie eine Strategie:

• Einen signifikanten Gewinner senden: Eine Variante, die bis zum Entscheidungszeitpunkt bei der primären Metrik gewinnt, geht an den Rest. Sonst erhält der Rest die Kontrollgruppe.
• Den Spitzenreiter senden (Ertragsstrategie): Der Rest erhält die Variante, die zum Entscheidungszeitpunkt am besten aussieht, signifikant oder nicht. Das lohnt sich, wenn die Varianten nah beieinanderliegen, ist aber kein Beleg, dass eine besser ist.

Entscheiden nach zählt ab dem Zeitpunkt, an dem die letzte E-Mail der Stichprobe hinausgeht. Hat eine Variante bis dahin weniger als 30 Ereignisse, wird die Stichprobe zu Höchstens warten noch einmal ausgewertet. Reicht es dann immer noch nicht, erhält der Rest die Kontrollgruppe. Das bestimmt nur, was der Rest erhält: Die eigene Entscheidung des Experiments wartet weiter auf das ganze Zeitfenster.

Prüfen & sperren

Der letzte Schritt fasst den Plan zusammen und listet auf, was vor dem Sperren noch zu beheben ist. Vorregistrierung sperren schreibt dann Hypothese, Metriken, Zielgruppe und Varianten fest und zieht die Stichprobe: Welche Kontakte teilnehmen und welche Variante jeder erhält, steht damit endgültig fest.

Bis zum Start können Sie das Experiment noch umbenennen, den Versandzeitpunkt ändern und bei jeder Variante Bezeichnung, Betreffzeile, Absender und Inhalt bearbeiten. Starten reserviert den gesamten Versand aus Ihrem monatlichen E-Mail-Kontingent und plant ihn ein. Der Holdout verbraucht nichts von Ihrem Kontingent. Nach dem Start lässt sich nur noch der Name ändern.

Beim Start baut MailInApp außerdem die E-Mail jeder Variante so auf, wie sie versendet wird. Es verweigert den Start, wenn die E-Mail einer Variante die Rubbelkarten-Belohnung einer anderen zeigt, auch im Fallback, den E-Mail-Programme ohne Rubbelkarte anzeigen. Zwei Belohnungen in einem Experiment testen beschreibt, was die Prüfung erkennt. Die Preflight-Checkliste prüft die E-Mail so, wie Sie sie gespeichert haben. Sehen Sie sich deshalb auch jede Variante über das Menü Variante im Studio an.

Während der Laufzeit

Nach dem Start durchläuft das Experiment seine Status von selbst:

• Geplant bis zum Versandzeitpunkt, dann Wird gesendet, während alle Varianten hinausgehen.
• Beobachtung während des Beobachtungsfensters. Alle paar Stunden läuft eine Zwischenauswertung. Ihre Ergebnisse sind als Zwischenergebnisse markiert: Entscheiden Sie nicht auf ihrer Grundlage.
• Auswertung, sobald das Fenster endet. Die abschließende Auswertung liegt etwa eine Stunde später vor.
• Entschieden oder Nicht eindeutig, sobald Sie Ihre Entscheidung festhalten, dann Abgeschlossen, wenn Sie das Experiment abschließen.

Während es läuft, lässt sich nur der Name ändern. Experiment abbrechen stoppt es jederzeit vor der Entscheidung und lässt sich nicht rückgängig machen. Andere Versände derselben E-Mail lassen die Kontakte aus, die dieses Experiment hält. So erhält niemand über einen anderen Weg eine zweite Version.

Sie können ein Experiment löschen, solange es ein Entwurf ist, nachdem es abgeschlossen ist oder nach einem Abbruch. Seine Ergebnisse und Zuweisungen werden dabei mitgelöscht.

Grenzen und was nicht gemessen wird

• Aufdeckungen werden noch nicht aus Postfächern erfasst. Das Aufdecken einer Rubbelkarte oder eines Glücksrads passiert im E-Mail-Programm, und dort erfasst MailInApp es noch nicht. Messen Sie stattdessen Klicks auf den Preislink und Käufe.
• Öffnungen dienen nur dem Kontext. Apples Datenschutz für Mail und Bild-Proxys öffnen E-Mails automatisch, daher fallen Öffnungsraten hoch aus und schwanken je nach E-Mail-Programm.
• Jede Variante wird beim Start geprüft. Die Preflight-Prüfung der Versandseite prüft die E-Mail so, wie sie gespeichert ist, nicht die Version jeder Variante.
• Noch nicht in der mobilen App. Die MailInApp-App für Mobilgeräte zeigt keine Experimente.

Über die API nutzen

Ihr eigener Code und Automatisierungstools können Experimente mit einem API-Schlüssel lesen, und Webhooks können ihnen melden, wenn eines entschieden ist oder seine Ergebnisse vorliegen. Sie können lesen, aber nicht sperren, starten oder entscheiden. Siehe Experimentergebnisse abrufen.

Siehe auch

• Experimentergebnisse lesen
• Mit einem A/B-Test per Rubbelkarte herausfinden, welche Belohnung mehr verkauft
• So viele Kontakte braucht Ihr A/B-Test
• Die Gewinnerversion an den Rest Ihrer Zielgruppe senden
• Kontakte & Versand aus MailInApp
• Rubbelkarten-Block
• Verhaltensbasierte Segmente