Ein Experiment endet mit einer Entscheidung, nicht mit einem Versand. Sobald ein Gewinner festgehalten ist, macht „Gewinner ausrollen“ aus der Gewinnervariante eine gewöhnliche E-Mail für den Rest Ihrer Zielgruppe. Alle, die am Test teilgenommen haben, bleiben außen vor, und nichts wird versendet, bevor Sie es tun.
Diese Trennung ist gewollt. Die Entscheidung hält fest, was die Daten gezeigt haben. Den Gewinner zu versenden, ist eine Marketingentscheidung, die Sie danach treffen, mit eigener Zielgruppe, eigenem Zeitpunkt und eigenem Angebot.
Diese Anleitung folgt Retro Revival, einem erfundenen Modegeschäft, mit erfundenen Zahlen. Sein Experiment testete 10 % Rabatt (Variante A, die Kontrollgruppe) gegen kostenlosen Versand (Variante B), jeweils unter einer Rubbelkarte verborgen, bei 4.000 der 6.420 Abonnenten, die Rock und die 1990er mögen. Mit einem A/B-Test per Rubbelkarte herausfinden, welche Belohnung mehr verkauft begleitet dieses Experiment von Anfang an.
Mit einem festgehaltenen Gewinner beginnen
Gewinner ausrollen erscheint auf der Ergebnisseite des Experiments, sobald ein Gewinner festgehalten ist und das Experiment Entschieden oder Abgeschlossen ist. Die Kaufkonversion von Retro Revival lag bei kostenlosem Versand bei 5,0 %, bei 10 % Rabatt bei 3,7 %, ein signifikanter Unterschied. Das Team hielt den kostenlosen Versand als Gewinner fest und schloss das Experiment ab.
- Entwurf
- Gesperrt
- Geplant
- Wird gesendet
- Beobachtung
- Auswertung
- EntschiedenoderNicht eindeutig
- Abgeschlossen
Gewinner ausrollen
Ein eigener Versand nach einer Entscheidung, kein Status.
| Schritt | Status |
|---|---|
| 1 | Entwurf |
| 2 | Gesperrt |
| 3 | Geplant |
| 4 | Wird gesendet |
| 5 | Beobachtung |
| 6 | Auswertung |
| 7 | Entschieden |
| 7 | Nicht eindeutig |
| 8 | Abgeschlossen |
| Außerhalb der Linie | Gewinner ausrollen |
Das Ausrollen liegt neben dem Hauptablauf des Experiments. Es ändert weder das Experiment noch seine Ergebnisse oder seine Entscheidung, und Sie können auch nach dem Abschluss ausrollen. Bei einer Entscheidung „nicht eindeutig“ oder „kein Unterschied“ wird nichts ausgerollt, und ein Holdout lässt sich nicht ausrollen, weil er keine E-Mail hat.
Was „Gewinner ausrollen“ erstellt
Gewinner ausrollen öffnet eine kurze Bestätigung, dann erstellt E-Mail erstellen eine neue E-Mail, benannt nach dem Experiment und der Variante. Sie enthält, was die Empfänger der Gewinnervariante bekommen haben:
- Inhalt und Angebot der Variante. Die E-Mail mit den Änderungen dieser Variante, oder die eigene E-Mail der Variante, wenn sie anderen Inhalt versendet hat.
- Betreff und Absender. Den Betreff der Variante und den Absender, von dem sie versendet wurde.
- Die Kontaktliste des Experiments als Zielgruppe.
Danach öffnet sich die Versandseite der neuen E-Mail. Ein Hinweis nennt dort das Experiment und die Variante, und Betreff und Zielgruppenfilter des Experiments sind bereits ausgefüllt. Nichts wird versendet, bevor Sie auf dieser Seite senden. Ein erneuter Klick auf Gewinner ausrollen öffnet dieselbe E-Mail, statt eine zweite anzulegen.
Wer sie bekommt und wer nicht
Jeder Versand der neuen E-Mail lässt alle aus, die das Experiment zugeteilt hat, in jeder Variante und dauerhaft. Sie haben bereits eine Version dieser E-Mail bekommen, und ihre Ergebnisse gehören zum Test. Jeder Versand meldet sie als übersprungen, mit dem Grund „In an experiment on this email“ (in einem Experiment zu dieser E-Mail).
Der Filter von Retro Revival, Rock–Alternative UND 1990er, wählt weiterhin 6.420 Kontakte aus. Die 4.000, die im Experiment waren, bleiben außen vor, also können 2.420 Abonnenten die Gewinner-E-Mail bekommen.
Sie können die Zielgruppe vor dem Versand ändern. Der Filter auf der Versandseite ist ein gewöhnlicher Filter, Sie können ihn also auf die ganze Liste erweitern oder auf eine Gruppe eingrenzen. Abgemeldete oder aus anderen Gründen nicht berechtigte Kontakte werden wie bei jedem Versand übersprungen.
Das Angebot kommt mit
Hatte die Gewinnervariante eine Shop-Prämie, behält die neue E-Mail sie bei. Jeder Versand erzeugt in Ihrem verbundenen Shop für jeden Empfänger einen Einmalcode, der so viele Tage gilt wie die Codes der Variante. Die Gratisversand-Codes von Retro Revival gelten 7 Tage, ab jedem Versand gerechnet.
Prüfen Sie vor dem Versand, ob das Angebot noch sinnvoll ist. Kostenloser Versand oder ein Rabatt kostet bei jeder Bestellung Geld, die er bringt. Die Umsatzzahlen des Experiments sind keine Gewinnrechnung: Sie enthalten keine Steuern und keine Versandkosten, und Rabatte sind bereits abgezogen.
An mehr als 200 Kontakte senden
Ein Versand von der Versandseite erreicht höchstens 200 Empfänger auf einmal. Die 2.420 von Retro Revival brauchen also mehr als einen Versand. Zwei Wege funktionieren:
- Mehrere einmalige Versände. Wählen Sie jedes Mal bis zu 200 Kontakte. Der Versandverlauf markiert, wer die E-Mail schon bekommen hat.
- Ein wiederkehrender Versand. Fügen Sie unter Wiederkehrender Versand dieselben Filterregeln hinzu und legen Sie einen täglichen oder wöchentlichen Zeitplan an. Jeder Lauf sendet an bis zu 200 passende Kontakte, die diese E-Mail noch nicht bekommen haben, bis alle erreicht sind. Die Kontakte des Experiments werden dabei je einmal geprüft und übersprungen, deshalb senden die ersten Läufe weniger.
Wiederkehrende Versände sind ab dem Lite-Tarif enthalten.
Oder die Version für den Rest vor dem Start wählen
Wenn Sie nicht das ganze Zeitfenster abwarten möchten, legen Sie vor dem Start fest, wie der Rest der Zielgruppe seine E-Mail bekommt. Ergebnis an den Rest senden im Schritt Zeitplan & Zeitfenster des Experiments testet zuerst an einer Stichprobe und sendet dann eine Variante an alle anderen ausgewählten Kontakte. Er sendet in Paketen, ohne die Grenze von 200 Kontakten. Er braucht eine Zufallsstichprobe, damit ein Rest bleibt, an den gesendet werden kann.
Die gewählte Strategie entscheidet, was der Rest bekommt. Angenommen, Retro Revival hätte an 2.000 Kontakten getestet und nach 48 Stunden entschieden. Zu diesem Zeitpunkt hatten 49 Empfänger des kostenlosen Versands gekauft, gegenüber 36 mit 10 % Rabatt: 5,0 % gegenüber 3,7 %, aber noch nicht signifikant (p = 0,15).
- Einen signifikanten Gewinner senden hätte die Kontrollgruppe, also 10 % Rabatt, an die übrigen 4.420 Kontakte geschickt. Noch hatte keine Variante gewonnen.
- Den Spitzenreiter senden (Ertragsstrategie) hätte den kostenlosen Versand geschickt, weil er am besten aussah. Das ist eine vernünftige Wette, wenn die Varianten nah beieinander liegen, aber kein Beleg dafür, dass kostenloser Versand besser ist.
In beiden Fällen entscheidet diese Wahl nur, was der Rest bekommt. Das Experiment läuft trotzdem sein ganzes Zeitfenster, und Sie halten seine Entscheidung wie gewohnt auf dem vollständigen Ergebnis fest.
Erste Schritte
Halten Sie auf der Ergebnisseite des Experiments einen Gewinner fest und schließen Sie das Experiment ab. Klicken Sie dann auf Gewinner ausrollen, prüfen Sie, was die neue E-Mail enthält, und klicken Sie auf E-Mail erstellen. Prüfen Sie auf ihrer Versandseite Betreff, Zielgruppenfilter und Angebot, und senden Sie in Paketen von bis zu 200 oder richten Sie einen wiederkehrenden Versand ein. Experimentergebnisse lesen erklärt, wie Sie zuerst die Entscheidung festhalten.