Mit einem A/B-Test per Rubbelkarte Herausfinden, Welche Belohnung Mehr Verkauft

Kostenloser Versand oder 10 % Rabatt: Welche Belohnung macht mehr Abonnenten zu Käufern? Diese Anleitung beantwortet das so, wie es ein Experiment tut. Verstecken Sie jede Belohnung unter derselben Rubbelkarte, versenden Sie beide Versionen gleichzeitig und lassen Sie die Käufe entscheiden.

Retro Revival ist eine erfundene Modemarke, und alle Zahlen hier sind zur Veranschaulichung erfunden. Sein Test in Zahlen: 50.874 Abonnenten · 2 Belohnungsvarianten · 7-tägiges Beobachtungsfenster.

Das ist Retro Revival

Retro Revival entwirft Vintage-inspirierte Mode aus recycelten und biologischen Materialien, gefertigt mit unabhängigen Handwerksbetrieben. Die neue Kollektion, Grunge Revival: The 90s Edit, greift die Alternative-Mode der 1990er auf.

Zum Start will das Marketingteam den Abonnenten eine Belohnung anbieten. Statt zu raten, welche wirkt, richtet es ein kontrolliertes Experiment ein und entscheidet nach den Käufen.

Dieselbe E-Mail, ein Unterschied

Alle Empfänger bekommen dieselbe E-Mail: Betreff, Kollektionstext, Produktkarussell, Rubbelkarte und Shop-Button. Nur die Belohnung unter der Karte unterscheidet sich. So lässt sich ein Unterschied bei den Käufen auf die Belohnung zurückführen und nicht auf das Design.

Die beiden Versionen sind Varianten eines Experiments. Ein Experiment vergleicht jede Variante mit einer Kontrollgruppe, und nur eine andere Variante kann zum Gewinner erklärt werden. Die Kontrollgruppe ist also das Angebot, das Sie ohnehin verschicken würden. Hier sind das 10 % Rabatt, Variante A. Kostenloser Versand ist Variante B.

Beide Varianten teilen sich eine E-Mail. Wählen Sie im Studio eine Variante im Menü Variante der Symbolleiste und ändern Sie den Preis der Karte nur für diese Variante. Probieren Sie beide unten aus: Rubbeln Sie die Karte frei, sehen Sie sie aufgedeckt oder sehen Sie den Fallback, den E-Mail-Programme ohne Rubbelkarte zeigen.

Der Shop-Button der Karte sitzt Im aufgedeckten Gewinn. Wo die Rubbelkarte funktioniert, erscheint der Button erst, wenn die Karte freigerubbelt ist. Ein Klick kommt also, nachdem die Belohnung zu sehen war. Die E-Mail hat keinen zweiten Button unter der Karte, denn den könnte man ohne Aufdecken anklicken. Wo der Link sitzt vergleicht die beiden Platzierungen.

Vor dem Versand vorregistrieren

Im Schritt Hypothese & Metriken hält das Team seinen Plan fest, bevor irgendetwas verschickt wird:

• Hypothese: Kostenloser Versand macht mehr Abonnenten zu Käufern als 10 % Rabatt.
• Primäre Metrik: Kaufkonversion, der Anteil der zugestellten Empfänger, die gekauft haben. Diese eine Zahl entscheidet das Experiment.
• Sekundäre Metriken: Eindeutige Klickrate und Umsatz pro zugestellter E-Mail. Sie erklären das Ergebnis, entscheiden es aber nicht.
• Leitplanke: Abmelderate. Ein Gewinner darf hier nicht deutlich schlechter sein.
• Signifikanzniveau: 5 % (zweiseitig), mit der Analyse Fester Zeitpunkt über ein 7-tägiges Beobachtungsfenster.

Beobachtete Aufdeckrate und Klickrate nach Aufdeckung lässt das Team weg. MailInApp erfasst Aufdeckungen aus Posteingängen noch nicht. Klicks nach dem Aufdecken hängen außerdem davon ab, wer aufdecken wollte. Diese Metrik ist daher kein randomisierter Vergleich.

Vorregistrierung sperren im Schritt Prüfen & sperren friert Hypothese, Metriken, Zielgruppe und Varianten ein und zieht die Stichprobe. Niemand kann zu einer besser aussehenden Metrik wechseln, wenn die Ergebnisse da sind.

Die richtigen Abonnenten erreichen

The 90s Edit richtet sich an Abonnenten, die Rock und die 1990er mögen. Im Schritt Zielgruppe & Stichprobe wählt das Team seine Liste mit 50.874 Kontakten und fügt zwei Filterregeln hinzu, Rock–Alternative UND 1990er. Die Karte Zielgruppenzahlen zeigt jede Stufe:

• Berechtigt kommt vor der Auswahl. 4.554 Kontakte dürfen gar nicht angeschrieben werden, und die Liste Ausgeschlossen nennt die Gründe: abgemeldet, keine Marketing-Einwilligung, eine ungültige Adresse und so weiter. Es bleiben 46.320.
• Ausgewählt wendet den Filter nur auf berechtigte Kontakte an. 11.240 mögen Rock–Alternative und 14.870 die 1990er, aber 6.420 mögen beides.
• Im Experiment ist die Stichprobe: 4.000, aufgeteilt in 2.000 pro Variante.

Vor dem Ziehen prüft das Team die Zielgruppen-Einblicke nach dem Feld customer_type. Von den 6.420 ausgewählten Kontakten sind 2.311 Kunden und 3.981 Interessenten. 128 haben keinen Wert: der Bereich Kein Wert, klein genug, um ihn so zu lassen.

Die Zielgruppe hängt von der Liste dahinter ab. Eine Abonnentendatenbank aufbauen, mit der Sie testen können behandelt die Felder und die Einwilligung, Zielgruppenfilter mit UND und ODER kombinieren den Filter selbst.

Fair ziehen und zuteilen

Das Team wählt Ausgewogene Zufallsstichprobe nach customer_type. Die Stichprobe wird getrennt unter Kunden, Interessenten und Kontakten ohne Wert gezogen. So bekommen beide Varianten dieselbe Mischung: je 720 Kunden, 1.240 Interessenten und 40 ohne Wert. Eine einfache Zufallsstichprobe ist im Mittel fair, aber jede einzelne Ziehung kann abweichen.

Jeder Kontakt ist nur in einer Variante, und niemand bekommt beide Belohnungen. Kontakte ausschließen, die bereits an einem anderen Experiment teilnehmen verhindert, dass das Angebot eines früheren Tests in diesen hineinwirkt.

Reichen 2.000 pro Variante? Der Stichprobenplaner sagt Nein, für den Anstieg, den sich das Team erhofft hat. Die Käufe von 3,7 % auf 5,0 % zu heben, ein Anstieg um 1,3 Punkte, braucht 3.943 Kontakte pro Variante.

Mit insgesamt 4.000 kann der Test einen Anstieg von etwa 1,9 Punkten zuverlässig erkennen. Das Team macht trotzdem weiter und weiß, dass ein kleinerer echter Unterschied unentdeckt bleiben könnte. So viele Kontakte braucht Ihr A/B-Test führt durch den Planer.

Belohnungen und Start

Im Schritt Belohnung & Zuordnung bekommt Variante A einen Prozentrabatt von 10 % und Variante B Kostenloser Versand. Die Codes beider Varianten gelten 7 Tage, damit keines der Angebote länger wirken kann. Jeder Empfänger bekommt seinen eigenen Einmalcode, an ihn gebunden. Die Codes werden beim Versand in dem Shopify- oder WooCommerce-Shop erzeugt, der mit der Kontaktliste des Experiments verbunden ist.

Der Preislink der Rubbelkarte ist das Merge-Tag {{discount_url}}, das jeden Empfänger mit seinem eigenen Code in den Shop bringt. Die Vorschauen auf dieser Seite verlinken direkt auf den Shop, weil eine Vorschau keinen Code erzeugen kann.

Für den kostenlosen Versand gibt das Team Durchschnittliche Versandkosten pro Bestellung von 5,50 $ an. Sie zählen als Aktionskosten für jede Bestellung mit kostenlosem Versand. Bei WooCommerce brauchen Codes für kostenlosen Versand außerdem eine Versandart Free Shipping, die einen Gutschein akzeptiert. Der Schritt warnt, wenn es keine gibt.

Im selben Schritt legt die Bestellzuordnung fest, nach welchen Regeln eine Shop-Bestellung einer Variante zugeordnet wird. Sie wird beim Sperren festgeschrieben. Das Team behält die drei Standardregeln, Rabattcode, Getrackter Link und Checkout in der E-Mail. E-Mail-Adresse (wahrscheinlich) lässt es aus, damit jede gezählte Bestellung ein sicherer Treffer ist.

Starten baut die E-Mail jeder Variante so auf, wie sie versendet wird. Der Start wird verweigert, wenn die E-Mail einer Variante irgendwo die Belohnung der anderen zeigt, den Fallback eingeschlossen. Dann gehen beide Varianten gleichzeitig hinaus, verschränkt über dieselben Minuten. 40 E-Mails pro Variante kommen als Bounce zurück, also werden 1.960 pro Variante zugestellt. Jede Rate unten ist ein Anteil dieser zugestellten E-Mails.

Was nach dem Rubbeln passiert

Das Freirubbeln der Karte geschieht im E-Mail-Programm des Empfängers. MailInApp erfasst Aufdeckungen aus Posteingängen noch nicht. Diese Anleitung kann also nicht zeigen, wie viele Menschen gerubbelt haben, oder wer gerubbelt und dann nicht geklickt hat. Bei MailInApp kommt ein Klick auf den Preislink an.

Weil der Button im aufgedeckten Gewinn sitzt, kommt ein Klick in einem E-Mail-Programm, in dem die Rubbelkarte funktioniert, nach einer Aufdeckung. In Programmen, die den Fallback zeigen, sind Preis und Link von Anfang an sichtbar.

Eindeutige Klicker gab es 294 bei kostenlosem Versand gegenüber 265 bei 10 % Rabatt: 15,0 % gegenüber 13,5 % der zugestellten E-Mails. Das ist ein Abstand von 1,5 Punkten, aber p = 0,185. Der Unterschied bei den Klicks ist eine Tendenz, nicht signifikant: Er könnte Zufall sein.

Klicker und Käufer sind getrennte Kennzahlen, jeweils über die 1.960 zugestellten E-Mails. Sie sind keine Stufen eines Trichters. Man kann ohne getrackten Klick kaufen, denn auch der Rabattcode ordnet eine Bestellung ihrer Variante zu.

Die Käufe entscheiden

Wenn das Zeitfenster endet, liest die Ergebnisseite die primäre Metrik. 98 Empfänger mit kostenlosem Versand haben gekauft, gegenüber 72 mit 10 % Rabatt: 5,0 % gegenüber 3,7 %.

Der Ergebnissatz sagt, dass kostenloser Versand 1,33 Punkte besser abschnitt als 10 % Rabatt. Die tatsächliche Verbesserung liegt wahrscheinlich zwischen 0,05 und 2,62 Punkten, und p = 0,041. Das liegt unter dem Signifikanzniveau von 5 %, also ist der Unterschied signifikant. Relativ betrachtet verkaufte kostenloser Versand an 36,1 % mehr Empfänger.

Das Intervall ist breit, und sein unteres Ende liegt nahe null. Kostenloser Versand verkauft hier sehr wahrscheinlich mehr, aber wie viel mehr, ist unsicher. Denken Sie an den Planer: Dieser Test konnte nur etwa 1,9 Punkte zuverlässig sehen. Ein Ergebnis von 1,33 Punkten war also ein glücklicher Fall.

Die Leitplanke Abmelderate hat gehalten: 0,20 % bei kostenlosem Versand gegenüber 0,26 % bei 10 % Rabatt. Sie blockiert den Gewinner also nicht.

Umsatz und Aktionen zeigt das Geld pro Variante, in US-Dollar:

Der Umsatz enthält keine Steuern und keinen Versand, und Rabatte sind bereits abgezogen. Das ist keine Gewinnrechnung.

Bestellungen mit kostenlosem Versand waren kleiner, aber mehr Menschen haben gekauft. Der Umsatz pro zugestellter E-Mail war mit kostenlosem Versand höher, aber p = 0,13: für sich genommen nicht signifikant. Es ist eine sekundäre Metrik. Sie erklärt das Ergebnis, ohne es zu entscheiden.

Die Aktionskosten sind das, was jede Belohnung verschenkt hat. Bei 10 % Rabatt ist das der Rabatt auf jede Bestellung. Bei kostenlosem Versand sind es die geschätzten 5,50 $ Versand für jede Bestellung mit kostenlosem Versand. Keine der beiden Spalten ist Gewinn: Die Kosten der verkauften Waren stecken in keiner davon.

Jede Bestellung kommt über die Zuordnungsregeln zu ihrer Variante, geprüft in einer festen Reihenfolge. Die erste passende Regel entscheidet, die übrigen werden nicht mehr geprüft. Es zählen nur Bestellungen aus dem 7-tägigen Zeitfenster.

Alle Käufer von Retro Revival haben ihren Code benutzt. Deshalb entspricht die Code-Einlösung den Käufern: 72 und 98 Codes von 2.000 pro Variante. Die erste Regel hat also jede Bestellung entschieden. Die Karte Bestellungen auf der Ergebnisseite zeigt, wie viele Bestellungen jede Regel zugeordnet hat. Umsatzmetriken behandelt Rückerstattungen und andere Währungen.

Die Entscheidung festhalten und abschließen

Das Experiment endet mit einer Entscheidung, die das Team selbst festhält. Entscheidung festhalten öffnet einen Dialog: Gewinner, Variante B, kostenloser Versand. Die Begründung nennt den signifikanten Unterschied bei den Käufen, die nicht signifikanten Klicks und Umsätze und das breite Intervall. Die Evidenz, die mitgespeichert wird, stammt aus der Analyse: signifikant.

Experiment abschließen macht den Eintrag danach endgültig. Exportieren lädt den Bericht als PDF, CSV-Tabellen oder JSON herunter. Er enthält die Vorregistrierung, die Zahlen pro Variante, die Prüfungen und die Entscheidung, ohne Namen oder Adressen.

Hier endet das Experiment. Kostenlosen Versand als Gewinner festzuhalten beantwortet die Frage. Es verschickt nichts. Den kostenlosen Versand dem Rest der Zielgruppe anzubieten, ist ein eigener Schritt mit eigener Zielgruppe und eigenem Zeitpunkt: Die Gewinnerversion an den Rest Ihrer Zielgruppe senden.

Drei Erkenntnisse

1. Ändern Sie nur eine Sache. Beide Varianten bekamen dieselbe E-Mail, also kommt der Unterschied bei den Käufen von der Belohnung. Eine E-Mail mit einer Änderung pro Variante sorgt dafür.
2. Klicks zeigen eine Richtung, Käufe entscheiden. Kostenloser Versand brachte mehr Klicks, aber nicht signifikant. Nur die primäre Metrik, vor dem Versand festgelegt, hat den Gewinner bestimmt.
3. Eine Entscheidung ist kein Versand. Das Team hat kostenlosen Versand als Gewinner festgehalten, mit der Evidenz. Ihn an mehr Menschen zu senden, mit Blick auf seine Versandkosten, kommt danach.

Was wäre, wenn es nicht eindeutig gewesen wäre?

Angenommen, 85 Empfänger mit kostenlosem Versand hätten gekauft statt 98. Das sind 4,3 % gegenüber 3,7 %, mit p = 0,29. Die Ergebnisseite würde Nicht eindeutig anzeigen: nicht genug Evidenz für eine Wahl.

Das ist ein normales, nützliches Ergebnis. Es sagt, dass ein etwaiger Unterschied kleiner ist, als dieser Test sehen konnte. Das Team würde Nicht eindeutig mit Begründung festhalten und bei 10 % Rabatt als übliches Angebot bleiben. Um mehr zu erfahren, könnte es mit dem Planer eine größere Stichprobe oder ein längeres Zeitfenster planen und ein neues Experiment starten. Kostenlosen Versand würde es nicht zum Gewinner erklären, nur weil seine Rate höher war.

Erste Schritte

Öffnen Sie die E-Mail im Studio und fügen Sie eine Rubbelkarte hinzu, deren Preislink auf {{discount_url}} gesetzt ist. Starten Sie dann mit Als Experiment durchführen ein Experiment, geben Sie jeder Variante ihre Belohnung und sperren Sie den Plan vor dem Versand. Experimente (A/B-Tests) behandelt jeden Schritt, und Experimentergebnisse lesen, wie Sie lesen, was zurückkommt.