Sollte ein neuer Testnutzer eine kurze E-Mail bekommen, die ihn ins Produkt führt, oder eine geführte Tour über mehrere Tage? Ein Journey-Experiment beantwortet das mit Ihren eigenen Anmeldungen. Jeder neue Kontakt erhält am Split einen Pfad und behält ihn, und der Zielschritt zählt, wer losgelegt hat. Wenn das Ergebnis da ist, entscheiden Sie, und Sie schicken alle selbst über den Gewinnerpfad.
Diese Anleitung begleitet Darkroom Cloud, eine erfundene App zum Speichern von Fotos, und alle Zahlen hier sind erfunden. Es ist ein Test, der besser in eine Journey passt als in einen einzelnen Versand. Die beiden Versionen unterscheiden sich in mehr als einer E-Mail, und neue Kontakte kommen jeden Tag, nicht alle auf einmal.
Darkroom Cloud
Darkroom Cloud speichert und ordnet die Bildarchive von Fotografen. Die kostenlose Testphase dauert 14 Tage, und das Team weiß eines darüber, wer bleibt: Wer früh ein erstes Album hochlädt, nutzt die App meist weiter. Etwa 140 Menschen starten jeden Tag eine Testphase.
Jede Anmeldung landet über die API in einer Kontaktliste Testnutzer, und eine Journey startet mit dem Trigger Kontakt tritt einer Liste bei für diese Liste. Das Team wollte wissen, welche Begrüßung mehr neue Nutzer dazu bringt, innerhalb einer Woche ein erstes Album hochzuladen.
Zwei Pfade nach einem Split
Der erste Schritt der Journey ist ein Split mit zwei Pfaden:
- Pfad 1, Schnellstart (die Kontrollgruppe): eine E-Mail mit einer einzigen Schaltfläche, „Upload your first album“, dann 6 Tage Wartezeit und ein Zielschritt.
- Pfad 2, Geführte Tour: eine E-Mail, die mit einem Abstimmungs-Block fragt, was man am meisten fotografiert, und von dort aus die Tour startet, 2 Tage Wartezeit, eine zweite E-Mail mit Tipps für diese Art von Fotografie, 4 Tage Wartezeit und ein Zielschritt.
Pfad 1 · Schnellstart (Kontrollgruppe)
Betreff
Your first album in two minutes
Pfad 2 · Geführte Tour
Betreff
Let's set up Darkroom Cloud together
Die Regel des Zielschritts lautet „first_album ist yes“. Die App setzt dieses Kontaktfeld über die API, sobald jemand hochlädt. Ein Zielschritt prüft seine Regel, wenn ein Kontakt ihn erreicht, deshalb enden beide Pfade mit einem, 6 Tage nach dem Split. Das liegt innerhalb des 7-tägigen Zeitfensters jedes Kontakts, die beiden Pfade werden also zum selben Zeitpunkt gemessen.
„Experiment durchführen“ wählen
Am Split bietet Verteilung drei Modi. Feste Anteile behält Ihre Gewichtung bei und misst nichts. Ergebnis maximieren (Optimierung) schickt mehr Kontakte über den Pfad, der besser konvertiert, sobald Ergebnisse eintreffen. Experiment durchführen (vorab registrierter Test) hält die Anteile fest und liefert ein Ergebnis, dem Sie trauen können.
- Pfad 1
- Pfad 2
Tag 0
Tag 2
Tag 7
Tag 21
Die Anteile, die Sie festlegen, solange die Journey läuft. Verglichen wird nichts.
| Zeitpunkt | Pfad 1 | Pfad 2 |
|---|---|---|
| Tag 0 | 50 % | 50 % |
| Tag 2 | 50 % | 50 % |
| Tag 7 | 50 % | 50 % |
| Tag 21 | 50 % | 50 % |
| Zeitpunkt | Pfad 1 | Pfad 2 |
|---|---|---|
| Tag 0 | 50 % | 50 % |
| Tag 2 | 19 % | 81 % |
| Tag 7 | 12 % | 88 % |
| Tag 21 | 8 % | 92 % |
| Zeitpunkt | Pfad 1 | Pfad 2 |
|---|---|---|
| Aufnahme, 20 Tage | 50 % | 50 % |
| Nach der Entscheidung | 0 % | 100 % |
Maximieren ist verlockend, denn es hätte die meisten neuen Nutzer innerhalb weniger Tage über den besseren Pfad geschickt. Es liefert aber nie einen fairen Vergleich und bestimmt keinen Gewinner. Das Team hätte also nie erfahren, wie viel besser die geführte Tour ist oder ob sie überhaupt besser ist. Es wollte diese Antwort, bevor es sein Onboarding dauerhaft ändert, und wählte deshalb das Experiment.
Die Frage vorab registrieren
Experiment einrichten öffnet vier Schritte. Unter Hypothese & Metriken schrieb das Team seine Hypothese: „Eine geführte Tour bringt mehr neue Nutzer dazu, innerhalb einer Woche ein erstes Album hochzuladen, als eine Schnellstart-E-Mail. Neue Nutzer brauchen eine Anleitung.“ Dann legte es die Metriken fest:
- Zielrate als Hauptmetrik: der Anteil der Kontakte, die den Split erreicht haben und deren Journey innerhalb ihres Zeitfensters an einem Zielschritt endete. Sie braucht nach dem Split einen Zielschritt, und beide Pfade haben einen.
- Eindeutige Klickrate als Nebenmetrik, um das Ergebnis zu erklären, ohne es zu entscheiden.
- Abmelderate als Schutzmetrik, damit ein Gewinner auffällt, der Menschen vertreibt.
Unter Varianten & Inhalt sind die Varianten die Pfade des Splits in ihrer Reihenfolge. Das Team nannte sie „Schnellstart“ und „Geführte Tour“, behielt Pfad 1 als Kontrollgruppe und ließ die Anteile bei je 50 %.
Die Aufnahme berechnen
Unter Zeitplan & Zeitfenster steht das Zeitfenster pro Kontakt auf 168 Stunden: Die Ergebnisse jedes Kontakts zählen 7 Tage ab dem Moment, in dem er den Split erreicht.
Wie lange einschreiben las die letzten 28 Tage der Journey. In dieser Zeit erreichten 3.920 Kontakte den Split, 140 pro Tag, und 30 % derjenigen, deren Zeitfenster abgelaufen war, erreichten ein Ziel. Das Team gab als Kleinster Anstieg, der sich lohnt 5 Prozentpunkte an, mit 80 % Teststärke. Der Planer zeigte dann:
- Kontakte, die den Split erreichen müssen: 2.754, also 1.377 pro Pfad.
- Empfohlene Einschreibung: 20 Tage. Bei 140 Kontakten pro Tag erreicht jeder Pfad seine Stichprobe in 19,7 Tagen. Danach läuft das 7-tägige Zeitfenster jedes Kontakts, die Endergebnisse kommen also etwa 27 Tage nach dem Start.
20 Tage verwenden legte die Aufnahme fest. Prüfen & sperren fror alles ein, und das Team startete.
Während der Aufnahme
Ab dem Start erhält jeder Kontakt, der den Split in den nächsten 20 Tagen erreicht, einen Pfad und behält ihn, auch wenn er sich später erneut anmeldet. Nach diesen 20 Tagen kehrt der Split zu seiner Gewichtung zurück. Jeder Kontakt zählt erst, wenn sein eigenes Zeitfenster abgelaufen ist. Bis dahin führt die Ergebnisseite ihn als Noch in ihrem Zeitfenster.
Mittendrin wollte das Team die zweite E-Mail der geführten Tour umformulieren. Der Editor zeigte an diesem Schritt einen Hinweis: Er lag auf den Pfaden eines laufenden Experiments, und jede Änderung würde protokolliert. Änderungen sind erlaubt, aber jede wird mit Datum unter Änderungen während des Experiments aufgeführt, weil Kontakte davor und danach unterschiedliche Versionen bekamen. Das Team wartete lieber, bis das Experiment beendet war.
Die Journey lässt sich auch nicht löschen, solange ihr Experiment beobachtet. Das schützt die bereits zugeteilten Kontakte und die Ergebnisse, die sie liefern werden.
Das Ergebnis lesen
Die Endanalyse kam ein Zeitfenster nach dem Ende der Aufnahme. 2.800 Kontakte hatten den Split erreicht: 1.412 beim Schnellstart und 1.388 bei der geführten Tour. Die Prüfung Stichprobenverhältnis war bestanden (p = 0,65): Jeder Pfad erhielt den Anteil der Kontakte, der ihm zustand.
Die Ergebnisse zählten jeden, der den Split erreicht hatte, egal was danach geschah: das Intention-to-treat-Prinzip. Ein Kontakt, dessen Tour-E-Mail zurückkam, zählt weiter bei der geführten Tour. So bleibt der Vergleich fair.
Die Hauptmetrik:
| Pfad | An der Aufteilung | Ziel erreicht | Zielrate |
|---|---|---|---|
| Pfad 1, Schnellstart (Kontrollgruppe) | 1.412 | 424 | 30,0 % |
| Pfad 2, Geführte Tour | 1.388 | 487 | 35,1 % |
Die Zielrate der geführten Tour lag 5,1 Punkte höher, wahrscheinlich zwischen 1,6 und 8,5 Punkten (p = 0,004). Das Ergebnis lautet Signifikant. Mit so vielen Kontakten konnte der Test einen Unterschied von etwa 5,0 Punkten zuverlässig erkennen, genau den Anstieg, den das Team geplant hatte.
Die übrigen Zahlen erklären das Ergebnis, ohne es zu entscheiden. Die eindeutige Klickrate der geführten Tour lag bei 60 % gegenüber 56 %, doch sie ist eine Nebenmetrik und wird explorativ gelesen. Die Schutzmetrik Abmeldungen lag bei 1,5 % gegenüber 1,3 %, Nicht nachweislich schlechter, nichts blockierte also den Gewinner.
Die Entscheidung festhalten, dann alle über Pfad 2 schicken
Das Experiment endet mit einer Entscheidung, die das Team festhält. Entscheidung festhalten fragte nach dem Ergebnis, der Gewinnervariante und einer Begründung. Das Team wählte Gewinner, die geführte Tour, und schrieb dazu, warum. Die damit gespeicherte Evidenz, „signifikant“, stammt aus der Analyse, nicht aus dem Formular.
Die Entscheidung festzuhalten ändert nichts an der Journey. Es erschien aber eine neue Schaltfläche, auf der Ergebnisseite und am Split: Alle über Pfad 2 schicken. Ihr Dialog sagte, was sie tut: Ab jetzt geht jeder Kontakt, der den Split erreicht, über Pfad 2. Er wiederholte auch die Evidenz: „Die Analyse hat diese Variante als Gewinner benannt: Der Unterschied ist signifikant.“ Die Ergebnisse ändern sich nicht, denn alle bereits Zugeteilten bleiben in ihrer Variante.
Das Team klickte. Die Arbeitsfläche zeigt jetzt „Alle → Pfad 2 (Gewinner des Experiments)“, mit 100 % und 0 % an den beiden Pfaden. Rückgängig würde den Split auf seine Gewichtung zurücksetzen. Ohne diesen Klick wäre nichts geschehen.
Und wenn es nicht signifikant gewesen wäre?
Angenommen, die geführte Tour hätte nur knapp vorne gelegen, ohne Signifikanz. Das Team könnte Nicht eindeutig festhalten und den Split lassen, wie er ist, oder ein längeres Experiment durchführen. Das ist ein normales Ergebnis: Es sagt, dass sich ein so kleiner Unterschied bei so vielen Anmeldungen nicht erkennen lässt.
Es könnte trotzdem einen Gewinner festhalten. Der Eintrag vermerkt dann dauerhaft, dass die Analyse diese Variante nicht benannt hat. Alle über Pfad N schicken funktioniert weiterhin, aber der Dialog warnt: „Nicht signifikant: Die Analyse hat diese Variante nicht als Gewinner benannt. Die Entscheidung liegt bei dir.“
Erste Schritte
Setzen Sie einen Split an den Anfang Ihrer Journey, mit einem Pfad pro Version, und beenden Sie jeden Pfad mit einem Zielschritt innerhalb des geplanten Zeitfensters. Wählen Sie Experiment durchführen (vorab registrierter Test), dann Experiment einrichten, und lassen Sie Wie lange einschreiben die Aufnahme festlegen. Experimente in Journeys erklärt jeden Schritt, und der Split-Schritt vergleicht die drei Verteilungsmodi.