Un nuovo utente in prova dovrebbe ricevere un'email breve che lo porta nel prodotto, o un tour guidato di qualche giorno? Un esperimento nel journey risponde con le tue iscrizioni. Ogni nuovo contatto riceve un percorso alla suddivisione e lo mantiene, e il passaggio obiettivo conta chi ha iniziato davvero. Quando arriva il risultato decidi tu, e sei tu a mandare tutti sul percorso vincente.
Questa guida segue Darkroom Cloud, un'app fittizia per archiviare foto, e ogni numero qui è inventato. È il tipo di test che si adatta meglio a un journey che a un singolo invio. Le due versioni differiscono in più di un'email, e i nuovi contatti arrivano ogni giorno, non tutti insieme.
Conosci Darkroom Cloud
Darkroom Cloud archivia e organizza le librerie dei fotografi. La prova gratuita dura 14 giorni, e il team sa una cosa su chi resta: chi carica presto un primo album tende a continuare a usarlo. Circa 140 persone iniziano una prova ogni giorno.
Ogni iscrizione arriva in una lista di contatti Prove gratuite tramite l'API, e un journey parte con il trigger Il contatto entra in una lista su quella lista. Il team voleva sapere quale benvenuto porta più nuovi utenti a caricare un primo album entro una settimana.
Due percorsi dopo una suddivisione
Il primo passaggio del journey è una suddivisione con due percorsi:
- Percorso 1, Avvio rapido (il controllo): un'email con un solo pulsante, "Upload your first album", poi un'attesa di 6 giorni e un passaggio obiettivo.
- Percorso 2, Tour guidato: un'email che chiede con un blocco Sondaggio cosa fotografi di più e da lì apre il tour, un'attesa di 2 giorni, una seconda email con consigli per quel tipo di fotografia, un'attesa di 4 giorni e un passaggio obiettivo.
Percorso 1 · Avvio rapido (controllo)
Oggetto
Your first album in two minutes
Percorso 2 · Tour guidato
Oggetto
Let's set up Darkroom Cloud together
La regola del passaggio obiettivo è "first_album è yes". L'app imposta quel campo del contatto tramite l'API appena qualcuno carica un album. Un passaggio obiettivo verifica la sua regola quando un contatto lo raggiunge, quindi entrambi i percorsi finiscono con uno, 6 giorni dopo la suddivisione. Rientra nella finestra di 7 giorni di ogni contatto, così i due percorsi vengono misurati nello stesso punto.
Scegli "Esegui un esperimento"
Sulla suddivisione, Distribuzione offre tre modalità. Quote fisse mantiene i pesi che imposti e non misura nulla. Massimizza un risultato (ottimizzazione) manda più contatti sul percorso che converte meglio man mano che arrivano i risultati. Esegui un esperimento (test preregistrato) mantiene fisse le quote e ti dà un risultato di cui fidarti.
- Percorso 1
- Percorso 2
Giorno 0
Giorno 2
Giorno 7
Giorno 21
Le quote che hai impostato, finché il percorso è attivo. Non si confronta nulla.
| Momento | Percorso 1 | Percorso 2 |
|---|---|---|
| Giorno 0 | 50% | 50% |
| Giorno 2 | 50% | 50% |
| Giorno 7 | 50% | 50% |
| Giorno 21 | 50% | 50% |
| Momento | Percorso 1 | Percorso 2 |
|---|---|---|
| Giorno 0 | 50% | 50% |
| Giorno 2 | 19% | 81% |
| Giorno 7 | 12% | 88% |
| Giorno 21 | 8% | 92% |
| Momento | Percorso 1 | Percorso 2 |
|---|---|---|
| Iscrizione, 20 giorni | 50% | 50% |
| Dopo la decisione | 0% | 100% |
Massimizzare è allettante, perché avrebbe mandato la maggior parte dei nuovi utenti sul percorso migliore in pochi giorni. Ma non dà mai un confronto equo né indica un vincitore, quindi il team non avrebbe mai saputo di quanto è migliore il tour guidato, o se lo è davvero. Voleva questa risposta prima di cambiare il benvenuto per sempre, e ha scelto l'esperimento.
Preregistra la domanda
Configura l'esperimento apre quattro passaggi. In Ipotesi e metriche il team ha scritto la sua ipotesi: "Un tour guidato porta più nuovi utenti a caricare un primo album entro una settimana rispetto a un'email di avvio rapido. I nuovi utenti hanno bisogno di essere accompagnati." Poi ha fissato le metriche:
- Tasso di obiettivo come metrica principale: la quota dei contatti che hanno raggiunto la suddivisione il cui journey si è chiuso in un passaggio obiettivo entro la loro finestra. Richiede un passaggio obiettivo dopo la suddivisione, e ce l'hanno entrambi i percorsi.
- Tasso di clic unici come metrica secondaria, per spiegare il risultato senza deciderlo.
- Tasso di disiscrizione come guardrail, per accorgersi di un vincitore che allontana le persone.
In Varianti e contenuti, le varianti sono i percorsi della suddivisione in ordine. Il team le ha chiamate "Avvio rapido" e "Tour guidato", ha tenuto il percorso 1 come controllo e ha lasciato le quote al 50% ciascuna.
Calcola quanto a lungo iscrivere
In Programmazione e finestra, la Finestra di ogni contatto è impostata a 168 ore: i risultati di ogni contatto contano per 7 giorni dal momento in cui raggiunge la suddivisione.
Quanto a lungo iscrivere ha letto gli ultimi 28 giorni del journey. In quel periodo 3.920 contatti hanno raggiunto la suddivisione, 140 al giorno, e il 30% di quelli la cui finestra era terminata ha raggiunto un obiettivo. Il team ha indicato come Aumento minimo che vale la pena rilevare 5 punti percentuali, con una potenza dell'80%. Il pianificatore ha mostrato:
- Contatti che devono raggiungere la divisione: 2.754, cioè 1.377 per percorso.
- Iscrizione consigliata: 20 giorni. Con 140 contatti al giorno, ogni percorso raggiunge il suo campione in 19,7 giorni. Poi scorre la finestra di 7 giorni di ogni contatto, quindi i risultati finali arrivano circa 27 giorni dopo il lancio.
Usa 20 giorni ha impostato l'arruolamento. Revisione e blocco ha congelato tutto, e il team ha lanciato.
Durante l'arruolamento
Dal lancio, ogni contatto che raggiunge la suddivisione nei 20 giorni successivi riceve un percorso e lo mantiene, anche se in seguito si iscrive di nuovo. Passati quei 20 giorni, la suddivisione torna ai suoi pesi. Ogni contatto conta solo quando la sua finestra è terminata. Fino ad allora la pagina dei risultati lo indica come Ancora nella loro finestra.
A metà strada, il team voleva riscrivere la seconda email del tour guidato. L'editor ha mostrato un avviso su quel passaggio: si trovava sui percorsi di un esperimento in corso, e ogni modifica sarebbe stata registrata. Le modifiche sono consentite, ma ognuna viene elencata con la sua data in Modifiche durante l'esperimento, perché i contatti prima e dopo hanno ricevuto versioni diverse. Il team ha deciso di aspettare la fine dell'esperimento.
Il journey inoltre non si può eliminare mentre il suo esperimento è in osservazione. Questo protegge i contatti già assegnati e i risultati che produrranno.
Leggi il risultato
L'analisi finale è arrivata una finestra dopo la fine dell'arruolamento. 2.800 contatti avevano raggiunto la suddivisione: 1.412 sull'avvio rapido e 1.388 sul tour guidato. Il controllo Rapporto del campione è stato superato (p = 0,65): ogni percorso ha ricevuto la quota di contatti prevista.
I risultati hanno contato chiunque avesse raggiunto la suddivisione, qualunque cosa sia successa dopo: è l'intention to treat. Un contatto la cui email del tour è stata respinta conta comunque sul tour guidato. Così il confronto resta equo.
La metrica principale:
| Percorso | Hanno raggiunto la divisione | Obiettivo raggiunto | Tasso di obiettivo |
|---|---|---|---|
| Percorso 1, Avvio rapido (controllo) | 1.412 | 424 | 30,0% |
| Percorso 2, Tour guidato | 1.388 | 487 | 35,1% |
Il tasso di obiettivo del tour guidato è stato più alto di 5,1 punti, probabilmente tra 1,6 e 8,5 punti (p = 0,004). Il risultato indica Significativo. Con questi contatti il test poteva rilevare in modo affidabile una differenza di circa 5,0 punti, l'aumento che il team aveva pianificato.
Gli altri numeri lo spiegano senza deciderlo. Il tasso di clic unici del tour guidato è stato del 60% contro il 56%, ma è una metrica secondaria, letta come esplorativa. Il guardrail sulle disiscrizioni è stato dell'1,5% contro l'1,3%, Non risulta peggiore, quindi nulla ha bloccato il vincitore.
Registra la decisione, poi manda tutti sul percorso 2
L'esperimento si chiude con una decisione che registra il team. Registra la decisione ha chiesto l'esito, la variante vincente e una motivazione. Il team ha scelto Vincitore, il tour guidato, e ha scritto perché. L'evidenza registrata insieme, "significativo", viene dall'analisi, non dal modulo.
Registrare la decisione non cambia nulla nel journey. È però comparso un nuovo pulsante, nella pagina dei risultati e sulla suddivisione: Manda tutti sul percorso 2. La finestra di dialogo spiegava cosa fa: da ora ogni contatto che raggiunge la suddivisione va sul percorso 2. Ripeteva anche l'evidenza: "L'analisi ha indicato questo braccio come vincitore: la differenza è significativa." I risultati non cambiano, perché chi era già assegnato resta nella sua variante.
Il team ha cliccato. La tela ora mostra "Tutti → percorso 2 (vincitore dell'esperimento)", con 100% e 0% sui due percorsi. Annulla riporterebbe la suddivisione ai suoi pesi. Senza quel clic non sarebbe successo nulla.
E se non fosse stato significativo?
Supponiamo che il tour guidato fosse stato solo leggermente avanti, senza significatività. Il team potrebbe registrare Non conclusivo e lasciare la suddivisione com'è, oppure eseguire un esperimento più lungo. È un risultato normale: dice che una differenza così piccola non si distingue con queste iscrizioni.
Potrebbe anche registrare comunque un vincitore. La registrazione dice allora, per sempre, che l'analisi non ha indicato quella variante. Manda tutti sul percorso N funziona ancora, ma la finestra di dialogo avverte: "Non significativo: l'analisi non ha indicato questo braccio come vincitore, quindi la scelta è tua."
Per iniziare
Metti una suddivisione all'inizio del tuo journey, con un percorso per versione, e chiudi ogni percorso con un passaggio obiettivo entro la finestra che prevedi. Scegli Esegui un esperimento (test preregistrato), poi Configura l'esperimento, e lascia che Quanto a lungo iscrivere imposti l'arruolamento. Esperimenti nei journey spiega ogni passaggio, e il passaggio di suddivisione confronta le tre modalità di distribuzione.