La maggior parte dei test A/B sulle liste email è troppo piccola per vedere la differenza che cerca. Il pianificatore della dimensione del campione, nel passaggio Pubblico di un esperimento, ti dice prima di inviare qualsiasi cosa quanti contatti servono al test, o la differenza più piccola che il tuo pubblico può mostrare in modo affidabile.
Un test troppo piccolo di solito finisce "non conclusivo", anche quando una versione è davvero migliore. Non è un errore del test. È il segno che la domanda è stata posta a troppe poche persone. Pianificare prima ti dice se lanciare il test così com'è, provare un cambiamento più deciso o aspettare un pubblico più ampio.
L'esempio qui sotto segue Retro Revival, un negozio di abbigliamento immaginario, con numeri inventati. Il suo test completo sui premi ha un caso d'uso tutto suo.
Cosa serve al pianificatore
Apri un esperimento e vai a Pubblico e campione. Il Pianificatore della dimensione del campione si trova sotto i conteggi del pubblico. Pianifica per la metrica principale scelta al passaggio 1, con quattro dati:
- Il tasso atteso del controllo. Per esempio, la quota di destinatari consegnati che acquista. Il pianificatore lo compila dal tuo storico.
- Aumento minimo che vale la pena rilevare. La differenza più piccola rispetto al controllo che cambierebbe le tue scelte. Per un tasso si scrive in punti: 1 punto porta dal 3,7% al 4,7%.
- Potenza. La probabilità che il test trovi un aumento di quella misura quando è reale. La scelta abituale è 80%; 85%, 90% e 95% richiedono più contatti.
- Tasso di consegna previsto. Le email respinte non possono acquistare, quindi il pianificatore aggiunge contatti per coprirle.
Il livello di significatività viene dal passaggio 1, e la ripartizione tra varianti dal passaggio Varianti e contenuti.
Parti dal tuo storico
Raramente si conosce a memoria il proprio valore di partenza, e una stima a occhio sbaglia spesso di molto. Il pianificatore lo legge dal tuo account e indica da dove viene ogni numero:
- Esperimenti passati su questa lista, oppure sulle altre liste. Coprono ogni metrica, acquisti e ricavi compresi.
- Gli ultimi invii a questa lista, per una metrica principale di clic o risposte che nessun esperimento ha ancora misurato.
- Gli invii degli ultimi 90 giorni, per il tasso di consegna e per i guardrail su disiscrizioni e reclami.
Se una metrica non ha storico, ti chiede il tasso che ti aspetti. Puoi anche sovrascrivere qualsiasi numero. A quel punto è indicato come La tua stima, solo per la pianificazione, e Usa lo storico rimette il valore misurato. Un valore di partenza o un tasso di consegna modificato serve solo a pianificare. L'aumento da rilevare e la potenza vengono salvati con l'esperimento.
Leggi la raccomandazione
Appena inserisci l'aumento minimo che vale la pena rilevare, il pianificatore mostra il Campione consigliato: i contatti che servono all'intero test, e quanti per variante. Se il pubblico selezionato è abbastanza grande, lo dice. Un pulsante imposta allora il campione su quella dimensione: Usa quel numero di contatti, oppure Estrai un campione casuale se non stavi ancora campionando.
Se il pubblico è troppo piccolo, lo dice chiaramente: Questo pubblico è troppo piccolo per rilevare un aumento inferiore a un certo numero di punti. Quel numero è la dimensione onesta del tuo test. Una differenza reale più piccola potrebbe facilmente passare inosservata. Pianifica per quel numero aggiorna il piano.
Contatti per variante
| Minima differenza rilevabile | Contatti per variante |
|---|---|
| 1,0 p.p. | 6444 |
| 1,5 p.p. | 3027 |
| 2,0 p.p. | 1793 |
| 2,5 p.p. | 1206 |
| 3,0 p.p. | 877 |
La curva mostra il compromesso. Dimezzare la differenza da rilevare moltiplica quasi per quattro i contatti necessari a ogni variante. Il tasso di acquisto di Retro Revival era del 3,7%, con il 98% di consegne e una potenza dell'80%:
| Aumento minimo da rilevare | Contatti per variante |
|---|---|
| 1 punto | 6.444 |
| 1,3 punti | 3.943 |
| 1,5 punti | 3.027 |
| 2 punti | 1.793 |
| 3 punti | 877 |
Retro Revival sperava che la spedizione gratuita alzasse gli acquisti di 1,3 punti, il che richiede 3.943 contatti per variante. Ne aveva 4.000 in tutto, quindi 2.000 per variante. Con quel campione, il pianificatore indica un aumento minimo rilevabile in modo affidabile di circa 1,9 punti. Il team ha lanciato il test comunque, sapendo che una differenza reale più piccola poteva passare inosservata.
Quando il test richiede più contatti
Alcune scelte fanno salire il numero, e il pianificatore dice quale:
- Più varianti. Ogni variante viene confrontata con il controllo a un livello più severo, così che l'insieme dei confronti rispetti il tuo livello di significatività. Tre varianti richiedono più contatti per variante di due.
- Una ripartizione sbilanciata. Un gruppo escluso piccolo o un controllo grande rendono ogni confronto più costoso di una ripartizione equa.
- Margini sui guardrail. Un guardrail con un margine può richiedere più contatti della metrica principale. In quel caso il pianificatore dimensiona il test sul guardrail.
- Analisi sequenziale (dal piano Business in su). Guardare il risultato mentre la finestra scorre richiede più contatti di un'unica lettura alla fine. Il pianificatore dice quanti in più.
Un campione di test più piccolo: Test & Roll
A volte non ti serve una prova, solo la scelta migliore per il resto della lista. Invia il risultato al resto con il criterio Invia la variante in testa (criterio di profitto) manda a tutti gli altri la variante che sembra migliore dopo un breve test.
Per quel criterio, il pianificatore può suggerire un Campione di test ottimale per il profitto (Test & Roll). Mette a confronto quanto sono variati i risultati nei tuoi esperimenti passati con quanto può guadagnare il resto della lista. Servono almeno due esperimenti passati, e due varianti senza gruppo escluso. Il campione è di solito molto più piccolo di quello consigliato. È una scelta di profitto: un campione di quella misura è di solito troppo piccolo per trovare un vincitore significativo.
Il piano si blocca con l'esperimento
L'aumento da rilevare e la potenza vengono salvati con l'esperimento e bloccati quando lo blocchi, insieme al resto della preregistrazione. La pagina dei risultati indica poi la differenza più piccola che il test concluso poteva rilevare in modo affidabile. Se il test finisce non conclusivo, quel numero ti dice se una differenza reale può essere passata inosservata.
E un test rapido dell'oggetto?
Un semplice invio A/B dalla pagina Invia non ha pianificatore, e non fissa nulla in anticipo. Per un oggetto che conta, come un promemoria di rinnovo, eseguilo come esperimento e pianificalo sul tasso di clic invece che sulle aperture. La Protezione della privacy di Mail di Apple gonfia le aperture, che quindi sono una cattiva metrica principale.
Variante A (controllo)
Oggetto
The October restock is here
Variante B
Oggetto
Back in stock: the 3 cameras you asked for
I clic sono molto più frequenti degli acquisti, quindi un test dell'oggetto di solito richiede molti meno contatti di un test sulla ricompensa. Il tuo storico di clic sugli ultimi invii alla lista compila il valore di partenza.
Per iniziare
Crea un esperimento con Esegui come esperimento dalla pagina Invia di un'email. Scegli la metrica principale in Ipotesi e metriche, poi apri il Pianificatore della dimensione del campione in Pubblico e campione. Controlla da dove viene il valore di partenza, inserisci l'aumento minimo per cui agiresti e dimensiona il campione prima di bloccare. Esperimenti (test A/B) spiega ogni passaggio.