Leggere i risultati di un esperimento

Un esperimento si conclude con una decisione che registri tu. La pagina dei risultati ti dà ciò che serve per prenderla: la differenza tra le varianti, quanto puoi esserne sicuro e se l'invio stesso è stato equo. Questa pagina la percorre pannello per pannello, poi spiega cosa significano i numeri.

Gli esempi usano Retro Revival, un negozio di abbigliamento immaginario, con numeri inventati. Il suo controllo, la variante A, offriva il 10% di sconto. La variante B offriva la spedizione gratuita. L'email di ogni variante è stata consegnata a 1.960 destinatari, e la metrica principale era la conversione in acquisto.

Trovare i risultati

I risultati di ogni esperimento si trovano negli Insights della sua email, in Esperimenti. Dall'elenco Esperimenti, il menu di una riga contiene Risultati in Insights. I primi risultati compaiono dopo la prima analisi, che parte quando l'invio è terminato. Finché la finestra è aperta, la pagina indica che i risultati sono intermedi: non decidere prima che finisca.

L'intestazione mostra lo stato, la finestra, le prove raccolte finora e le azioni: Spiega, Esporta, Registra la decisione, Chiudi esperimento e Distribuisci il vincitore, ciascuna quando è pertinente.

La pagina dei risultati, pannello per pannello

Preregistrazione

Ciò che hai fissato al blocco: l'ipotesi, le metriche e i loro ruoli, il livello di significatività, le varianti, il campione e le scelte statistiche. Serve perché chiunque legga il risultato possa verificare che risponde alla domanda posta.

Risultati

La scheda della metrica principale mostra ogni variante meno il controllo, con il suo intervallo, il p-value aggiustato con il metodo di Holm e un esito: Significativo, Non significativo oppure Significativo: il controllo è andato meglio. Sotto, una frase dice in parole semplici cosa significa il risultato. Termina con la minima differenza rilevabile: quanto deve essere grande una differenza perché questo numero di destinatari la rilevi in modo affidabile.

Per Retro Revival, la frase dice che la spedizione gratuita ha fatto 1,33 punti meglio del 10% di sconto (5,0% contro 3,7%). Il miglioramento reale è probabilmente compreso tra 0,05 e 2,62 punti. Uno scarto così grande sarebbe insolito se le due varianti rendessero allo stesso modo.

Le Metriche secondarie e guardrail sono nella tabella sottostante. Le metriche secondarie sono esplorative: ognuna è segnata come Si distingue o Non si distingue, mai "significativa". Un guardrail risulta Peggiore del controllo oppure Non risulta peggiore. Solo un guardrail chiaramente peggiore blocca un vincitore.

Rispetto al gruppo escluso

Con un gruppo escluso, una seconda scheda confronta ogni variante inviata con i contatti che non hanno ricevuto nulla, per contatto assegnato. Mostra cosa ha aggiunto l'email rispetto a non inviare affatto. È descrittiva: la decisione confronta comunque le varianti con il controllo.

Fasi di interazione

Barre separate, una coppia per fase: Persone che hanno cliccato e Acquirenti, ognuna come quota della propria base. Non sono passaggi di un funnel. Si può acquistare senza cliccare un link tracciato, perché anche il codice sconto collega un ordine alla sua variante.

L'andamento nella finestra

La metrica principale lungo la finestra, un punto per ogni analisi giornaliera. Serve solo da osservare. Un vantaggio che va e viene lungo il percorso non è una prova: il test si legge una volta, alla fine della finestra.

Qualità dei dati

Leggi questo pannello prima del risultato. I suoi Controlli statistici dicono se l'estrazione, l'invio e i dati hanno tenuto:

• Assegnazioni: ogni variante contiene i contatti che le ha dato l'estrazione.
• Rapporto del campione: le email di ogni variante sono partite nella proporzione per cui era stata estratta.
• Rimbalzi: i tassi di bounce sono simili tra le varianti. Se non lo sono, le metriche vengono calcolate per email inviata invece che per email consegnata.
• Bilanciamento e Composizione: le varianti partivano simili rispetto a ciò che si sapeva prima dell'invio, come il coinvolgimento e gli ordini passati.
• Altri esperimenti: se alcuni contatti erano contemporaneamente in un altro esperimento, se i due interagiscono sulla metrica principale.

Il controllo Rapporto del campione è il più importante. Non viene superato quando il caso produrrebbe uno scarto così grande tra le quote estratte e quelle inviate meno di una volta su 2.000 tentativi. Questo indica un problema di invio, quindi un controllo non superato rende il risultato non valido.

Sotto i controlli: Momento dell'invio (a che distanza sono partite le varianti), Campione e sovrapposizione, Consegnati (assegnati, inviati, in bounce e consegnati per variante), Codici premio, Ordini per regola di attribuzione, e Ricavi e promozioni.

Resto del pubblico

Se l'esperimento invia una variante al resto del pubblico, questa scheda mostra ogni lettura del campione di test, quale variante ha ricevuto il resto e perché, e quante email sono state inviate. Ha scelto solo cosa riceveva il resto del pubblico. La decisione dell'esperimento si registra comunque sull'intera finestra.

Decisione

Una volta registrata, la decisione resta qui per sempre, con la tua motivazione e le prove che le ha attribuito l'analisi.

Cosa significano i numeri

Ogni confronto ha tre parti:

• La differenza: il tasso della variante meno quello del controllo, in punti percentuali. Il 5,0% della spedizione gratuita meno il 3,7% del 10% di sconto fa +1,33 punti.
• L'intervallo: l'ambito in cui probabilmente cade la differenza reale. Qui va da 0,05 a 2,62 punti. Non comprende lo zero, quindi un miglioramento reale è probabile, anche se potrebbe essere piccolo.
• Il p-value: quanto spesso comparirebbe uno scarto così grande se le varianti rendessero davvero allo stesso modo. Qui p = 0,041, sotto il livello di significatività di 0,05, quindi la differenza è significativa.

Le persone che hanno cliccato raccontano un'altra storia. La spedizione gratuita ha avuto il 15,0% contro il 13,5%, ma p = 0,185 e l'intervallo comprende lo zero. È un'indicazione di tendenza, non un risultato significativo: lo scarto nei clic potrebbe essere dovuto al caso.

La frase dei risultati assume una di queste forme:

• Vincente: una variante ha battuto il controllo sulla metrica principale, e nessun guardrail la blocca.
• Non conclusivo: le prove non bastano per scegliere. È un risultato normale e utile. Ti dice che la differenza, se c'è, è più piccola di quanto questo test potesse vedere.
• Nessuna differenza: ogni variante è dimostrabilmente vicina al controllo, entro il margine di assenza di differenza che hai fissato prima del blocco. Senza un margine, un risultato piatto è non conclusivo.
• Non affidabile: un controllo di qualità dei dati non è stato superato. Controlla il pannello prima di decidere.
• Troppo presto: la finestra è ancora aperta.

I risultati non conclusivi sono frequenti con liste piccole. Il test di Retro Revival poteva rilevare in modo affidabile solo una differenza di circa 1,9 punti, quindi il suo risultato di 1,33 punti è stato un caso fortunato. Se la spedizione gratuita avesse avuto 85 acquirenti invece di 98 (4,3% contro 3,7%), p sarebbe stato 0,29: non conclusivo. Il passo giusto a quel punto è un campione più grande o una finestra più lunga, dimensionati con il pianificatore della dimensione del campione, non una seconda occhiata agli stessi numeri.

Perché la finestra è fissa

Ogni controllo giornaliero di un test in corso è un'altra occasione perché il rumore sembri un vincitore. Se ti fermi al primo controllo che supera la soglia abituale, i falsi vincitori diventano molto più probabili. Per questo un esperimento a Orizzonte fisso si legge una sola volta, alla fine della finestra che hai impostato.

La statistica z di Retro Revival è terminata a 2,039, sopra la soglia fissa di 1,96. Letto una volta, il risultato è significativo. Ma aveva superato 1,96 per la prima volta il giorno 5, quindi chi avesse controllato ogni giorno si sarebbe fermato lì, con prove più deboli.

Dal piano Business in su, l'analisi Sequenziale ti permette di guardare mentre la finestra scorre. Ogni lettura ha un limite più severo, così la probabilità complessiva di un falso vincitore resta al tuo livello di significatività. Non c'è alcuna lettura finché non è arrivata circa metà dei dati attesi, né nelle prime 48 ore dopo la fine dell'invio, e al massimo una lettura al giorno. Con i numeri di Retro Revival, nessuna lettura supera il proprio limite: l'ultimo è 2,056, appena sopra 2,039. Se invece una variante lo supera prima, puoi registrare la decisione prima che la finestra finisca.

Più varianti e più metriche

Più confronti significano più occasioni perché uno sembri buono per caso. MailInApp ne tiene conto:

• La metrica principale usa la correzione di Holm sulle varianti confrontate con il controllo. I suoi intervalli vengono mostrati più ampi di conseguenza: con tre varianti oltre al controllo, ciascuno è mostrato al 98,3% invece che al 95%.
• Le metriche secondarie usano Benjamini–Hochberg. Sono esplorative, quindi possono distinguersi ma non decidono mai l'esperimento.
• I guardrail vengono letti apposta a un livello più permissivo, perché non accorgersi di un danno reale costa più di un falso allarme.

Confronti aggiustati

Se nelle scelte di Statistica hai lasciato attivo Tieni conto di ciò che si sapeva prima dell'invio, i risultati mostrano anche un confronto aggiustato. Tiene conto del punteggio di coinvolgimento e dello storico acquisti di ogni contatto al momento dell'estrazione, cosa che di solito restringe gli intervalli. Il confronto che decide è quello aggiustato, quando è stato calcolato. Quello non aggiustato viene sempre mostrato.

La scelta si fa prima del blocco, come il resto del piano, così nessuno può attivarla dopo aver visto quale lettura conviene. L'aggiustamento viene saltato, per tutte le varianti insieme, quando una variante è troppo piccola o non c'è nulla di cui tenere conto.

Metriche di ricavo

Il Ricavo per email consegnata divide i ricavi del negozio attribuiti a ogni variante per i suoi destinatari con email consegnata. Il ricavo di ogni contatto ha un tetto a un percentile alto degli acquirenti, scelto prima del blocco, così un singolo ordine molto grande non può decidere il test. Il suo intervallo viene da un metodo di ricampionamento quando i ricavi sono troppo sbilanciati per la formula consueta.

Ricavi e promozioni mostra i soldi per variante. Quelli di Retro Revival, in dollari USA:

I ricavi escludono tasse e spedizione, e gli sconti sono già considerati. Non è un calcolo del profitto.

• Il Costo promozionale è la somma degli sconti degli ordini, più la tua stima del contributo alla spedizione per ogni ordine con spedizione gratuita.
• L'Utilizzo dei codici è il numero di codici usati in un ordine attribuito, diviso per i codici assegnati ai destinatari della variante.
• Il Valore medio dell'ordine dipende da chi ha acquistato, quindi non può decidere l'esperimento. Qui gli ordini con spedizione gratuita erano più piccoli, ma hanno acquistato più persone.
• I rimborsi fatti nella finestra su Shopify e WooCommerce vengono sottratti dai ricavi. Un negozio Shopify collegato prima che esistessero i premi degli esperimenti va prima ricollegato. I rimborsi dei pagamenti fatti con il checkout nell'email non vengono sottratti.
• Altre valute: gli ordini in una valuta diversa da quella dell'esperimento restano fuori dai ricavi e vengono contati a parte.

Il ricavo per email consegnata era più alto con la spedizione gratuita, ma p = 0,13: da solo non è significativo. Decide la conversione in acquisto, la metrica principale.

Gli ordini vengono collegati alle varianti con le regole di attribuzione che hai scelto, in ordine: codice sconto, link tracciato, checkout nell'email, poi indirizzo email. Decide la prima regola che corrisponde, e le altre non vengono più controllate. La scheda Ordini conta le corrispondenze di ogni regola, e quelle per indirizzo email sono indicate come probabili.

Premi diversi per variante spiega ogni regola e come vengono generati i codici.

Registrare una decisione

Quando la finestra è terminata e l'analisi finale è pronta, Registra la decisione apre una finestra di dialogo. Scegli Vincitore (e la variante vincente), Nessuna differenza oppure Non conclusivo, e scrivi la tua motivazione. Le prove registrate con la decisione vengono dall'analisi, non dal modulo:

• Se scegli una variante che l'analisi non ha indicato, la scelta resta segnata per sempre: "L’analisi non ha indicato questa variante come vincente."
• Registrare un vincitore su un risultato che non ha superato un controllo di qualità dei dati, o prima di qualsiasi analisi, richiede una Nota di deroga.
• Una decisione registrata non può essere modificata.

Poi:

• Chiudi esperimento rende definitivo il registro. Dopo, configurazione, risultati e decisione non possono più cambiare. Se l'esperimento è stato deciso in anticipo, chiudilo quando è pronta l'analisi finale dell'intera finestra.
• Distribuisci il vincitore crea una nuova email dalla variante vincente, con il suo contenuto e la sua offerta, il suo oggetto e il suo mittente, e la lista contatti dell'esperimento. Tutti i contatti assegnati dall'esperimento vengono esclusi da ogni invio di quell'email. Non parte nulla finché non la invii dalla sua pagina di invio. Invia la versione vincente al resto del tuo pubblico ne segue uno dall'inizio alla fine.
• Esporta scarica il report come Report PDF (con il nome della tua azienda e il colore del tuo brand dal piano Business in su), come Tabelle CSV o come JSON. Contiene solo numeri: nessun nome né indirizzo.
• Spiega chiede a Mia di descrivere il risultato in parole semplici, usando solo i numeri e le etichette del report. Mia non definisce mai significativa una differenza se non l'ha fatto l'analisi. Ogni esecuzione usa una richiesta all'IA Mia.

Registrare la decisione risponde alla domanda dell'esperimento. Inviare il vincitore a più persone è un passaggio separato, successivo.

Vedi anche

• Esperimenti (test A/B)
• Scopri quale premio vende di più con un test A/B con gratta e vinci
• Invia la versione vincente al resto del tuo pubblico
• Webhook ed eventi
• Risposte e webhook