Esperimenti (test A/B)

Un esperimento mette alla prova una modifica a un'email rispetto a un controllo. Scrivi la domanda, l'unico numero che le risponde e chi partecipa, e MailInApp fissa tutto prima di inviare qualsiasi cosa. Poi invia tutte le versioni nello stesso momento, misura cosa succede e ti dice quanto sono solide le prove.

Le figure di questa pagina usano Retro Revival, un negozio di abbigliamento immaginario, con numeri inventati. Retro Revival verifica se vende di più la spedizione gratuita o il 10% di sconto, con il premio nascosto sotto un gratta e vinci.

Cos'è un esperimento

Un esperimento appartiene a una sola email e risponde a una sola domanda. Ha:

• Un'ipotesi: cosa ti aspetti che succeda e perché, scritta prima di vedere qualsiasi risultato.
• Una metrica principale: il numero che decide l'esito, per esempio la conversione in acquisto. Tutto il resto serve a spiegarlo, mai a decidere.
• Due o più varianti: versioni dell'email. Una è il controllo, e ogni altra variante viene confrontata con lui.
• Un campione casuale dei tuoi contatti, estratto una sola volta e diviso tra le varianti. Nessuno riceve due varianti.
• Una finestra di osservazione: per quanto tempo dopo l'invio contano clic e ordini. Il risultato si legge quando finisce.

Ne avvii uno da Esperimenti nella barra laterale con Nuovo esperimento. Oppure usa Esegui come esperimento nel riquadro A/B della pagina di invio di un'email, nel menu della sua riga nell'elenco delle email o nel calendario delle campagne.

Quando basta un invio A/B rapido

Un semplice invio A/B divide un invio tra un massimo di cinque varianti e ne mostra i tassi affiancati. È rapido e va bene per un confronto approssimativo tra due oggetti. Ma non fissa nulla in anticipo: né la metrica, né la dimensione del campione, né quando fermarsi.

Usa un esperimento quando la risposta conta. Aggiunge ciò che un invio rapido tralascia:

• un campione e una metrica stabiliti prima dell'invio, così nessuno sceglie a posteriori la lettura più favorevole;
• un test statistico, con intervalli e un esito in parole semplici;
• controlli che l'invio stesso sia stato equo, per esempio che tutte le varianti siano partite insieme;
• premi del negozio per variante, con gli ordini ricondotti alla variante che li ha generati;
• una decisione registrata, conservata per sempre con l'esperimento.

Inoltre un esperimento non ha il limite di 200 destinatari di un invio diretto: invia con un proprio processo, a lotti, a tutto il suo campione.

Piani

Gli esperimenti sono inclusi dal piano Lite in su. Cosa consente ogni piano:

Il gruppo escluso conta come una delle varianti.

I sei passaggi

Un esperimento si configura in sei passaggi. Puoi tornare a ognuno finché non lo blocchi.

Ipotesi e metriche

Scrivi prima l'ipotesi. Poi scegli la metrica principale, l'unico numero che decide l'esperimento. Ogni metrica è una quota o un importo rispetto a una propria base:

Consegnati significa inviati meno i bounce definitivi. Un contatto conta una volta sola, per quante volte clicchi o acquisti.

Le metriche secondarie compaiono accanto alla principale per spiegarla. Non decidono l'esito. I guardrail sono metriche che un vincitore non deve peggiorare, come il tasso di disiscrizione o di reclami. Una variante che batte il controllo ma è chiaramente peggiore su un guardrail non è un vincitore.

Due metriche hanno limiti propri:

• Il Tasso di apertura serve solo come contesto. La Protezione della privacy di Mail di Apple apre le email in automatico, quindi non può essere né la metrica principale né un guardrail.
• Il Tasso di rivelazione osservato e il Tasso di clic dopo la rivelazione richiedono le rivelazioni registrate dalle app di posta, e MailInApp non le registra ancora. Per ora lasciale da parte. I clic dopo la rivelazione dipendono anche da chi ha rivelato, quindi quella metrica non è un confronto randomizzato.

Il Livello di significatività dice quanto devono essere solide le prove perché una differenza conti. Il 5% (bilaterale) è la scelta abituale. L'Analisi è a Orizzonte fisso (letta una volta, alla fine della finestra) oppure, dal piano Business in su, Sequenziale (controllata mentre la finestra scorre, con soglie più severe). Perché la finestra è fissa spiega la differenza.

In Statistica si decidono subito alcune altre scelte, così non possono essere fatte dopo per adattarle al risultato. Riguardano la correzione per ciò che si sapeva prima dell'invio, la valuta dei ricavi, un tetto agli ordini molto grandi e dei margini facoltativi. Leggere i risultati di un esperimento spiega ognuna.

Varianti e contenuti

Ogni variante è una versione dell'email. Dai a ciascuna un'etichetta e una quota del campione, e indicane una come Controllo. Dividi in parti uguali imposta quote uguali.

Una variante può cambiare l'oggetto, il mittente e il contenuto. Per il contenuto ci sono due strade:

• Questa email, con le modifiche di questa variante. Apri l'email nello studio, scegli la variante nel menu Variante della barra degli strumenti e modifica i blocchi che deve cambiare. Tutto il resto resta in comune tra le varianti. Così le varianti restano identiche tranne ciò che stai testando.
• Un'altra email. La variante invia un'email completamente diversa. I suoi risultati finiscono comunque in questo esperimento.

Alcune impostazioni non possono cambiare tra le varianti, perché decidono come vengono verificati risposte o pagamenti: per esempio le risposte corrette di un quiz o il prezzo di un prodotto. Lo studio indica quali campi una variante può cambiare.

Un test non deve per forza toccare il contenuto. Qui le due varianti condividono un'unica email e cambiano solo l'oggetto:

Dal piano Pro in su, una variante può essere un gruppo escluso: contatti che non ricevono nulla. Confrontare le altre con esso mostra quante persone avrebbero acquistato senza l'email, quindi serve una metrica principale di acquisto o di ricavo.

Pubblico e campione

Scegli una lista contatti, poi chi selezionare con le regole di filtro. Parti da un segmento salvato copia il filtro di un segmento nell'esperimento. Modificarlo lì non cambia il segmento.

La scheda Conteggi del pubblico conta quattro fasi con le stesse regole che applica l'invio:

1. Nella lista: tutti i contatti della lista.
2. Idonei: i contatti a cui si può inviare. L'elenco Esclusi dice perché agli altri no: disiscritti o in bounce, indirizzo verificato come non valido, nessun consenso marketing, iscrizione non confermata, disiscritti dall'argomento di questa email, oppure già in un altro esperimento.
3. Selezionati: i contatti idonei che corrispondono al tuo filtro.
4. Nell'esperimento: il campione, diviso tra le varianti.

Accanto al filtro, Panoramica del pubblico suddivide i contatti selezionati per un campo della lista, per storico acquisti o per punteggio di coinvolgimento. Ogni suddivisione ha un gruppo Nessun valore per i contatti a cui manca quel campo. Controllalo prima di estrarre il campione: se molti contatti non hanno un valore, bilanciare su quel campo servirà a poco.

Poi scegli come estrarre il campione:

• Tutti i contatti selezionati: partecipa ogni contatto selezionato, diviso a caso tra le varianti.
• Campione casuale: un campione casuale dei contatti selezionati, diviso a caso.
• Campione casuale bilanciato (da Pro in su): il campione viene estratto separatamente per ogni valore di un campo che scegli, così ogni variante riceve lo stesso mix, per esempio di clienti e potenziali clienti.
• L’intero segmento: ogni contatto selezionato dalle regole. È una selezione basata su regole, non un campione casuale, quindi i risultati descrivono solo quel segmento. Le varianti vengono comunque assegnate a caso.

Escludi i contatti che partecipano già a un altro esperimento evita che gli esperimenti si sovrappongano. Vale per gli esperimenti bloccati, ancora nella finestra di osservazione o con un'offerta ancora utilizzabile, così l'offerta di un test precedente non contamina questo.

Il Pianificatore della dimensione del campione calcola quanti contatti servono al test prima di inviare qualsiasi cosa. Parte dal tuo storico: esperimenti precedenti sulla lista, oppure i tuoi invii recenti. Inserisci l'aumento minimo che vale la pena rilevare e la potenza che vuoi, e ti consiglia un campione. Se il pubblico è troppo piccolo, ti dice invece qual è l'aumento minimo che riesce a rilevare in modo affidabile.

Retro Revival sperava che gli acquisti salissero dal 3,7% al 5,0%. Per rilevare quell'aumento di 1,3 punti, il pianificatore chiede 3.943 contatti per variante. Con 4.000 contatti in tutto, il test può rilevare in modo affidabile un aumento di circa 1,9 punti. Una differenza reale più piccola potrebbe facilmente passare inosservata, quindi pianifica la dimensione che puoi permetterti prima del lancio, non dopo. Scopri quanti contatti servono al tuo test A/B spiega il pianificatore passo dopo passo.

Premio e attribuzione

Dai a ogni variante la propria offerta del negozio, oppure nessuna: uno sconto percentuale, uno sconto a importo fisso o la spedizione gratuita. O tutte le varianti hanno un premio o nessuna, e i codici di ogni variante restano validi per lo stesso numero di giorni, così il confronto tra le varianti è equo.

Ogni destinatario riceve il proprio codice monouso, legato a lui. Mostralo nell'email con i tag di personalizzazione {{discount_code}} e {{discount_url}}, per esempio nel premio e nel link di un gratta e vinci. Non puoi bloccare l'esperimento finché un blocco dell'email non mostra il premio.

Alcune cose da preparare prima:

• I codici vengono creati sul negozio Shopify o WooCommerce collegato alla lista contatti dell'esperimento. Senza negozio, il passaggio avvisa che non si possono creare codici.
• Su WooCommerce, i codici di spedizione gratuita richiedono un metodo Free Shipping che preveda un coupon valido di spedizione gratuita. Il passaggio ti avvisa se il tuo negozio non ne ha uno.
• Per la spedizione gratuita, inserisci il costo medio di spedizione per ordine. Viene contato come costo promozionale per ogni ordine con spedizione gratuita.

L'attribuzione degli ordini collega ogni ordine del negozio a una variante. Vince la prima regola che corrisponde, in questo ordine:

1. Codice sconto: l'ordine ha usato il codice della variante. È la corrispondenza più forte, anche giorni dopo.
2. Link tracciato: l'acquirente è arrivato dal link con tag dell'email.
3. Checkout nell'email: l'acquirente ha pagato con il checkout di un blocco prodotto.
4. Indirizzo email (probabile): l'indirizzo dell'acquirente corrisponde a un destinatario che ha cliccato durante la finestra. Questi ordini sono indicati come probabili.

Le prime tre regole sono attive per impostazione predefinita. Indirizzo email (probabile) resta disattivata finché non la scegli, ed è l'unica regola che può collegare gli ordini di un gruppo escluso, perché quel gruppo non riceve email. Premi diversi per variante spiega in dettaglio i codici e le regole, e Scopri quale premio vende di più con un test A/B con gratta e vinci segue un test sui premi completo.

Se l'email contiene un gratta e vinci, Invito all’azione del gratta e vinci decide dove sta il suo pulsante del negozio: Dentro il premio rivelato oppure Sotto la carta. Misurare un gratta e vinci spiega cosa permette di misurare ciascuna posizione.

Programmazione e finestra

Scegli Appena avvio oppure A un orario stabilito. Tutte le varianti partono insieme, alternate negli stessi minuti. L'ottimizzazione dell'orario di invio è disattivata per gli esperimenti, così una differenza tra le varianti non può dipendere da quando è stata inviata ciascuna.

La finestra di osservazione è il periodo dopo l'invio in cui contano clic e ordini, da 1 a 60 giorni. Il risultato si legge una volta, alla sua fine. Scegli una durata che copra il tempo che di solito le persone impiegano per agire, e per cui l'offerta resta valida.

Invia il risultato al resto fa prima il test su un campione, poi invia una variante a tutti gli altri contatti selezionati dal pubblico. Richiede un campione casuale (passaggio 3), così resta qualcuno a cui inviarla. Scegli un criterio:

• Invia un vincitore significativo: una variante che vince sulla metrica principale entro il momento della decisione va al resto. Altrimenti il resto riceve il controllo.
• Invia la variante in testa (criterio di profitto): il resto riceve la variante che sembra migliore al momento della decisione, significativa o no. Conviene quando le varianti sono vicine, ma non dimostra che una sia migliore.

Decidi dopo si conta da quando parte l'ultima email del campione. Se a quel punto una variante ha meno di 30 eventi, il campione viene letto ancora una volta allo scadere di Attendi al massimo. Se gli eventi sono ancora troppo pochi, il resto riceve il controllo. Questo sceglie solo cosa riceve il resto: la decisione dell'esperimento aspetta comunque l'intera finestra.

Revisione e blocco

L'ultimo passaggio riassume il piano ed elenca ciò che va sistemato prima del blocco. Blocca la preregistrazione fissa quindi ipotesi, metriche, pubblico e varianti, ed estrae il campione: quali contatti partecipano, e quale variante riceve ciascuno, è definitivo.

Fino al lancio puoi ancora rinominare l'esperimento, cambiare l'orario di invio e modificare etichetta, oggetto, mittente e contenuto di ogni variante. Avvia riserva l'intero invio sulle email mensili del tuo piano, poi lo programma. Il gruppo escluso non consuma nulla della tua quota. Dopo il lancio si può cambiare solo il nome.

Al lancio, MailInApp costruisce anche l'email di ogni variante così come verrà inviata. Rifiuta il lancio se l'email di una variante mostra il premio del gratta e vinci di un'altra variante, anche nel fallback che vedono le app di posta senza gratta e vinci. Testare due premi in un esperimento spiega cosa individua il controllo. La checklist preflight controlla l'email così come l'hai salvata, quindi guarda anche l'anteprima di ogni variante con il menu Variante dello studio.

Durante l'esecuzione

Dopo il lancio, l'esperimento passa da solo da uno stato all'altro:

• Programmato fino all'orario di invio, poi In invio mentre partono tutte le varianti.
• In osservazione per la finestra di osservazione. Ogni poche ore viene eseguita un'analisi intermedia. I suoi risultati sono indicati come intermedi: non decidere in base a quelli.
• In analisi quando la finestra finisce. L'analisi finale arriva circa un'ora dopo.
• Deciso o Non conclusivo quando registri la decisione, poi Chiuso quando lo chiudi.

Durante l'esecuzione si può cambiare solo il nome. Annulla esperimento lo interrompe in qualsiasi momento prima della decisione, ed è irreversibile. Gli altri invii della stessa email escludono i contatti trattenuti da questo esperimento, così nessuno riceve una seconda versione per un'altra strada.

Puoi eliminare un esperimento finché è una bozza, quando è chiuso o dopo un annullamento. Risultati e assegnazioni vengono eliminati con lui.

Limiti e cosa non viene misurato

• Le rivelazioni non vengono ancora registrate dalle caselle di posta. La rivelazione di un gratta e vinci o di una ruota della fortuna avviene dentro l'app di posta, e lì MailInApp non la registra ancora. Misura invece i clic sul link del premio e gli acquisti.
• Le aperture servono solo come contesto. La Protezione della privacy di Mail di Apple e i proxy delle immagini aprono le email in automatico, quindi i tassi di apertura risultano alti e variano in base all'app di posta.
• Ogni variante viene controllata al lancio. Il preflight della pagina di invio controlla l'email così come è salvata, non la versione di ogni variante.
• Non ancora nell'app mobile. L'app mobile di MailInApp non mostra gli esperimenti.

Usarlo dall'API

Il tuo codice e gli strumenti di automazione possono leggere gli esperimenti con una chiave API, e i webhook possono avvisarli quando uno viene deciso o i suoi risultati sono pronti. Possono leggere, ma non bloccare, avviare o decidere. Vedi Leggere i risultati degli esperimenti.

Vedi anche

• Leggere i risultati di un esperimento
• Scopri quale premio vende di più con un test A/B con gratta e vinci
• Scopri quanti contatti servono al tuo test A/B
• Invia la versione vincente al resto del tuo pubblico
• Contatti e invio da MailInApp
• Blocco Gratta e vinci
• Segmenti comportamentali