Scopri Quale Premio Vende di Più con un Test A/B con Gratta e Vinci

Spedizione gratuita o 10% di sconto: quale premio trasforma più iscritti in acquirenti? Questa guida risponde come farebbe un esperimento. Nascondi ogni premio sotto la stessa carta da grattare, invia le due versioni insieme e lascia decidere agli acquisti.

Retro Revival è un marchio di abbigliamento immaginario, e tutti i numeri di questa guida sono inventati a scopo illustrativo. Il suo test in cifre: 50.874 iscritti · 2 varianti di premio · finestra di osservazione di 7 giorni.

Ecco Retro Revival

Retro Revival disegna abbigliamento di ispirazione vintage con materiali riciclati e biologici, realizzato con artigiani indipendenti. La nuova collezione, Grunge Revival: The 90s Edit, riprende la moda alternativa degli anni '90.

Per lanciarla, il team marketing vuole offrire un premio agli iscritti. Invece di indovinare quale funziona, imposta un esperimento controllato e decide in base agli acquisti.

La stessa email, una sola differenza

Tutti i destinatari ricevono la stessa email: oggetto, testo della collezione, carosello dei prodotti, gratta e vinci e pulsante del negozio. Cambia solo il premio rivelato sotto la carta. Così una differenza negli acquisti si può attribuire al premio e non al design.

Le due versioni sono varianti di uno stesso esperimento. Un esperimento confronta ogni variante con un controllo, e solo un'altra variante può risultare vincente. Il controllo è quindi l'offerta che invieresti comunque. Qui è il 10% di sconto, la variante A. La spedizione gratuita è la variante B.

Le due varianti condividono un'unica email. Nello studio, scegli una variante nel menu Variante della barra degli strumenti e cambia il premio della carta solo per quella variante. Prova le due varianti qui sotto: gratta la carta, guardala rivelata o guarda il fallback che mostrano le app di posta senza gratta e vinci.

Il pulsante del negozio della carta sta Dentro il premio rivelato. Dove il gratta e vinci funziona, il pulsante compare solo dopo aver grattato la carta, quindi un clic arriva dopo aver visto il premio. L'email non ha un secondo pulsante sotto la carta, perché su quello si potrebbe cliccare senza rivelare nulla. Dove sta il link confronta le due posizioni.

Preregistra prima di inviare

Nel passaggio Ipotesi e metriche, il team mette per iscritto il suo piano prima di inviare qualsiasi cosa:

• Ipotesi: la spedizione gratuita trasformerà più iscritti in acquirenti rispetto al 10% di sconto.
• Metrica principale: Conversione in acquisto, la quota di destinatari con email consegnata che hanno acquistato. Questo solo numero decide l'esperimento.
• Metriche secondarie: Tasso di clic unici e Ricavo per email consegnata. Spiegano il risultato, ma non lo decidono.
• Guardrail: Tasso di disiscrizione. Una variante vincente non può essere nettamente peggiore su questo.
• Livello di significatività: 5% (bilaterale), con un'analisi a Orizzonte fisso su una finestra di osservazione di 7 giorni.

Il team lascia fuori il Tasso di rivelazione osservato e il Tasso di clic dopo la rivelazione. MailInApp non registra ancora le rivelazioni dalle caselle di posta. I clic dopo la rivelazione dipendono anche da chi ha scelto di rivelare, quindi quella metrica non è un confronto randomizzato.

Blocca la preregistrazione, nel passaggio Revisione e blocco, congela ipotesi, metriche, pubblico e varianti, ed estrae il campione. Nessuno può passare a una metrica più favorevole quando arrivano i risultati.

Raggiungere gli iscritti giusti

The 90s Edit è pensata per gli iscritti a cui piacciono il rock e gli anni '90. Nel passaggio Pubblico e campione, il team sceglie la sua lista di 50.874 contatti e aggiunge due regole di filtro, Rock–Alternative E anni '90. La scheda Conteggi del pubblico mostra ogni fase:

• Idonei viene prima della selezione. A 4.554 contatti non si può inviare nessuna email, e l'elenco Esclusi spiega perché: disiscritti, senza consenso al marketing, con un indirizzo non valido e così via. Ne restano 46.320.
• Selezionati applica il filtro solo ai contatti idonei. A 11.240 piace il Rock–Alternative e a 14.870 gli anni '90, ma a 6.420 piacciono entrambi.
• Nell'esperimento è il campione: 4.000, divisi in 2.000 per variante.

Prima dell'estrazione, il team controlla la Panoramica del pubblico per il campo customer_type. Dei 6.420 contatti selezionati, 2.311 sono clienti e 3.981 sono potenziali clienti. 128 non hanno un valore: il gruppo Nessun valore, abbastanza piccolo da lasciarlo così.

Il pubblico dipende dalla lista che c'è dietro. Prepara un database di iscritti pronto per i test tratta i campi e il consenso, e Combina i filtri del pubblico con E e O il filtro stesso.

Estrarre e assegnare in modo equo

Il team sceglie Campione casuale bilanciato su customer_type. Il campione viene estratto separatamente tra clienti, potenziali clienti e contatti senza valore, così le due varianti ricevono la stessa composizione: 720 clienti, 1.240 potenziali clienti e 40 senza valore ciascuna. Un campione casuale semplice è equo in media, ma ogni singola estrazione può scostarsi.

Ogni contatto sta in una sola variante, e nessuno riceve entrambi i premi. Escludi i contatti che partecipano già a un altro esperimento evita che l'offerta di un test precedente finisca in questo.

Bastano 2.000 per variante? Il Pianificatore della dimensione del campione dice di no, per l'aumento in cui sperava il team. Portare gli acquisti dal 3,7% al 5,0%, un aumento di 1,3 punti, richiede 3.943 contatti per variante.

Con 4.000 in tutto, il test può rilevare in modo affidabile un aumento di circa 1,9 punti. Il team va avanti lo stesso, sapendo che una differenza reale più piccola potrebbe passare inosservata. Scopri quanti contatti servono al tuo test A/B spiega il pianificatore passo per passo.

Premi e lancio

Nel passaggio Premio e attribuzione, la variante A riceve uno Sconto percentuale del 10% e la variante B la Spedizione gratuita. I codici di entrambe le varianti valgono 7 giorni, così nessuna offerta ha più tempo per funzionare. Ogni destinatario riceve il proprio codice monouso, legato a lui. I codici vengono generati al momento dell'invio sul negozio Shopify o WooCommerce collegato alla lista di contatti dell'esperimento.

Il link del premio del gratta e vinci è il tag di personalizzazione {{discount_url}}, che porta ogni destinatario al negozio con il proprio codice. Le anteprime di questa pagina rimandano direttamente al negozio, perché un'anteprima non può generare un codice.

Per la spedizione gratuita, il team inserisce un Costo medio di spedizione per ordine di 5,50 $. Viene contato come costo promozionale per ogni ordine con spedizione gratuita. Su WooCommerce, i codici di spedizione gratuita richiedono anche un metodo Free Shipping che accetti un coupon, e il passaggio avvisa se manca.

Lo stesso passaggio imposta l'Attribuzione degli ordini: le regole che collegano un ordine del negozio a una variante, fissate al blocco. Il team tiene le tre regole predefinite, Codice sconto, Link tracciato e Checkout nell’email. Lascia disattivato Indirizzo email (probabile), così ogni ordine contato è una corrispondenza certa.

Avvia costruisce l'email di ogni variante così come verrà inviata. Rifiuta il lancio se l'email di una variante mostra il premio dell'altra in qualsiasi punto, fallback compreso. Poi le due varianti partono insieme, intercalate negli stessi minuti. Rimbalzano 40 email per variante, quindi ne vengono consegnate 1.960 per variante. Ogni tasso qui sotto è una quota di queste email consegnate.

Cosa succede dopo la grattata

Grattare la carta avviene dentro l'app di posta del destinatario. MailInApp non registra ancora le rivelazioni dalle caselle di posta, quindi questa guida non può mostrare quante persone hanno grattato, né chi ha grattato e poi non ha cliccato. Ciò che arriva a MailInApp è un clic sul link del premio.

Poiché il pulsante sta dentro il premio rivelato, un clic in un'app di posta dove il gratta e vinci funziona arriva dopo una rivelazione. Nelle app che mostrano il fallback, il premio e il suo link sono visibili fin dall'inizio.

Le persone uniche che hanno cliccato sono state 294 con la spedizione gratuita contro 265 con il 10% di sconto: il 15,0% contro il 13,5% delle email consegnate. È uno scarto di 1,5 punti, ma p = 0,185. La differenza nei clic è un'indicazione, non un risultato significativo: potrebbe essere dovuta al caso.

Chi ha cliccato e chi ha acquistato sono misure separate, ciascuna sulle 1.960 email consegnate. Non sono le fasi di un imbuto. Si può acquistare senza un clic tracciato, perché anche il codice sconto collega un ordine alla sua variante.

Decidono gli acquisti

Quando la finestra si chiude, la pagina dei risultati legge la metrica principale. Hanno acquistato 98 destinatari della spedizione gratuita, contro 72 con il 10% di sconto: il 5,0% contro il 3,7%.

La frase dei risultati dice che la spedizione gratuita ha fatto 1,33 punti meglio del 10% di sconto. Il miglioramento reale è probabilmente tra 0,05 e 2,62 punti, e p = 0,041. È sotto il livello di significatività del 5%, quindi la differenza è significativa. In termini relativi, la spedizione gratuita ha venduto al 36,1% di destinatari in più.

L'intervallo è ampio, e il suo estremo inferiore è vicino a zero. Molto probabilmente qui la spedizione gratuita vende di più, ma di quanto è incerto. Ricorda il pianificatore: questo test poteva vedere in modo affidabile solo circa 1,9 punti, quindi un risultato di 1,33 punti è stato un colpo di fortuna.

Il guardrail Tasso di disiscrizione ha tenuto: 0,20% con la spedizione gratuita contro 0,26% con il 10% di sconto, quindi non blocca la vincente.

Ricavi e promozioni mostra i soldi per variante, in dollari USA:

I ricavi escludono tasse e spedizione, e gli sconti sono già considerati. Non è un calcolo del profitto.

Gli ordini con spedizione gratuita erano più piccoli, ma hanno acquistato più persone. Il ricavo per email consegnata era più alto con la spedizione gratuita, ma p = 0,13: da solo non è significativo. È una metrica secondaria, quindi spiega il risultato senza deciderlo.

Il costo promozionale è ciò che ogni premio ha regalato. Per il 10% di sconto è lo sconto su ogni ordine. Per la spedizione gratuita è la stima di spedizione di 5,50 $ per ogni ordine con spedizione gratuita. Nessuna delle due colonne è profitto: il costo dei prodotti venduti non c'è in nessuna delle due.

Ogni ordine arriva alla sua variante tramite le regole di attribuzione, controllate in un ordine fisso. Decide la prima che corrisponde, e le altre non vengono più controllate. Contano solo gli ordini fatti durante la finestra di 7 giorni.

Tutti gli acquirenti di Retro Revival hanno usato il proprio codice, per questo l'utilizzo dei codici coincide con gli acquirenti: 72 e 98 codici su 2.000 per variante. Quindi la prima regola ha deciso ogni ordine. La scheda Ordini della pagina dei risultati mostra quanti ordini ha collegato ogni regola. Metriche di ricavo tratta i rimborsi e le altre valute.

Registrare la decisione e chiudere

L'esperimento finisce con una decisione che il team registra da sé. Registra la decisione apre una finestra: Vincitore, la variante B, spedizione gratuita. La motivazione cita la differenza significativa negli acquisti, i clic e i ricavi non significativi e l'intervallo ampio. Le prove salvate insieme alla decisione vengono dall'analisi: significativo.

Chiudi esperimento rende poi definitivo il registro. Esporta scarica il report in PDF, tabelle CSV o JSON. Contiene la preregistrazione, i numeri per variante, i controlli e la decisione, senza nomi né indirizzi.

L'esperimento finisce qui. Registrare la spedizione gratuita come vincente risponde alla domanda. Non invia nulla. Offrire la spedizione gratuita al resto del pubblico è un'azione a parte, con il suo pubblico e i suoi tempi: Invia la versione vincente al resto del tuo pubblico.

Tre lezioni

1. Cambia una sola cosa. Le due varianti hanno ricevuto la stessa email, quindi lo scarto negli acquisti viene dal premio. Un'unica email con una modifica per variante lo garantisce.
2. I clic orientano, gli acquisti decidono. La spedizione gratuita ha attirato più clic, ma non in modo significativo. Solo la metrica principale, fissata prima dell'invio, ha scelto la vincente.
3. Una decisione non è un invio. Il team ha registrato la spedizione gratuita come vincente, con le prove. Inviarla a più persone, tenendo conto del suo costo di spedizione, viene dopo.

E se il risultato non fosse stato conclusivo?

Supponi che avessero acquistato 85 destinatari della spedizione gratuita invece di 98. Sarebbe il 4,3% contro il 3,7%, con p = 0,29. La pagina dei risultati indicherebbe Non conclusivo: prove insufficienti per scegliere.

È un risultato normale e utile. Dice che qualsiasi differenza è più piccola di quanto questo test potesse vedere. Il team registrerebbe Non conclusivo con la sua motivazione e terrebbe il 10% di sconto come offerta abituale. Per saperne di più, potrebbe pianificare con il pianificatore un campione più grande o una finestra più lunga, e avviare un nuovo esperimento. Non chiamerebbe vincente la spedizione gratuita solo perché il suo tasso era più alto.

Per iniziare

Apri l'email nello studio e aggiungi un gratta e vinci con il Link premio impostato su {{discount_url}}. Poi avvia un esperimento con Esegui come esperimento, dai a ogni variante il suo premio e blocca il piano prima dell'invio. Esperimenti (test A/B) copre ogni passaggio, e Leggere i risultati di un esperimento come leggere ciò che torna.