Tester Quelle Récompense Vend le Plus avec un Test A/B de Carte à Gratter

Livraison gratuite ou 10 % de remise : quelle récompense transforme le plus d'abonnés en acheteurs ? Ce guide y répond comme le fait une expérience. Cachez chaque récompense sous la même carte à gratter, envoyez les deux versions en même temps et laissez les achats trancher.

Retro Revival est une marque de vêtements fictive, et tous les chiffres de ce guide sont inventés pour l'exemple. Son test en chiffres : 50 874 abonnés · 2 variantes de récompense · fenêtre d'observation de 7 jours.

Voici Retro Revival

Retro Revival crée des vêtements d'inspiration vintage en matières recyclées et biologiques, fabriqués avec des artisans indépendants. Sa nouvelle collection, Grunge Revival: The 90s Edit, revisite la mode alternative des années 1990.

Pour la lancer, l'équipe marketing veut offrir une récompense à ses abonnés. Plutôt que de deviner laquelle fonctionne, elle met en place une expérience contrôlée et tranche sur les achats.

Le même e-mail, une seule différence

Chaque destinataire reçoit le même e-mail : objet, texte de la collection, carrousel de produits, carte à gratter et bouton vers la boutique. Seule la récompense révélée sous la carte change. Ainsi, un écart d'achats peut être attribué à la récompense, et non au design.

Les deux versions sont les variantes d'une même expérience. Une expérience compare chaque variante à un témoin, et seule une autre variante peut être déclarée gagnante. Le témoin est donc l'offre que vous enverriez de toute façon. Ici, ce sont les 10 % de remise, la variante A. La livraison gratuite est la variante B.

Les deux variantes partagent un seul e-mail. Dans le studio, choisissez une variante dans le menu Variante de la barre d'outils et modifiez le lot de la carte pour cette variante seulement. Essayez les deux ci-dessous : grattez la carte, affichez-la révélée, ou voyez la version de repli qu'affichent les applications de messagerie sans carte à gratter.

Le bouton vers la boutique se trouve Dans le lot révélé. Là où la carte à gratter fonctionne, le bouton n'apparaît qu'une fois la carte grattée : un clic arrive donc après que la récompense a été vue. L'e-mail n'a pas de second bouton sous la carte, car on pourrait cliquer dessus sans rien révéler. Où se trouve le lien compare les deux emplacements.

Pré-enregistrer avant d'envoyer

À l'étape Hypothèse et métriques, l'équipe consigne son plan avant tout envoi :

• Hypothèse : la livraison gratuite transformera plus d'abonnés en acheteurs que 10 % de remise.
• Métrique principale : Conversion en achat, la part des destinataires délivrés qui ont acheté. Ce seul chiffre tranche l'expérience.
• Métriques secondaires : Taux de clic unique et Revenu par e-mail délivré. Elles expliquent le résultat, sans le trancher.
• Garde-fou : Taux de désabonnement. Une variante gagnante ne peut pas y être nettement moins bonne.
• Seuil de significativité : 5 % (bilatéral), avec une analyse à Horizon fixe sur une fenêtre d'observation de 7 jours.

L'équipe laisse de côté le Taux de révélation observé et le Taux de clic après révélation. MailInApp n'enregistre pas encore les révélations depuis les boîtes de réception. Les clics après révélation dépendent aussi de qui a choisi de révéler : cette métrique n'est donc pas une comparaison randomisée.

Verrouiller le pré-enregistrement, à l'étape Vérification et verrouillage, fige l'hypothèse, les métriques, l'audience et les variantes, et tire l'échantillon. Personne ne peut passer à une métrique plus flatteuse une fois les résultats arrivés.

Toucher les bons abonnés

The 90s Edit s'adresse aux abonnés qui aiment le rock et les années 1990. À l'étape Audience et échantillon, l'équipe choisit sa liste de 50 874 contacts et ajoute deux règles de filtre, Rock–Alternatif ET années 1990. La carte Effectifs de l'audience montre chaque étape :

• Éligibles passe avant le ciblage. 4 554 contacts ne peuvent recevoir aucun e-mail, et la liste Exclus dit pourquoi : désabonnés, sans consentement marketing, adresse invalide, etc. Il en reste 46 320.
• Ciblés applique le filtre aux seuls contacts éligibles. 11 240 aiment le Rock–Alternatif et 14 870 les années 1990, mais 6 420 aiment les deux.
• Dans l'expérience est l'échantillon : 4 000, soit 2 000 par variante.

Avant le tirage, l'équipe consulte l'Aperçu de l’audience selon le champ customer_type. Sur les 6 420 contacts ciblés, 2 311 sont clients et 3 981 sont prospects. 128 n'ont pas de valeur : c'est le groupe Sans valeur, assez petit pour le laisser tel quel.

L'audience dépend de la liste qui la porte. Créer une base d'abonnés prête pour vos tests traite des champs et du consentement, et Combiner des filtres d'audience avec ET et OU du filtre lui-même.

Tirer et répartir équitablement

L'équipe choisit un Échantillon aléatoire équilibré sur customer_type. L'échantillon est tiré séparément parmi les clients, les prospects et les contacts sans valeur, si bien que les deux variantes reçoivent la même composition : 720 clients, 1 240 prospects et 40 sans valeur chacune. Un échantillon aléatoire simple est équitable en moyenne, mais un tirage donné peut dériver.

Chaque contact n'est que dans une variante, et personne ne reçoit les deux récompenses. Exclure les contacts déjà dans une autre expérience évite que l'offre d'un test précédent déborde sur celui-ci.

2 000 par variante, est-ce assez ? Le Planificateur de taille d'échantillon répond non, pour la hausse qu'espérait l'équipe. Faire passer les achats de 3,7 % à 5,0 %, une hausse de 1,3 point, demande 3 943 contacts par variante.

Avec 4 000 au total, le test peut détecter de façon fiable une hausse d'environ 1,9 point. L'équipe continue malgré tout, en sachant qu'un écart réel plus petit pourrait passer inaperçu. Combien de contacts faut-il à votre test A/B ? détaille le planificateur.

Récompenses et lancement

À l'étape Récompense et attribution, la variante A reçoit un Pourcentage de remise de 10 % et la variante B la Livraison gratuite. Les codes des deux variantes sont valables 7 jours : aucune offre n'a plus de temps pour agir. Chaque destinataire reçoit son propre code à usage unique, lié à sa personne. Les codes sont créés au moment de l'envoi sur la boutique Shopify ou WooCommerce connectée à la liste de contacts de l'expérience.

Le lien du lot de la carte à gratter est la balise de fusion {{discount_url}}, qui mène chaque destinataire à la boutique avec son propre code. Les aperçus de cette page renvoient directement vers la boutique, car un aperçu ne peut pas créer de code.

Pour la livraison gratuite, l'équipe saisit un Coût moyen de livraison par commande de 5,50 $. Il est compté comme coût promotionnel sur chaque commande en livraison gratuite. Sur WooCommerce, les codes de livraison gratuite exigent aussi un mode de livraison Free Shipping qui accepte un coupon, et l'étape avertit s'il n'y en a pas.

La même étape règle l'Attribution des commandes : les règles qui rattachent une commande de la boutique à une variante, figées au verrouillage. L'équipe garde les trois règles par défaut, Code de réduction, Lien suivi et Paiement dans l'e-mail. Elle laisse Adresse e-mail (probable) désactivée : chaque commande comptée est donc une correspondance sûre.

Lancer construit l'e-mail de chaque variante tel qu'il sera envoyé. Il refuse de lancer si l'e-mail d'une variante montre la récompense de l'autre où que ce soit, version de repli comprise. Ensuite, les deux variantes partent en même temps, entrelacées sur les mêmes minutes. 40 e-mails par variante rebondissent : 1 960 par variante sont donc délivrés. Tous les taux ci-dessous sont une part de ces e-mails délivrés.

Ce qui se passe après le grattage

Gratter la carte se passe dans l'application de messagerie du destinataire. MailInApp n'enregistre pas encore les révélations depuis les boîtes de réception : ce guide ne peut donc pas montrer combien de personnes ont gratté, ni qui a gratté sans cliquer ensuite. Ce qui parvient à MailInApp, c'est un clic sur le lien du lot.

Comme le bouton est dans le lot révélé, un clic dans une application où la carte à gratter fonctionne vient après une révélation. Dans les applications qui affichent la version de repli, le lot et son lien sont visibles dès le départ.

On compte 294 cliqueurs uniques pour la livraison gratuite contre 265 pour les 10 % de remise : 15,0 % contre 13,5 % des e-mails délivrés. L'écart est de 1,5 point, mais p = 0,185. L'écart de clics est une tendance, pas un résultat significatif : il peut être dû au hasard.

Les cliqueurs et les acheteurs sont des mesures distinctes, chacune sur les 1 960 e-mails délivrés. Ce ne sont pas les étapes d'un entonnoir. On peut acheter sans clic suivi, puisque le code de réduction rattache aussi une commande à sa variante.

Les achats tranchent

À la fin de la fenêtre, la page de résultats lit la métrique principale. 98 destinataires de la livraison gratuite ont acheté, contre 72 avec 10 % de remise : 5,0 % contre 3,7 %.

La phrase de résultats indique que la livraison gratuite a fait 1,33 point de mieux que les 10 % de remise. L'amélioration réelle se situe probablement entre 0,05 et 2,62 points, et p = 0,041. C'est sous le seuil de 5 % : la différence est significative. En valeur relative, la livraison gratuite a vendu à 36,1 % de destinataires en plus.

L'intervalle est large, et sa borne basse est proche de zéro. La livraison gratuite vend très probablement plus ici, mais de combien, c'est incertain. Rappelez-vous le planificateur : ce test ne pouvait voir de façon fiable qu'environ 1,9 point, donc un résultat de 1,33 point était un coup de chance.

Le garde-fou Taux de désabonnement a tenu : 0,20 % pour la livraison gratuite contre 0,26 % pour les 10 % de remise. Il ne bloque donc pas la gagnante.

Chiffre d'affaires et promotions affiche l'argent par variante, en dollars américains :

Le chiffre d'affaires exclut les taxes et la livraison, et tient déjà compte des remises. Ce n'est pas un calcul de bénéfice.

Les commandes en livraison gratuite étaient plus petites, mais plus de gens ont acheté. Le revenu par e-mail délivré était plus élevé avec la livraison gratuite, mais p = 0,13 : ce n'est pas significatif à lui seul. C'est une métrique secondaire : elle explique le résultat sans le trancher.

Le coût promotionnel est ce que chaque récompense a offert. Pour les 10 % de remise, c'est la remise sur chaque commande. Pour la livraison gratuite, c'est l'estimation de livraison de 5,50 $ pour chaque commande en livraison gratuite. Aucune des deux colonnes n'est un bénéfice : le coût des produits vendus n'y figure pas.

Chaque commande rejoint sa variante par les règles d'attribution, vérifiées dans un ordre fixe. La première qui correspond l'emporte, et les suivantes ne sont pas vérifiées. Seules les commandes passées pendant la fenêtre de 7 jours comptent.

Tous les acheteurs de Retro Revival ont utilisé leur code, d'où une utilisation des codes égale aux acheteurs : 72 et 98 codes sur 2 000 par variante. La première règle a donc tranché toutes les commandes. La carte Commandes de la page de résultats indique combien de commandes chaque règle a rattachées. Métriques de revenu traite des remboursements et des autres devises.

Enregistrer la décision et clôturer

L'expérience se termine par une décision que l'équipe enregistre elle-même. Enregistrer la décision ouvre une boîte de dialogue : Gagnant, la variante B, livraison gratuite. La justification mentionne l'écart d'achats significatif, les clics et le chiffre d'affaires non significatifs, et l'intervalle large. Les preuves enregistrées avec elle viennent de l'analyse : significatif.

Clôturer l’expérience rend ensuite le registre définitif. Exporter télécharge le rapport en PDF, en tableaux CSV ou en JSON. Il contient le pré-enregistrement, les chiffres par variante, les vérifications et la décision, sans nom ni adresse.

L'expérience s'arrête ici. Enregistrer la livraison gratuite comme gagnante répond à la question. Cela n'envoie rien. Offrir la livraison gratuite au reste de l'audience est une action distincte, avec sa propre audience et son propre calendrier : Envoyer la version gagnante au reste de votre audience.

Trois enseignements

1. Ne changez qu'une chose. Les deux variantes ont reçu le même e-mail : l'écart d'achats vient donc de la récompense. Un seul e-mail avec une modification par variante le garantit.
2. Les clics orientent, les achats tranchent. La livraison gratuite a attiré plus de clics, mais pas de façon significative. Seule la métrique principale, fixée avant l'envoi, a désigné la gagnante.
3. Une décision n'est pas un envoi. L'équipe a enregistré la livraison gratuite comme gagnante, avec ses preuves. L'envoyer à plus de monde, en gardant en tête son coût de livraison, vient après.

Et si le résultat n'avait pas été concluant ?

Imaginons que 85 destinataires de la livraison gratuite aient acheté au lieu de 98. Cela donne 4,3 % contre 3,7 %, avec p = 0,29. La page de résultats afficherait Non concluante : pas assez de preuves pour choisir.

C'est un résultat normal et utile. Il dit que tout écart éventuel est plus petit que ce que ce test pouvait voir. L'équipe enregistrerait Non concluant avec sa justification et garderait les 10 % de remise comme offre habituelle. Pour en savoir plus, elle pourrait prévoir un échantillon plus grand ou une fenêtre plus longue avec le planificateur, puis lancer une nouvelle expérience. Elle ne déclarerait pas la livraison gratuite gagnante parce que son taux était plus élevé.

Pour commencer

Ouvrez l'e-mail dans le studio et ajoutez une carte à gratter dont le Lien du lot vaut {{discount_url}}. Lancez ensuite une expérience avec Lancer comme expérience, donnez à chaque variante sa récompense et verrouillez le plan avant l'envoi. Expériences (tests A/B) couvre chaque étape, et Lire les résultats d'une expérience la lecture de ce qui revient.