Expériences (tests A/B)

Une expérience teste une modification d'un e-mail face à un témoin. Vous notez la question, le chiffre qui y répond et qui y participe, et MailInApp fige tout cela avant le moindre envoi. Ensuite, il envoie toutes les versions en même temps, mesure ce qui se passe et vous dit quelle est la force des preuves.

Les illustrations de cette page reprennent Retro Revival, une boutique de vêtements fictive, avec des chiffres inventés. Retro Revival cherche à savoir si la livraison gratuite fait plus vendre que 10 % de remise, la récompense étant cachée sous une carte à gratter.

Ce qu'est une expérience

Une expérience appartient à un seul e-mail et répond à une seule question. Elle comporte :

• Une hypothèse : ce que vous attendez et pourquoi, écrit avant de voir le moindre résultat.
• Une métrique principale : le chiffre qui décide de l'issue, par exemple la conversion en achat. Tout le reste sert à l'expliquer, jamais à trancher.
• Au moins deux variantes : les versions de l'e-mail. L'une d'elles est le témoin, et chaque autre variante lui est comparée.
• Un échantillon aléatoire de vos contacts, tiré une seule fois et réparti entre les variantes. Personne ne reçoit deux variantes.
• Une fenêtre d'observation : la durée pendant laquelle les clics et les commandes comptent après l'envoi. Le résultat se lit à sa fin.

Pour en créer une, ouvrez Expériences dans la barre latérale et cliquez sur Nouvelle expérience. Vous pouvez aussi utiliser Lancer comme expérience depuis l'encadré A/B de la page Envoi d'un e-mail, depuis le menu de sa ligne dans la liste des e-mails, ou depuis le calendrier des campagnes.

Quand un simple envoi A/B suffit

Un envoi A/B classique répartit un envoi entre cinq variantes au plus et affiche leurs taux côte à côte. C'est rapide, et cela convient pour comparer grossièrement deux lignes d'objet. Mais rien n'est fixé à l'avance : ni la métrique, ni la taille de l'échantillon, ni le moment de s'arrêter.

Passez à une expérience quand la réponse compte. Elle apporte ce qu'un envoi rapide laisse de côté :

• un échantillon et une métrique fixés avant l'envoi, pour que personne ne choisisse après coup la lecture la plus flatteuse ;
• un test statistique, avec des intervalles et un verdict en langage clair ;
• des contrôles qui vérifient que l'envoi lui-même a été équitable, par exemple que toutes les variantes sont parties en même temps ;
• des récompenses de boutique par variante, et des commandes rattachées à la variante qui les a générées ;
• une décision enregistrée, conservée avec l'expérience pour de bon.

Une expérience n'est pas non plus limitée à 200 destinataires comme un envoi direct : elle passe par sa propre tâche d'envoi, par lots, jusqu'à son échantillon complet.

Forfaits

Les expériences sont incluses à partir du forfait Lite. Ce que chaque forfait permet :

Un groupe exclu compte comme l'une des variantes.

Les six étapes

Une expérience se configure en six étapes. Vous pouvez revenir sur chacune d'elles jusqu'au verrouillage.

Hypothèse et métriques

Rédigez d'abord l'hypothèse. Choisissez ensuite la métrique principale, le chiffre qui tranchera l'expérience. Chaque métrique est une part ou un montant rapporté à sa propre base :

Délivré signifie envoyé, moins les rebonds définitifs. Un contact compte une seule fois, quel que soit son nombre de clics ou d'achats.

Les métriques secondaires s'affichent à côté de la principale pour l'expliquer. Elles ne décident pas de l'issue. Les garde-fous sont des métriques qu'un gagnant ne doit pas dégrader, comme le taux de désabonnement ou le taux de plainte. Une variante qui bat le témoin mais fait nettement pire sur un garde-fou n'est pas gagnante.

Deux métriques ont leurs propres limites :

• Le taux d'ouverture ne sert que de contexte. La protection de la confidentialité de Mail d'Apple ouvre les e-mails automatiquement : il ne peut donc être ni la métrique principale ni un garde-fou.
• Le taux de révélation observé et le taux de clic après révélation exigent que les applications de messagerie remontent les révélations, ce que MailInApp n'enregistre pas encore. Laissez-les de côté pour l'instant. Les clics après révélation dépendent en outre de qui a révélé : cette métrique n'est pas une comparaison randomisée.

Le seuil de signification fixe la force de preuve exigée avant qu'un écart compte. Le choix habituel est 5 % (bilatéral). L'analyse est soit Horizon fixe (lecture unique, à la fin de la fenêtre), soit, à partir du forfait Business, Séquentielle (suivie pendant la fenêtre, avec des seuils plus stricts). Pourquoi la fenêtre est fixe explique la différence.

Sous Statistiques, quelques choix supplémentaires sont arrêtés dès maintenant, pour qu'on ne puisse pas les ajuster plus tard au résultat. Ils portent sur l'ajustement selon ce que l'on savait avant l'envoi, la devise du chiffre d'affaires, un plafond pour les très grosses commandes et des marges facultatives. Lire les résultats d'une expérience détaille chacun d'eux.

Variantes et contenu

Chaque variante est une version de l'e-mail. Donnez-lui un libellé et une part de l'échantillon, et désignez-en une comme témoin. Répartir équitablement attribue des parts égales.

Une variante peut changer la ligne d'objet, l'expéditeur et le contenu. Pour le contenu, deux possibilités :

• Cet e-mail, avec les modifications de cette variante. Ouvrez l'e-mail dans le studio, choisissez la variante dans le menu Variante de la barre d'outils, puis modifiez les blocs qu'elle doit changer. Tout le reste est commun à toutes les variantes. Les variantes restent ainsi identiques, sauf sur ce que vous testez.
• Un autre e-mail. La variante envoie un e-mail entièrement différent. Ses résultats sont tout de même rattachés à cette expérience.

Quelques réglages ne peuvent pas varier d'une variante à l'autre, car ils servent à vérifier les réponses ou les paiements : les bonnes réponses d'un quiz, par exemple, ou le prix d'un produit. Le studio indique quels champs une variante peut modifier.

Un test n'a pas besoin de toucher au contenu. Ici, les deux variantes partagent le même e-mail et ne diffèrent que par la ligne d'objet :

À partir du forfait Pro, une variante peut être un groupe exclu : des contacts qui ne reçoivent rien. Comparer les autres variantes à ce groupe montre combien de personnes auraient acheté sans l'e-mail. Il exige donc une métrique principale d'achat ou de revenu.

Audience et échantillon

Choisissez une liste de contacts, puis les personnes à cibler avec des règles de filtre. Partir d'un segment enregistré copie le filtre d'un segment dans l'expérience. Le modifier ensuite ne change pas le segment.

La carte Effectifs de l'audience compte quatre étapes, avec les mêmes règles que l'envoi :

1. Dans la liste : tous les contacts de la liste.
2. Éligibles : les contacts qui peuvent recevoir un e-mail. La liste Exclus indique pourquoi les autres ne le peuvent pas : désabonnement ou rebond, adresse vérifiée invalide, pas de consentement marketing, inscription non confirmée, désinscription du sujet de cet e-mail, ou présence dans une autre expérience.
3. Ciblés : les contacts éligibles qui correspondent à votre filtre.
4. Dans l'expérience : l'échantillon, réparti entre les variantes.

À côté du filtre, Aperçu de l’audience ventile les contacts ciblés par un champ de la liste, par historique d'achat ou par score d'engagement. Chaque ventilation comporte un groupe Sans valeur pour les contacts à qui ce champ manque. Regardez-le avant d'échantillonner : si beaucoup de contacts n'ont pas de valeur, équilibrer sur ce champ n'apportera pas grand-chose.

Choisissez ensuite comment échantillonner :

• Tous les contacts ciblés : chaque contact ciblé participe, réparti au hasard entre les variantes.
• Échantillon aléatoire : un échantillon tiré au hasard parmi les contacts ciblés, puis réparti au hasard.
• Échantillon aléatoire équilibré (Pro et au-delà) : l'échantillon est tiré séparément dans chaque valeur d'un champ que vous choisissez. Chaque variante reçoit ainsi le même mélange, par exemple de clients et de prospects.
• Le segment entier : tous les contacts retenus par les règles. C'est une sélection par règles, pas un échantillon aléatoire : les résultats ne décrivent donc que ce segment. Les variantes restent attribuées au hasard.

Exclure les contacts déjà dans une autre expérience évite que des expériences se chevauchent. Cela concerne les expériences verrouillées, encore dans leur fenêtre d'observation ou dont l'offre est encore utilisable. L'offre d'un test précédent ne peut donc pas déteindre sur celui-ci.

Le Planificateur de taille d'échantillon calcule combien de contacts le test demande, avant tout envoi. Il part de votre propre historique : les expériences passées sur la liste, ou vos envois récents. Vous indiquez la plus petite hausse qui mérite d'être détectée et la puissance souhaitée, et il recommande un échantillon. Si l'audience est trop petite, il indique plutôt la plus petite hausse qu'il peut détecter de façon fiable.

Retro Revival espérait faire passer les achats de 3,7 % à 5,0 %. Pour détecter cette hausse de 1,3 point, le planificateur demande 3 943 contacts par variante. Avec 4 000 contacts au total, le test peut détecter de façon fiable une hausse d'environ 1,9 point. Un écart réel plus petit pourrait facilement passer inaperçu : prévoyez la taille que vous pouvez vous permettre avant le lancement, pas après. Combien de contacts faut-il à votre test A/B ? détaille le planificateur pas à pas.

Récompense et attribution

Donnez à chaque variante sa propre offre de boutique, ou aucune : un pourcentage de remise, un montant fixe de remise ou la livraison gratuite. Soit toutes les variantes ont une récompense, soit aucune. Les codes de chaque variante restent valables le même nombre de jours, pour que les variantes soient comparées équitablement.

Chaque destinataire reçoit son propre code à usage unique, lié à sa personne. Affichez-le dans l'e-mail avec les balises de fusion {{discount_code}} et {{discount_url}}, par exemple dans le lot et le lien d'une carte à gratter. Le verrouillage attend qu'un bloc affiche la récompense.

Quelques points à préparer d'abord :

• Les codes sont créés sur la boutique Shopify ou WooCommerce connectée à la liste de contacts de l'expérience. Sans boutique, l'étape avertit qu'aucun code ne peut être créé.
• Sur WooCommerce, les codes de livraison gratuite exigent un mode de livraison Free Shipping qui demande un coupon de livraison gratuite valide. L'étape vous avertit si votre boutique n'en a pas.
• Pour la livraison gratuite, saisissez votre Coût moyen de livraison par commande. Il est compté comme coût promotionnel pour chaque commande en livraison gratuite.

L'Attribution des commandes rattache chaque commande de la boutique à une variante. La première règle qui correspond l'emporte, dans cet ordre :

1. Code de réduction : la commande a utilisé le code de la variante. C'est la correspondance la plus fiable, même plusieurs jours après.
2. Lien suivi : l'acheteur est arrivé par le lien balisé de l'e-mail.
3. Paiement dans l'e-mail : l'acheteur a payé via le paiement d'un bloc produit.
4. Adresse e-mail (probable) : l'adresse de l'acheteur correspond à un destinataire qui a cliqué pendant la fenêtre. Ces commandes sont signalées comme probables.

Les trois premières règles sont activées par défaut. Adresse e-mail (probable) reste désactivée tant que vous ne la choisissez pas, et c'est la seule règle qui puisse rattacher les commandes d'un groupe exclu, puisque ce groupe ne reçoit aucun e-mail. Récompenses différentes par variante détaille les codes et les règles, et Tester quelle récompense vend le plus avec un test A/B de carte à gratter déroule un test de récompenses complet.

Si l'e-mail contient une carte à gratter, Appel à l'action de la carte à gratter règle l'emplacement de son bouton de boutique : Dans le lot révélé ou Sous la carte. Mesurer une carte à gratter explique ce que chaque emplacement permet de mesurer.

Planification et fenêtre

Choisissez Dès le lancement ou À une heure précise. Toutes les variantes partent ensemble, entrelacées sur les mêmes minutes. L'optimisation du moment d'envoi est désactivée pour les expériences : un écart entre variantes ne peut donc pas venir de l'heure d'envoi.

La Fenêtre d'observation est la durée pendant laquelle les clics et les commandes comptent après l'envoi, de 1 à 60 jours. Le résultat se lit une seule fois, à sa fin. Choisissez une durée qui couvre le temps que les gens mettent d'habitude à agir, et pendant laquelle l'offre reste valable.

Envoyer le résultat au reste teste d'abord sur un échantillon, puis envoie une variante à tous les autres contacts ciblés par l'audience. Il faut pour cela un échantillon aléatoire (étape 3), afin qu'il reste des contacts à qui envoyer. Choisissez une règle :

• Envoyer un gagnant significatif : une variante qui gagne sur la métrique principale au moment de la décision part vers le reste. Sinon, le reste reçoit le témoin.
• Envoyer la variante en tête (règle de rentabilité) : le reste reçoit la variante la mieux placée au moment de la décision, significative ou non. C'est payant quand les variantes sont proches, mais ce n'est pas la preuve que l'une est meilleure.

Décider après se compte à partir du départ du dernier e-mail de l'échantillon. Si une variante a moins de 30 événements à ce moment-là, l'échantillon est relu une fois à Attendre au maximum. S'il en manque toujours, le reste reçoit le témoin. Cela ne choisit que ce que reçoit le reste : la décision de l'expérience attend toujours la fin de la fenêtre.

Vérification et verrouillage

La dernière étape résume le plan et liste ce qu'il faut corriger avant le verrouillage. Verrouiller le pré-enregistrement fige alors l'hypothèse, les métriques, l'audience et les variantes, et tire l'échantillon. Les contacts qui participent, et la variante de chacun, sont alors définitifs.

Jusqu'au lancement, vous pouvez encore renommer l'expérience, changer l'heure d'envoi et modifier le libellé, la ligne d'objet, l'expéditeur et le contenu de chaque variante. Lancer réserve l'envoi complet sur vos e-mails du mois, puis le planifie. Le groupe exclu ne prend rien sur votre quota. Après le lancement, seul le nom peut changer.

Au lancement, MailInApp construit aussi l'e-mail de chaque variante tel qu'il sera envoyé. Il refuse de lancer si l'e-mail d'une variante montre la récompense de la carte à gratter d'une autre variante. Cela vaut aussi pour la version de repli qu'affichent les applications de messagerie sans carte à gratter. Tester deux récompenses dans une expérience détaille ce que cette vérification détecte. La vérification avant envoi contrôle l'e-mail tel que vous l'avez enregistré : prévisualisez aussi chaque variante avec le menu Variante du studio.

Pendant l'expérience

Après le lancement, l'expérience passe d'elle-même d'un statut à l'autre :

• Planifiée jusqu'à l'heure d'envoi, puis Envoi en cours pendant le départ de toutes les variantes.
• En observation pendant la fenêtre d'observation. Une analyse intermédiaire tourne toutes les quelques heures. Ses résultats sont marqués comme intermédiaires : ne décidez pas sur cette base.
• En analyse une fois la fenêtre terminée. L'analyse finale arrive environ une heure plus tard.
• Tranchée ou Non concluante une fois votre décision enregistrée, puis Clôturée quand vous la clôturez.

Pendant son déroulement, seul le nom peut changer. Annuler l'expérience l'arrête à tout moment avant la décision, sans retour possible. Les autres envois du même e-mail laissent de côté les contacts que cette expérience retient : personne ne reçoit une seconde version par un autre chemin.

Vous pouvez supprimer une expérience tant qu'elle est en brouillon, une fois clôturée ou après une annulation. Ses résultats et ses affectations sont supprimés avec elle.

Limites et ce qui n'est pas mesuré

• Les révélations ne sont pas encore enregistrées depuis les boîtes de réception. Le grattage d'une carte à gratter ou le tour d'une roue de la fortune a lieu dans l'application de messagerie, et MailInApp ne l'y enregistre pas encore. Mesurez plutôt les clics sur le lien du lot et les achats.
• Les ouvertures ne servent que de contexte. La protection de la confidentialité de Mail d'Apple et les proxys d'images ouvrent les e-mails automatiquement : les taux d'ouverture sont gonflés et varient selon l'application de messagerie.
• Chaque variante est vérifiée au lancement. La vérification avant envoi de la page Envoi contrôle l'e-mail tel qu'enregistré, pas la version de chaque variante.
• Pas encore dans l'application mobile. L'application mobile MailInApp n'affiche pas les expériences.

Utilisation depuis l'API

Votre propre code et vos outils d'automatisation peuvent lire les expériences avec une clé API, et des webhooks peuvent les prévenir quand une expérience est tranchée ou que ses résultats sont prêts. Ils peuvent lire, mais pas verrouiller, lancer ni décider. Voir Lire les résultats des expériences.

Voir aussi

• Lire les résultats d'une expérience
• Tester quelle récompense vend le plus avec un test A/B de carte à gratter
• Combien de contacts faut-il à votre test A/B ?
• Envoyer la version gagnante au reste de votre audience
• Contacts et envoi depuis MailInApp
• Bloc Carte à gratter
• Segments comportementaux