Lire les résultats d'une expérience

Une expérience se termine par une décision que vous enregistrez vous-même. La page de résultats vous donne ce qu'il faut pour la prendre : l'écart entre les variantes, le degré de certitude qu'on peut lui accorder, et si l'envoi lui-même a été équitable. Cette page la parcourt panneau par panneau, puis explique ce que signifient les chiffres.

Les exemples reprennent Retro Revival, une boutique de vêtements fictive, avec des chiffres inventés. Son témoin, la variante A, offrait 10 % de remise. La variante B offrait la livraison gratuite. L'e-mail de chaque variante a été délivré à 1 960 destinataires, et la métrique principale était la conversion en achat.

Trouver les résultats

Les résultats de chaque expérience se trouvent dans les Insights de son e-mail, sous Expériences. Dans la liste Expériences, le menu d'une ligne propose Résultats dans Insights. Les premiers résultats apparaissent après la première analyse, qui tourne une fois l'envoi terminé. Tant que la fenêtre est ouverte, la page indique que les résultats sont intermédiaires : ne décidez pas avant sa fin.

L'en-tête affiche le statut, la fenêtre, les preuves obtenues jusqu'ici et les actions : Expliquer, Exporter, Enregistrer la décision, Clôturer l’expérience et Déployer le gagnant, chacune quand elle s'applique.

La page de résultats, panneau par panneau

Pré-enregistrement

Ce que vous avez fixé au verrouillage : l'hypothèse, les métriques et leurs rôles, le seuil de signification, les variantes, l'échantillon et les choix statistiques. Ce panneau permet à quiconque lit le résultat de vérifier qu'il répond bien à la question posée.

Résultats

La carte de la métrique principale affiche l'écart de chaque variante avec le témoin, son intervalle et sa valeur p corrigée par Holm. Elle donne aussi un verdict : Significatif, Non significatif ou Significatif : le témoin a fait mieux. En dessous, une phrase dit en mots simples ce que signifie le résultat. Elle se termine par le plus petit écart détectable : la taille d'écart que ce nombre de destinataires permettait de détecter de façon fiable.

Pour Retro Revival, la phrase indique que la livraison gratuite a fait 1,33 point de mieux que 10 % de remise (5,0 % contre 3,7 %). L'amélioration réelle se situe probablement entre 0,05 et 2,62 points. Un écart aussi grand serait inhabituel si les deux offres se valaient.

Les Indicateurs secondaires et garde-fous figurent dans le tableau en dessous. Les métriques secondaires sont exploratoires : chacune est marquée Se démarque ou Ne se démarque pas, jamais « significative ». Un garde-fou indique Moins bon que le témoin ou Pas moins bon selon les données. Seul un garde-fou nettement moins bon bloque un gagnant.

Face au groupe exclu

Avec un groupe exclu, une seconde carte compare chaque variante envoyée aux contacts qui n'ont rien reçu, par contact affecté. Elle montre ce que l'e-mail a apporté par rapport à l'absence d'envoi. Elle reste descriptive : la décision compare toujours les variantes au témoin.

Étapes d'interaction

Des barres séparées, une paire par étape : Cliqueurs uniques et Acheteurs, chacune rapportée à sa propre base. Ce ne sont pas les étapes d'un entonnoir. On peut acheter sans cliquer sur un lien suivi, puisque le code de réduction rattache lui aussi une commande à sa variante.

La tendance au fil de la fenêtre

La métrique principale au fil de la fenêtre, un point par analyse quotidienne. Ce graphique sert seulement à suivre. Une avance qui apparaît puis disparaît en cours de route n'est pas une preuve : le test se lit une seule fois, à la fin de la fenêtre.

Qualité des données

Lisez ce panneau avant le résultat. Ses Contrôles statistiques indiquent si le tirage, l'envoi et les données ont tenu :

• Affectations : chaque variante contient les contacts que le tirage lui a donnés.
• Ratio d'échantillon : les e-mails de chaque variante sont partis dans la proportion prévue au tirage.
• Rebonds : les taux de rebond sont comparables entre variantes. Sinon, les métriques sont calculées par e-mail envoyé plutôt que par e-mail délivré.
• Équilibre et Composition : les variantes partaient sur un pied d'égalité pour ce que l'on savait avant l'envoi, comme l'engagement et les commandes passées.
• Autres expériences : quand des contacts étaient en même temps dans une autre expérience, ce contrôle vérifie si les deux interagissent sur la métrique principale.

Le contrôle Ratio d'échantillon est le plus important. Il échoue quand le hasard produirait un tel écart entre les parts tirées et les parts envoyées moins d'une fois sur 2 000. Cela signale un problème d'envoi : un échec rend donc le résultat invalide.

Sous les contrôles viennent Moment de l'envoi (l'écart entre les départs des variantes), Échantillon et chevauchement et Délivrés (affectés, envoyés, rebonds et délivrés par variante). Suivent Codes de récompense, Commandes par règle d'attribution, et Chiffre d'affaires et promotions.

Reste de l'audience

Si l'expérience envoie une variante au reste de l'audience, cette carte montre chaque lecture de l'échantillon de test, la variante reçue par le reste et pourquoi, et le nombre d'envois. Elle n'a choisi que ce que recevait le reste de l'audience. La décision de l'expérience s'enregistre toujours sur la fenêtre complète.

Décision

Une fois votre décision enregistrée, elle s'affiche ici pour de bon, avec votre justification et les preuves fournies par l'analyse.

Ce que signifient les chiffres

Chaque comparaison comporte trois éléments :

• L'écart : le taux de la variante moins celui du témoin, en points de pourcentage. Les 5,0 % de la livraison gratuite moins les 3,7 % de la remise de 10 % donnent +1,33 point.
• L'intervalle : la plage dans laquelle se situe probablement l'écart réel. Ici, de 0,05 à 2,62 points. Il ne contient pas zéro : une amélioration réelle est donc probable, même si elle peut être faible.
• La valeur p : la fréquence à laquelle un écart aussi grand apparaîtrait si les variantes se valaient réellement. Ici, p = 0,041, sous le seuil de signification de 0,05 : l'écart est donc significatif.

Les cliqueurs uniques racontent une autre histoire. La livraison gratuite obtient 15,0 % contre 13,5 %, mais p = 0,185 et l'intervalle contient zéro. C'est une tendance, pas un résultat significatif : l'écart de clics peut venir du hasard.

La phrase de résultat prend l'une de ces formes :

• Gagnant : une variante a battu le témoin sur la métrique principale, et aucun garde-fou ne la bloque.
• Non concluant : pas assez de preuves pour choisir. C'est un résultat normal et utile. Il vous apprend que l'écart, s'il existe, est plus petit que ce que ce test pouvait voir.
• Aucune différence : chaque variante est démontrablement proche du témoin, dans la marge d'absence de différence fixée avant le verrouillage. Sans marge, un résultat plat est non concluant.
• Résultat non fiable : un contrôle de qualité des données a échoué. Consultez le panneau avant de décider.
• Trop tôt pour conclure : la fenêtre est encore ouverte.

Les résultats non concluants sont fréquents sur les petites listes. Le test de Retro Revival ne pouvait détecter de façon fiable qu'un écart d'environ 1,9 point : son résultat de 1,33 point est donc un coup de chance. Si la livraison gratuite avait obtenu 85 acheteurs au lieu de 98 (4,3 % contre 3,7 %), p vaudrait 0,29 : non concluant. La bonne suite serait alors un échantillon plus grand ou une fenêtre plus longue, dimensionnés avec le planificateur de taille d'échantillon. Pas un second regard sur les mêmes chiffres.

Pourquoi la fenêtre est fixe

Chaque coup d'œil quotidien à un test en cours donne au bruit une chance de plus de passer pour un gagnant. Arrêtez-vous au premier coup d'œil qui franchit le seuil habituel, et les faux gagnants deviennent bien plus probables. C'est pourquoi une expérience à Horizon fixe se lit une seule fois, à la fin de la fenêtre que vous avez fixée.

La statistique z de Retro Revival a fini à 2,039, au-dessus du seuil fixe de 1,96. Lu une seule fois, le résultat est significatif. Mais z a dépassé 1,96 pour la première fois au jour 5 : quelqu'un qui regardait chaque jour se serait arrêté là, sur des preuves plus faibles.

À partir du forfait Business, l'analyse Séquentielle permet de regarder pendant la fenêtre. Chaque lecture a une limite plus stricte, pour que le risque global de faux gagnant reste à votre seuil de signification. Aucune lecture n'a lieu avant qu'environ la moitié des données attendues soit arrivée, ni dans les 48 premières heures après la fin de l'envoi, et il y a au plus une lecture par jour. Sur les chiffres de Retro Revival, aucune lecture ne franchit sa limite : la dernière est à 2,056, juste au-dessus de 2,039. Si une variante la franchit plus tôt, vous pouvez enregistrer la décision avant la fin de la fenêtre.

Plusieurs variantes et plusieurs métriques

Plus il y a de comparaisons, plus l'une d'elles a de chances de bien paraître par hasard. MailInApp corrige cet effet :

• La métrique principale utilise la correction de Holm sur les variantes comparées au témoin. Ses intervalles sont élargis en conséquence : avec trois variantes en plus du témoin, chacun est affiché à 98,3 % au lieu de 95 %.
• Les métriques secondaires utilisent la méthode de Benjamini–Hochberg. Elles sont exploratoires : elles peuvent se démarquer, mais ne tranchent jamais l'expérience.
• Les garde-fous sont lus à un seuil volontairement plus souple, car manquer un vrai préjudice coûte plus cher qu'une fausse alerte.

Comparaisons ajustées

Si vous avez laissé activé Tenir compte de ce que l'on savait avant l'envoi dans les choix statistiques, les résultats affichent aussi une comparaison ajustée. Elle tient compte du score d'engagement et de l'historique d'achat de chaque contact au moment du tirage, ce qui resserre en général les intervalles. La comparaison qui décide est la comparaison ajustée quand elle a été calculée. La comparaison non ajustée est toujours affichée aussi.

Ce choix se fait avant le verrouillage, comme le reste du plan : personne ne peut donc l'activer après avoir vu quelle lecture est la plus flatteuse. L'ajustement est abandonné, pour toutes les variantes à la fois, quand une variante est trop petite ou qu'il n'y a rien à ajuster.

Métriques de revenu

Le Revenu par e-mail délivré divise le chiffre d'affaires boutique attribué à chaque variante par ses destinataires délivrés. Le chiffre d'affaires de chaque contact est plafonné à un centile élevé des acheteurs, choisi avant le verrouillage, pour qu'une seule très grosse commande ne puisse pas décider du test. Son intervalle provient d'une méthode de rééchantillonnage quand le chiffre d'affaires est trop déséquilibré pour la formule habituelle.

Chiffre d'affaires et promotions affiche l'argent par variante. Pour Retro Revival, en dollars américains :

Le chiffre d'affaires exclut les taxes et la livraison, et tient déjà compte des remises. Ce n'est pas un calcul de bénéfice.

• Le Coût promotionnel correspond aux remises des commandes, plus votre estimation du coût de livraison pris en charge pour chaque commande en livraison gratuite.
• L'Utilisation des codes est le nombre de codes utilisés sur une commande attribuée, divisé par le nombre de codes émis pour les destinataires de la variante.
• Le Panier moyen dépend de qui a acheté : il ne peut donc pas trancher l'expérience. Ici, les commandes en livraison gratuite étaient plus petites, mais plus de gens ont acheté.
• Les remboursements effectués pendant la fenêtre sur Shopify et WooCommerce sont déduits du chiffre d'affaires. Une boutique Shopify connectée avant l'arrivée des récompenses d'expérience doit d'abord être reconnectée. Les remboursements de paiements dans l'e-mail ne sont pas déduits.
• Autres devises : les commandes dans une autre devise que celle de l'expérience sont exclues du chiffre d'affaires et comptées à part.

Le revenu par destinataire délivré était plus élevé avec la livraison gratuite, mais p = 0,13 : ce n'est pas significatif à lui seul. C'est la conversion en achat, la métrique principale, qui tranche.

Les commandes sont rattachées aux variantes selon les règles d'attribution choisies, dans l'ordre : code de réduction, lien suivi, paiement dans l'e-mail, puis adresse e-mail. La première règle qui correspond l'emporte, et les suivantes ne sont pas vérifiées. La carte Commandes compte les correspondances de chaque règle, et celles par adresse e-mail sont marquées comme probables.

Récompenses différentes par variante détaille chaque règle et la création des codes.

Enregistrer une décision

Une fois la fenêtre terminée et l'analyse finale disponible, Enregistrer la décision ouvre une boîte de dialogue. Choisissez Gagnant (et la variante gagnante), Aucune différence ou Non concluant, puis rédigez votre justification. Les preuves enregistrées avec la décision viennent de l'analyse, pas du formulaire :

• Choisir une variante que l'analyse n'a pas désignée reste signalé sur le registre pour de bon : « L’analyse n’a pas désigné cette variante comme gagnante. »
• Enregistrer un gagnant sur un résultat qui a échoué à un contrôle de qualité des données, ou avant toute analyse, exige une Note de dérogation.
• Une décision enregistrée ne peut pas être modifiée.

Ensuite :

• Clôturer l’expérience rend le registre définitif. Sa configuration, ses résultats et sa décision ne peuvent plus changer. Si l'expérience a été tranchée en avance, clôturez-la une fois l'analyse finale de la fenêtre complète disponible.
• Déployer le gagnant crée un nouvel e-mail à partir de la variante gagnante, avec son contenu et son offre, son objet et son expéditeur, et la liste de contacts de l'expérience. Tous les contacts affectés par l'expérience sont exclus de chaque envoi de cet e-mail. Rien ne part tant que vous ne l'envoyez pas depuis sa page Envoi. Envoyer la version gagnante au reste de votre audience en suit un du début à la fin.
• Exporter télécharge le rapport en Rapport PDF (avec le nom de votre entreprise et votre couleur de marque à partir du forfait Business), en Tableaux CSV ou en JSON. Il ne contient que des chiffres : aucun nom ni aucune adresse.
• Expliquer demande à Mia de décrire le résultat en mots simples, à partir des seuls chiffres et libellés du rapport. Mia ne qualifie jamais un écart de significatif si l'analyse ne l'a pas fait. Chaque explication utilise une requête Mia AI.

Enregistrer la décision répond à la question de l'expérience. Envoyer le gagnant à plus de monde est une étape distincte, qui vient après.

Voir aussi

• Expériences (tests A/B)
• Tester quelle récompense vend le plus avec un test A/B de carte à gratter
• Envoyer la version gagnante au reste de votre audience
• Webhooks et événements
• Réponses et webhooks