La plupart des tests A/B sur des listes d'e-mails sont trop petits pour voir l'écart qu'ils cherchent. Le planificateur de taille d'échantillon, à l'étape Audience d'une expérience, vous dit avant tout envoi combien de contacts il faut au test, ou le plus petit écart que votre audience peut montrer de façon fiable.
Un test trop petit se termine le plus souvent « non concluant », même quand une version est vraiment meilleure. Ce n'est pas un échec du test. C'est le signe que la question a été posée à trop peu de personnes. Planifier d'abord vous indique s'il faut lancer le test tel quel, tester un changement plus marqué ou attendre une audience plus grande.
L'exemple ci-dessous suit Retro Revival, une boutique de vêtements fictive, avec des chiffres inventés. Son test de récompenses complet fait l'objet d'un cas d'usage à part.
Ce dont le planificateur a besoin
Ouvrez une expérience et allez à Audience et échantillon. Le Planificateur de taille d'échantillon se trouve sous les décomptes de l'audience. Il planifie pour la métrique principale choisie à l'étape 1, avec quatre données :
- Le taux attendu du témoin. Par exemple, la part des destinataires délivrés qui achètent. Le planificateur le remplit à partir de votre propre historique.
- Plus petite hausse qui mérite d'être détectée. Le plus petit écart par rapport au témoin qui changerait votre décision. Pour un taux, il s'écrit en points : 1 point fait passer de 3,7 % à 4,7 %.
- Puissance. La probabilité que le test trouve une hausse de cette taille quand elle est réelle. 80 % est le choix habituel ; 85 %, 90 % et 95 % demandent plus de contacts.
- Taux de remise attendu. Un e-mail rejeté ne peut pas acheter, donc le planificateur ajoute des contacts pour couvrir les rebonds.
Le seuil de significativité vient de l'étape 1, et la répartition entre variantes de l'étape Variantes et contenu.
Partez de votre propre historique
On connaît rarement son taux de référence par cœur, et une estimation au jugé tombe souvent loin. Le planificateur le lit dans votre compte et dit d'où vient chaque chiffre :
- Les expériences passées sur cette liste, sinon sur vos autres listes. Elles couvrent toutes les métriques, achats et revenus compris.
- Vos derniers envois à cette liste, pour une métrique principale de clics ou de réponses qu'aucune expérience n'a encore mesurée.
- Vos envois des 90 derniers jours, pour le taux de remise et les garde-fous de désabonnements et de plaintes.
Sans historique pour une métrique, il vous demande le taux attendu. Vous pouvez aussi remplacer n'importe quel chiffre. Il est alors marqué Votre estimation, pour la planification uniquement, et Utiliser l'historique remet la valeur mesurée. Un taux de référence ou de remise modifié ne sert qu'à planifier. La hausse à détecter et la puissance sont enregistrées avec l'expérience.
Lisez la recommandation
Dès que vous saisissez la plus petite hausse qui mérite d'être détectée, le planificateur affiche l'Échantillon recommandé : les contacts nécessaires à tout le test, et combien par variante. Si votre audience ciblée est assez grande, il le dit. Un bouton règle alors l'échantillon sur cette taille : Utiliser ce nombre de contacts, ou Tirer un échantillon aléatoire si vous n'échantillonniez pas encore.
Si l'audience est trop petite, il le dit clairement : Cette audience est trop petite pour détecter une hausse inférieure à un certain nombre de points. Ce chiffre est la taille honnête de votre test. Un écart réel plus petit pourrait facilement passer inaperçu. Planifier pour ce chiffre met le plan à jour.
Contacts par variante
| Plus petit écart détectable | Contacts par variante |
|---|---|
| 1,0 pts | 6 444 |
| 1,5 pts | 3 027 |
| 2,0 pts | 1 793 |
| 2,5 pts | 1 206 |
| 3,0 pts | 877 |
La courbe montre le compromis. Diviser par deux l'écart à détecter multiplie presque par quatre les contacts nécessaires à chaque variante. Le taux d'achat de Retro Revival était de 3,7 %, avec 98 % de remise et 80 % de puissance :
| Plus petite hausse à détecter | Contacts par variante |
|---|---|
| 1 point | 6 444 |
| 1,3 point | 3 943 |
| 1,5 point | 3 027 |
| 2 points | 1 793 |
| 3 points | 877 |
Retro Revival espérait que la livraison gratuite ferait monter les achats de 1,3 point, ce qui demande 3 943 contacts par variante. Elle en avait 4 000 au total, soit 2 000 par variante. Avec cet échantillon, le planificateur indique une plus petite hausse détectable de façon fiable d'environ 1,9 point. L'équipe a lancé le test malgré tout, en sachant qu'un écart réel plus petit pouvait passer inaperçu.
Quand le test demande plus de contacts
Certains choix font monter le chiffre, et le planificateur dit lequel :
- Plus de variantes. Chaque variante est comparée au témoin avec un seuil plus strict, pour que l'ensemble des comparaisons respecte votre seuil de significativité. Trois variantes demandent plus de contacts par variante que deux.
- Une répartition inégale. Un petit groupe exclu ou un grand témoin rend chaque comparaison plus coûteuse qu'une répartition égale.
- Des marges sur les garde-fous. Un garde-fou avec une marge peut demander plus de contacts que la métrique principale. Le planificateur dimensionne alors le test d'après lui.
- L'analyse séquentielle (offre Business et au-delà). Regarder le résultat pendant la fenêtre demande plus de contacts qu'une seule lecture à la fin. Le planificateur dit combien de plus.
Un échantillon de test plus petit : Test & Roll
Parfois, vous n'avez pas besoin d'une preuve, seulement du meilleur choix pour le reste de votre liste. Envoyer le résultat au reste avec la règle Envoyer la variante en tête (règle de rentabilité) envoie à tous les autres la variante qui semble la meilleure après un court test.
Pour cette règle, le planificateur peut proposer un Échantillon de test optimal pour la rentabilité (Test & Roll). Il met en balance la variation des résultats dans vos expériences passées et ce que le reste de la liste peut y gagner. Il lui faut au moins deux expériences passées, et deux variantes sans groupe exclu. L'échantillon est en général bien plus petit que l'échantillon recommandé. C'est un choix de rentabilité : un échantillon de cette taille est le plus souvent trop petit pour trouver un gagnant significatif.
Le plan est figé au verrouillage
La hausse à détecter et la puissance sont enregistrées avec l'expérience et figées au verrouillage, avec le reste du pré-enregistrement. La page de résultats indique ensuite le plus petit écart que le test terminé pouvait détecter de façon fiable. Si le test se termine non concluant, ce chiffre vous dit si un écart réel a pu passer inaperçu.
Et un test rapide d'objet ?
Un simple envoi A/B depuis la page Envoi n'a pas de planificateur, et rien n'y est fixé à l'avance. Pour un objet qui compte, comme un rappel de renouvellement, lancez-le comme expérience et planifiez-le sur le taux de clics plutôt que sur les ouvertures. La protection de la confidentialité de Mail d'Apple gonfle les ouvertures, qui font donc une mauvaise métrique principale.
Variante A (témoin)
Objet
The October restock is here
Variante B
Objet
Back in stock: the 3 cameras you asked for
Les clics sont bien plus fréquents que les achats, donc un test d'objet demande en général beaucoup moins de contacts qu'un test de récompense. Votre propre historique de clics sur les derniers envois à la liste remplit le taux de référence.
Pour commencer
Créez une expérience avec Lancer comme expérience depuis la page Envoi d'un e-mail. Choisissez la métrique principale dans Hypothèse et métriques, puis ouvrez le Planificateur de taille d'échantillon dans Audience et échantillon. Vérifiez d'où vient le taux de référence, saisissez la plus petite hausse qui vous ferait agir, et dimensionnez l'échantillon avant de verrouiller. Expériences (tests A/B) détaille chaque étape.