Un nouvel utilisateur en essai doit-il recevoir un e-mail court qui l'emmène dans le produit, ou une visite guidée sur plusieurs jours ? Une expérience de parcours répond à la question avec vos propres inscriptions. Chaque nouveau contact reçoit un chemin à la répartition et le garde, et l'étape objectif compte qui s'est lancé. Quand le résultat arrive, c'est vous qui décidez, et vous qui envoyez tout le monde sur le chemin gagnant.
Ce guide suit Darkroom Cloud, une application fictive de stockage de photos, et tous les chiffres sont inventés. C'est le genre de test qui convient mieux à un parcours qu'à un envoi unique. Les deux versions diffèrent sur plus d'un e-mail, et les nouveaux contacts arrivent chaque jour, pas tous en même temps.
Voici Darkroom Cloud
Darkroom Cloud stocke et organise les photothèques des photographes. Son essai gratuit dure 14 jours, et l'équipe sait une chose sur ceux qui restent : les personnes qui importent un premier album tôt continuent souvent à l'utiliser. Environ 140 personnes commencent un essai chaque jour.
Chaque inscription arrive dans une liste de contacts Essais gratuits par l'API, et un parcours démarre avec le déclencheur Un contact rejoint une liste sur cette liste. L'équipe voulait savoir quel accueil amène le plus de nouveaux utilisateurs à importer un premier album dans la semaine.
Deux chemins après une répartition
La première étape du parcours est une répartition à deux chemins :
- Chemin 1, Démarrage rapide (le témoin) : un e-mail avec un seul bouton, « Upload your first album », puis une attente de 6 jours et une étape objectif.
- Chemin 2, Visite guidée : un e-mail qui demande ce que vous photographiez le plus avec un bloc Sondage et lance la visite à partir de là, une attente de 2 jours, un second e-mail avec des conseils pour ce type de photo, une attente de 4 jours et une étape objectif.
Branche 1 · Démarrage rapide (témoin)
Objet
Your first album in two minutes
Branche 2 · Visite guidée
Objet
Let's set up Darkroom Cloud together
La règle de l'étape objectif est « first_album vaut yes ». L'application renseigne ce champ du contact par l'API dès qu'une personne importe un album. Une étape objectif vérifie sa règle quand un contact l'atteint, donc les deux chemins se terminent par une, 6 jours après la répartition. C'est dans la fenêtre de 7 jours de chaque contact, si bien que les deux chemins sont mesurés au même moment.
Choisir « Mener une expérience »
Sur la répartition, Répartition propose trois modes. Parts fixes garde les poids que vous fixez et ne mesure rien. Maximiser un résultat (optimisation) envoie davantage de contacts vers le chemin qui convertit le mieux à mesure que les résultats arrivent. Mener une expérience (test préenregistré) garde les parts fixes et vous donne un résultat fiable.
- Branche 1
- Branche 2
Jour 0
Jour 2
Jour 7
Jour 21
Les parts que vous avez fixées, tant que le parcours tourne. Rien n'est comparé.
| Moment | Branche 1 | Branche 2 |
|---|---|---|
| Jour 0 | 50 % | 50 % |
| Jour 2 | 50 % | 50 % |
| Jour 7 | 50 % | 50 % |
| Jour 21 | 50 % | 50 % |
| Moment | Branche 1 | Branche 2 |
|---|---|---|
| Jour 0 | 50 % | 50 % |
| Jour 2 | 19 % | 81 % |
| Jour 7 | 12 % | 88 % |
| Jour 21 | 8 % | 92 % |
| Moment | Branche 1 | Branche 2 |
|---|---|---|
| Inscription, 20 jours | 50 % | 50 % |
| Après la décision | 0 % | 100 % |
Maximiser est tentant, puisque la plupart des nouveaux utilisateurs seraient passés par le meilleur chemin en quelques jours. Mais cela ne donne jamais de comparaison équitable ni de gagnant : l'équipe n'aurait jamais su de combien la visite guidée est meilleure, ni même si elle l'est. Elle voulait cette réponse avant de changer son accueil pour de bon, et a donc choisi l'expérience.
Préenregistrer la question
Configurer l'expérience ouvre quatre étapes. Dans Hypothèse et métriques, l'équipe a écrit son hypothèse : « Une visite guidée amène plus de nouveaux utilisateurs à importer un premier album dans la semaine qu'un e-mail de démarrage rapide. Les nouveaux utilisateurs ont besoin d'être accompagnés. » Elle a ensuite fixé les indicateurs :
- Taux d'objectif comme indicateur principal : la part des contacts ayant atteint la répartition dont le parcours s'est terminé à une étape objectif dans leur fenêtre. Il demande une étape objectif après la répartition, ce que les deux chemins ont.
- Taux de clic unique comme indicateur secondaire, pour expliquer le résultat sans le décider.
- Taux de désabonnement comme garde-fou, pour repérer un gagnant qui ferait fuir les gens.
Dans Variantes et contenu, les variantes sont les chemins de la répartition, dans l'ordre. L'équipe les a nommées « Démarrage rapide » et « Visite guidée », a gardé le chemin 1 comme témoin et a laissé les parts à 50 % chacune.
Calculer la durée d'inscription
Dans Planification et fenêtre, la Fenêtre de chaque contact est réglée sur 168 heures : les résultats de chaque contact comptent pendant 7 jours à partir du moment où il atteint la répartition.
Durée d'inscription a lu les 28 derniers jours du parcours. Sur cette période, 3 920 contacts ont atteint la répartition, soit 140 par jour, et 30 % de ceux dont la fenêtre était terminée ont atteint un objectif. L'équipe a demandé une Plus petite hausse qui mérite d'être détectée de 5 points de pourcentage, avec une puissance de 80 %. Le planificateur a alors affiché :
- Contacts devant atteindre la répartition : 2 754, soit 1 377 par chemin.
- Inscription recommandée : 20 jours. À 140 contacts par jour, chaque chemin atteint son échantillon en 19,7 jours. Ensuite court la fenêtre de 7 jours de chaque contact : les résultats finaux arrivent environ 27 jours après le lancement.
Utiliser 20 jours a fixé les inscriptions. Vérification et verrouillage a tout figé, et l'équipe a lancé l'expérience.
Pendant les inscriptions
Dès le lancement, chaque contact qui atteint la répartition dans les 20 jours suivants reçoit un chemin et le garde, même s'il se réinscrit plus tard. Après ces 20 jours, la répartition revient à ses poids. Chaque contact ne compte qu'une fois sa propre fenêtre terminée. D'ici là, la page de résultats l'indique comme Encore dans leur fenêtre.
À mi-parcours, l'équipe a voulu reformuler le second e-mail de la visite guidée. L'éditeur a affiché un avis sur cette étape : elle se trouvait sur les chemins d'une expérience en cours, et toute modification serait consignée. Les modifications sont permises, mais chacune est listée avec sa date dans Modifications pendant l'expérience, car les contacts d'avant et d'après ont reçu des versions différentes. L'équipe a préféré attendre la fin de l'expérience.
Le parcours ne peut pas non plus être supprimé tant que son expérience est en observation. Cela protège les contacts déjà attribués et les résultats qu'ils vont produire.
Lire le résultat
L'analyse finale est arrivée une fenêtre après la fin des inscriptions. 2 800 contacts avaient atteint la répartition : 1 412 sur le démarrage rapide et 1 388 sur la visite guidée. La vérification Ratio d'échantillon a réussi (p = 0,65) : chaque chemin a reçu la part de contacts prévue.
Les résultats ont compté toutes les personnes ayant atteint la répartition, quoi qu'il arrive ensuite : c'est l'intention de traiter. Un contact dont l'e-mail de la visite a été rejeté compte toujours dans la visite guidée. Cela garde la comparaison équitable.
L'indicateur principal :
| Chemin | Ont atteint la répartition | Objectif atteint | Taux d'objectif |
|---|---|---|---|
| Chemin 1, Démarrage rapide (témoin) | 1 412 | 424 | 30,0 % |
| Chemin 2, Visite guidée | 1 388 | 487 | 35,1 % |
Le taux d'objectif de la visite guidée était supérieur de 5,1 points, probablement entre 1,6 et 8,5 points (p = 0,004). Le résultat indique Significatif. Avec autant de contacts, le test pouvait détecter de façon fiable un écart d'environ 5,0 points, soit la hausse que l'équipe avait prévue.
Les autres chiffres l'expliquent sans le décider. Le taux de clic unique de la visite guidée était de 60 % contre 56 %, mais c'est un indicateur secondaire, lu comme exploratoire. Le garde-fou des désabonnements était de 1,5 % contre 1,3 %, Pas moins bon selon les données, donc rien n'a bloqué le gagnant.
Enregistrer la décision, puis envoyer tout le monde sur le chemin 2
L'expérience se termine par une décision que l'équipe enregistre. Enregistrer la décision a demandé le résultat, la variante gagnante et une justification. L'équipe a choisi Gagnant, la visite guidée, et a expliqué pourquoi. Le niveau de preuve enregistré avec elle, « significatif », vient de l'analyse, pas du formulaire.
Enregistrer la décision ne change rien dans le parcours. Un nouveau bouton est en revanche apparu, sur la page de résultats et sur la répartition : Envoyer tout le monde sur le chemin 2. Sa boîte de dialogue disait ce qu'il fait : désormais, chaque contact qui atteint la répartition part sur le chemin 2. Elle rappelait aussi le niveau de preuve : « L'analyse a désigné cette variante comme gagnante : la différence est significative. » Les résultats ne changent pas, puisque toutes les personnes déjà attribuées restent dans leur variante.
L'équipe a cliqué. Le canevas affiche maintenant « Tout le monde → chemin 2 (gagnant de l'expérience) », avec 100 % et 0 % sur les deux chemins. Annuler remettrait la répartition selon ses poids. Sans ce clic, rien ne se serait passé.
Et si ce n'avait pas été significatif ?
Imaginons que la visite guidée n'ait été que légèrement devant, sans être significative. L'équipe pourrait enregistrer Non concluant et laisser la répartition telle quelle, ou mener une expérience plus longue. C'est un résultat normal : il dit qu'un écart aussi petit ne se distingue pas sur autant d'inscriptions.
Elle pourrait aussi enregistrer un gagnant malgré tout. Le dossier indique alors, pour toujours, que l'analyse n'a pas désigné cette variante. Envoyer tout le monde sur le chemin N fonctionne toujours, mais sa boîte de dialogue prévient : « Non significatif : l'analyse n'a pas désigné cette variante comme gagnante, la décision vous appartient. »
Pour commencer
Placez une répartition au début de votre parcours, avec un chemin par version, et terminez chaque chemin par une étape objectif dans la fenêtre que vous prévoyez. Choisissez Mener une expérience (test préenregistré), puis Configurer l'expérience, et laissez Durée d'inscription fixer les inscriptions. Expériences dans les parcours détaille chaque étape, et l'étape de répartition compare les trois modes de répartition.