¿Un nuevo usuario de prueba debería recibir un correo breve que lo lleve al producto, o una visita guiada de varios días? Un experimento de recorrido lo responde con tus propios registros. A cada contacto nuevo se le asigna un camino en la división y lo conserva, y el paso de objetivo cuenta quién empezó a usar el producto. Cuando llega el resultado, decides tú, y eres tú quien envía a todos por el camino ganador.
Esta guía sigue a Darkroom Cloud, una aplicación ficticia para guardar fotos, y todas las cifras son inventadas. Es el tipo de prueba que encaja mejor en un recorrido que en un solo envío. Las dos versiones difieren en más de un correo, y los contactos nuevos llegan cada día, no todos a la vez.
Conoce Darkroom Cloud
Darkroom Cloud guarda y organiza las bibliotecas de fotógrafos. Su prueba gratuita dura 14 días, y el equipo sabe algo sobre quién se queda: quienes suben un primer álbum pronto suelen seguir usándolo. Unas 140 personas empiezan una prueba cada día.
Cada registro llega a una lista de contactos Pruebas gratuitas a través de la API, y un recorrido empieza con el disparador Un contacto se une a una lista en esa lista. El equipo quería saber qué bienvenida consigue que más usuarios nuevos suban un primer álbum en una semana.
Dos caminos tras una división
El primer paso del recorrido es una división con dos caminos:
- Camino 1, Inicio rápido (el control): un correo con un solo botón, "Upload your first album", luego una espera de 6 días y un paso de objetivo.
- Camino 2, Visita guiada: un correo que pregunta qué fotografías más con un bloque de Encuesta y abre la visita desde ahí, una espera de 2 días, un segundo correo con consejos para ese tipo de fotografía, una espera de 4 días y un paso de objetivo.
Camino 1 · Inicio rápido (control)
Asunto
Your first album in two minutes
Camino 2 · Visita guiada
Asunto
Let's set up Darkroom Cloud together
La regla del paso de objetivo es "first_album es yes". La aplicación rellena ese campo del contacto a través de la API en cuanto alguien sube un álbum. Un paso de objetivo comprueba su regla cuando el contacto llega a él, así que ambos caminos terminan con uno, 6 días después de la división. Eso queda dentro de la ventana de 7 días de cada contacto, así que los dos caminos se miden en el mismo punto.
Elige "Hacer un experimento"
En la división, Reparto ofrece tres modos. Proporciones fijas mantiene los pesos que fijas y no mide nada. Maximizar un resultado (optimización) envía más contactos al camino que mejor convierte a medida que llegan resultados. Hacer un experimento (prueba prerregistrada) mantiene fijas las proporciones y te da un resultado en el que puedes confiar.
- Camino 1
- Camino 2
Día 0
Día 2
Día 7
Día 21
Las proporciones que fijaste, mientras el recorrido esté activo. No se compara nada.
| Momento | Camino 1 | Camino 2 |
|---|---|---|
| Día 0 | 50 % | 50 % |
| Día 2 | 50 % | 50 % |
| Día 7 | 50 % | 50 % |
| Día 21 | 50 % | 50 % |
| Momento | Camino 1 | Camino 2 |
|---|---|---|
| Día 0 | 50 % | 50 % |
| Día 2 | 19 % | 81 % |
| Día 7 | 12 % | 88 % |
| Día 21 | 8 % | 92 % |
| Momento | Camino 1 | Camino 2 |
|---|---|---|
| Inscripción, 20 días | 50 % | 50 % |
| Tras la decisión | 0 % | 100 % |
Maximizar resulta tentador, porque habría enviado a la mayoría de los usuarios nuevos por el mejor camino en pocos días. Pero nunca da una comparación justa ni nombra un ganador, así que el equipo nunca sabría cuánto mejor es la visita guiada, ni siquiera si es mejor. Querían esa respuesta antes de cambiar su bienvenida para siempre, así que eligieron el experimento.
Prerregistra la pregunta
Configurar el experimento abre cuatro pasos. En Hipótesis y métricas, el equipo escribió: "Una visita guiada consigue que más usuarios nuevos suban un primer álbum en una semana que un correo de inicio rápido. Los usuarios nuevos necesitan que los acompañen". Luego fijaron las métricas:
- Tasa de objetivo como métrica principal: la parte de los contactos que llegaron a la división cuyo recorrido terminó en un paso de objetivo dentro de su ventana. Necesita un paso de objetivo después de la división, y ambos caminos lo tienen.
- Tasa de clics únicos como métrica secundaria, para explicar el resultado sin decidirlo.
- Tasa de bajas como métrica de protección, para detectar un ganador que aleje a la gente.
En Variantes y contenido, las variantes son los caminos de la división en orden. El equipo las llamó "Inicio rápido" y "Visita guiada", dejó el camino 1 como control y mantuvo las proporciones al 50% cada una.
Calcula cuánto tiempo inscribir
En Programación y ventana, la Ventana de cada contacto se fija en 168 horas: los resultados de cada contacto cuentan durante 7 días desde el momento en que llega a la división.
Cuánto tiempo inscribir leyó los últimos 28 días del recorrido. En ese tiempo, 3.920 contactos llegaron a la división, 140 al día, y el 30% de los que ya habían terminado su ventana alcanzó un objetivo. El equipo indicó como Menor aumento que vale la pena detectar 5 puntos porcentuales, con una potencia del 80%. El planificador mostró entonces:
- Contactos que deben llegar a la división: 2.754, o 1.377 por camino.
- Inscripción recomendada: 20 días. Con 140 contactos al día, cada camino alcanza su muestra en 19,7 días. Después corre la ventana de 7 días de cada contacto, así que los resultados finales llegan unos 27 días después del lanzamiento.
Usar 20 días fijó la inscripción. Revisar y bloquear lo congeló todo, y el equipo lo lanzó.
Mientras se inscriben contactos
Desde el lanzamiento, cada contacto que llega a la división en los 20 días siguientes recibe un camino y lo conserva, aunque vuelva a registrarse más adelante. Pasados esos 20 días, la división vuelve a sus pesos. Cada contacto solo cuenta cuando termina su propia ventana. Hasta entonces, la página de resultados lo indica como Aún dentro de su ventana.
A mitad de camino, el equipo quiso reescribir el segundo correo de la visita guiada. El editor mostró un aviso en ese paso: estaba en los caminos de un experimento en curso, y cualquier cambio quedaría registrado. Los cambios están permitidos, pero cada uno aparece con su fecha en Cambios durante el experimento, porque los contactos de antes y de después recibieron versiones distintas. El equipo decidió esperar a que terminara el experimento.
Tampoco se puede eliminar el recorrido mientras su experimento está en observación. Eso protege a los contactos ya asignados y los resultados que producirán.
Lee el resultado
El análisis final llegó una ventana después del fin de la inscripción. 2.800 contactos habían llegado a la división: 1.412 en el inicio rápido y 1.388 en la visita guiada. La comprobación Proporción de la muestra se superó (p = 0,65): cada camino recibió la parte de los contactos que le correspondía.
Los resultados contaron a todos los que llegaron a la división, pasara lo que pasara después: es la intención de tratar. Un contacto cuyo correo de la visita rebotó sigue contando en la visita guiada. Eso mantiene justa la comparación.
La métrica principal:
| Camino | Llegaron a la división | Alcanzaron un objetivo | Tasa de objetivo |
|---|---|---|---|
| Camino 1, Inicio rápido (control) | 1.412 | 424 | 30,0% |
| Camino 2, Visita guiada | 1.388 | 487 | 35,1% |
La tasa de objetivo de la visita guiada fue 5,1 puntos más alta, probablemente entre 1,6 y 8,5 puntos (p = 0,004). El resultado indica Significativo. Con tantos contactos, la prueba podía detectar con fiabilidad una diferencia de unos 5,0 puntos, que es el aumento que el equipo había planificado.
Las demás cifras lo explican sin decidirlo. La tasa de clics únicos de la visita guiada fue del 60% frente al 56%, pero es una métrica secundaria, que se lee como exploratoria. La métrica de protección de bajas fue del 1,5% frente al 1,3%, No se demuestra que sea peor, así que nada bloqueó al ganador.
Registra la decisión y luego envía a todos por el camino 2
El experimento termina con una decisión que registra el equipo. Registrar decisión pidió el resultado, la variante ganadora y una justificación. Eligieron Ganador, la visita guiada, y explicaron por qué. La evidencia registrada con ella, "significativo", viene del análisis, no del formulario.
Registrar la decisión no cambia nada en el recorrido. Sí apareció un botón nuevo, en la página de resultados y en la división: Enviar a todos por la ruta 2. Su diálogo explicaba lo que hace: desde ahora, cada contacto que llega a la división va por el camino 2. También repetía la evidencia: "El análisis señaló este brazo como ganador: la diferencia es significativa." Los resultados no cambian, porque todos los ya asignados siguen en su variante.
El equipo hizo clic. El lienzo muestra ahora "Todos → ruta 2 (ganador del experimento)", con 100% y 0% en los dos caminos. Deshacer devolvería la división a sus pesos. Sin ese clic no habría pasado nada.
¿Y si no hubiera sido significativo?
Supongamos que la visita guiada hubiera quedado solo un poco por delante, sin ser significativa. El equipo podría registrar No concluyente y dejar la división como está, o hacer un experimento más largo. Es un resultado normal: dice que una diferencia tan pequeña no se puede distinguir con tantos registros.
También podrían registrar un ganador de todos modos. El registro dice entonces, para siempre, que el análisis no señaló esa variante. Enviar a todos por la ruta N sigue funcionando, pero su diálogo avisa: "No significativo: el análisis no señaló este brazo como ganador, así que la decisión es tuya."
Primeros pasos
Pon una división al principio de tu recorrido, con un camino por versión, y termina cada camino con un paso de objetivo dentro de la ventana que planeas. Elige Hacer un experimento (prueba prerregistrada), luego Configurar el experimento, y deja que Cuánto tiempo inscribir fije la inscripción. Experimentos dentro de los recorridos explica cada paso, y el paso de división compara los tres modos de reparto.