La mayoría de las pruebas A/B en listas de correo son demasiado pequeñas para ver la diferencia que buscan. El planificador del tamaño de muestra, en el paso Audiencia del experimento, te dice antes de enviar nada cuántos contactos necesita la prueba, o la menor diferencia que tu audiencia puede mostrar con fiabilidad.
Una prueba demasiado pequeña suele terminar como "no concluyente", aunque una versión sea realmente mejor. No es un fallo de la prueba. Es señal de que la pregunta se hizo a muy pocas personas. Planificar primero te dice si conviene lanzar la prueba tal cual, probar un cambio más audaz o esperar a tener una audiencia mayor.
El ejemplo de abajo usa Retro Revival, una tienda de ropa ficticia, con cifras inventadas. Su prueba de recompensas completa tiene su propio caso de uso.
Qué necesita el planificador
Abre un experimento y ve a Audiencia y muestra. El Planificador del tamaño de muestra está bajo los recuentos de la audiencia. Planifica para la métrica principal que elegiste en el paso 1, con cuatro datos:
- La tasa esperada del control. Por ejemplo, la proporción de destinatarios entregados que compran. El planificador la rellena a partir de tu propio historial.
- Menor aumento que vale la pena detectar. La diferencia más pequeña sobre el control que cambiaría lo que haces. En una tasa se escribe en puntos: 1 punto lleva del 3,7 % al 4,7 %.
- Potencia. La probabilidad de que la prueba encuentre un aumento de ese tamaño cuando es real. Lo habitual es un 80 %; el 85 %, el 90 % y el 95 % necesitan más contactos.
- Tasa de entrega esperada. Los correos rebotados no pueden comprar, así que el planificador añade contactos para cubrirlos.
El nivel de significación viene del paso 1, y el reparto entre variantes del paso Variantes y contenido.
Parte de tu propio historial
Rara vez sabes de memoria tu tasa de partida, y una suposición suele quedar lejos. El planificador la lee de tu cuenta e indica de dónde sale cada cifra:
- Experimentos anteriores en esta lista, o si no, en tus otras listas. Cubren todas las métricas, compras e ingresos incluidos.
- Tus últimos envíos a esta lista, para una métrica principal de clics o respuestas que ningún experimento ha medido aún.
- Tus envíos de los últimos 90 días, para la tasa de entrega y las métricas de protección de bajas y quejas.
Si no hay historial para una métrica, te pide la tasa que esperas. También puedes sobrescribir cualquier cifra. Entonces aparece marcada como Tu estimación, solo para planificar, y Usar historial recupera la medida. Una tasa de partida o de entrega cambiada solo sirve para planificar. El aumento a detectar y la potencia se guardan con el experimento.
Lee la recomendación
Cuando escribes el menor aumento que vale la pena detectar, el planificador muestra la Muestra recomendada: los contactos que necesita toda la prueba y cuántos en cada variante. Si tu audiencia segmentada es lo bastante grande, lo dice. Un botón fija entonces la muestra en ese tamaño: Usar esa cantidad de contactos, o Extraer una muestra aleatoria de ellos si aún no estabas muestreando.
Si la audiencia es demasiado pequeña, lo dice sin rodeos: Esta audiencia es demasiado pequeña para detectar un aumento inferior a un número de puntos. Esa cifra es el tamaño honesto de tu prueba. Una diferencia real más pequeña podría pasar fácilmente inadvertida. Planificar para esa cifra ajusta el plan a ella.
Contactos por variante
| Menor diferencia detectable | Contactos por variante |
|---|---|
| 1,0 pts | 6444 |
| 1,5 pts | 3027 |
| 2,0 pts | 1793 |
| 2,5 pts | 1206 |
| 3,0 pts | 877 |
La curva muestra el compromiso. Reducir a la mitad la diferencia que quieres detectar multiplica casi por cuatro los contactos que necesita cada variante. La tasa de compra de Retro Revival era del 3,7 %, con un 98 % de entrega y un 80 % de potencia:
| Menor aumento a detectar | Contactos por variante |
|---|---|
| 1 punto | 6444 |
| 1,3 puntos | 3943 |
| 1,5 puntos | 3027 |
| 2 puntos | 1793 |
| 3 puntos | 877 |
Retro Revival esperaba que el envío gratis subiera las compras 1,3 puntos, lo que exige 3943 contactos por variante. Tenía 4000 en total, es decir, 2000 por variante. Con esa muestra, el planificador indica que el menor aumento detectable con fiabilidad es de unos 1,9 puntos. El equipo lanzó la prueba de todos modos, sabiendo que una diferencia real más pequeña podía pasar inadvertida.
Cuando la prueba necesita más contactos
Algunas decisiones elevan la cifra, y el planificador dice cuál es la responsable:
- Más variantes. Cada variante se compara con el control con un nivel más estricto, para que el conjunto de comparaciones mantenga tu nivel de significación. Tres variantes necesitan más contactos por variante que dos.
- Un reparto desigual. Un grupo de exclusión pequeño o un control grande hacen que cada comparación cueste más que un reparto equilibrado.
- Márgenes en las métricas de protección. Una métrica de protección con margen puede necesitar más contactos que la métrica principal. El planificador dimensiona entonces la prueba según ella.
- Análisis secuencial (plan Business en adelante). Mirar el resultado mientras corre la ventana necesita más contactos que una sola lectura al final. El planificador dice cuántos más.
Una muestra de prueba más pequeña: Test & Roll
A veces no necesitas una prueba, solo la mejor opción para el resto de tu lista. Enviar el resultado al resto con la política Enviar la líder (política de rentabilidad) envía a todos los demás la variante que va mejor tras una prueba corta.
Para esa política, el planificador puede sugerir una Muestra de prueba óptima para la rentabilidad (Test & Roll). Pondera cuánto variaron los resultados en tus experimentos anteriores frente a lo que puede ganar el resto de la lista. Necesita al menos dos experimentos anteriores, y dos variantes sin grupo de exclusión. La muestra suele ser mucho menor que la recomendada. Es una decisión de rentabilidad: una muestra de ese tamaño suele ser demasiado pequeña para encontrar un ganador significativo.
El plan queda fijado al bloquear
El aumento a detectar y la potencia se guardan con el experimento y quedan fijados al bloquearlo, con el resto del prerregistro. Más tarde, la página de resultados indica la menor diferencia que la prueba terminada podía detectar con fiabilidad. Si la prueba termina no concluyente, esa cifra te dice si una diferencia real pudo pasar inadvertida.
¿Y una prueba rápida de asunto?
Un envío A/B simple desde la página de envío no tiene planificador, y no fija nada de antemano. Para un asunto que importa, como un recordatorio de renovación, lánzalo como experimento y planifícalo sobre la tasa de clics en vez de las aperturas. La Protección de privacidad de Mail de Apple infla las aperturas, así que son una mala métrica principal.
Variante A (control)
Asunto
The October restock is here
Variante B
Asunto
Back in stock: the 3 cameras you asked for
Los clics son mucho más frecuentes que las compras, así que una prueba de asunto suele necesitar muchos menos contactos que una prueba de recompensa. Tu propio historial de clics en los envíos recientes a la lista rellena la tasa de partida.
Primeros pasos
Crea un experimento con Ejecutar como experimento desde la página de envío de un correo. Elige la métrica principal en Hipótesis y métricas y abre el Planificador del tamaño de muestra en Audiencia y muestra. Comprueba de dónde sale la tasa de partida, escribe el menor aumento por el que actuarías y dimensiona la muestra antes de bloquear. Experimentos (pruebas A/B) recorre cada paso.