Interpretar los resultados de un experimento

Un experimento termina con una decisión que registras tú. La página de resultados te da lo que necesitas para tomarla: la diferencia entre las variantes, cuánta seguridad puedes tener en ella y si el propio envío fue justo. Esta página la recorre panel a panel y después explica qué significan las cifras.

Los ejemplos usan Retro Revival, una tienda de ropa ficticia, con cifras inventadas. Su control, la variante A, ofrecía un 10 % de descuento. La variante B ofrecía envío gratis. El correo de cada variante se entregó a 1960 destinatarios, y la métrica principal era la conversión en compra.

Dónde encontrar los resultados

Los resultados de cada experimento están en los Insights de su correo, en Experimentos. Desde la lista de Experimentos, el menú de cada fila tiene Resultados en Insights. Los primeros resultados aparecen tras el primer análisis, que se ejecuta cuando termina el envío. Mientras la ventana está abierta, la página indica que los resultados son provisionales: no decidas antes de que termine.

La cabecera muestra el estado, la ventana, la evidencia hasta el momento y las acciones: Explicar, Exportar, Registrar decisión, Cerrar experimento y Desplegar ganador, cada una cuando corresponde.

La página de resultados, panel a panel

Prerregistro

Lo que fijaste al bloquear: la hipótesis, las métricas y su papel, el nivel de significación, las variantes, la muestra y las opciones estadísticas. Está ahí para que cualquiera que lea el resultado pueda comprobar que responde a la pregunta que se planteó.

Resultados

La tarjeta de la métrica principal muestra cada variante menos el control, con su intervalo, su valor p ajustado por Holm y un veredicto: Significativo, No significativo o Significativo: el control lo hizo mejor. Debajo, una frase explica en palabras sencillas qué significa el resultado. Termina con la menor diferencia detectable: el tamaño de la diferencia que esta cantidad de destinatarios podía detectar con fiabilidad.

En Retro Revival, la frase dice que el envío gratis rindió 1,33 puntos mejor que el 10 % de descuento (5,0 % frente a 3,7 %). La mejora real probablemente está entre 0,05 y 2,62 puntos. Una diferencia así sería inusual si ambas rindieran igual.

Las métricas secundarias y las de protección están en la tabla de abajo, Métricas secundarias y salvaguardas. Las métricas secundarias son exploratorias: cada una se marca como Destaca o No destaca, nunca como "significativa". Una métrica de protección indica Peor que el control o No se demuestra que sea peor. Solo una métrica de protección claramente peor bloquea a una ganadora.

Frente al grupo de exclusión

Con un grupo de exclusión, una segunda tarjeta compara cada variante enviada con los contactos que no recibieron nada, por contacto asignado. Muestra lo que el correo aportó frente a no enviar nada. Es descriptiva: la decisión sigue comparando las variantes con el control.

Etapas de interacción

Barras separadas, un par por etapa: Personas únicas que hicieron clic y Compradores, cada una como parte de su propia base. No son pasos de un embudo. Se puede comprar sin hacer clic en un enlace con seguimiento, ya que el código de descuento también vincula un pedido a su variante.

La tendencia durante la ventana

La métrica principal a lo largo de la ventana, un punto por análisis diario. Es solo para seguimiento. Una ventaja que va y viene por el camino no es evidencia: la prueba se lee una sola vez, cuando termina la ventana.

Calidad de los datos

Lee este panel antes del resultado. Sus Comprobaciones estadísticas indican si la extracción, el envío y los datos resistieron:

• Asignaciones: cada variante contiene los contactos que le asignó la extracción.
• Proporción de la muestra: los correos de cada variante salieron en la proporción para la que se extrajo.
• Rebotes: las tasas de rebote son similares entre variantes. Si no lo son, las métricas se cuentan por correo enviado en lugar de por correo entregado.
• Equilibrio y Composición: las variantes empezaron igual en lo que se sabía antes del envío, como la interacción y los pedidos anteriores.
• Otros experimentos: cuando había contactos en otro experimento al mismo tiempo, si los dos interactúan en la métrica principal.

La comprobación de Proporción de la muestra es la más importante. Falla cuando el azar produciría una diferencia así de grande entre las proporciones extraídas y las enviadas menos de una vez de cada 2000. Eso apunta a un problema de envío, así que una comprobación fallida marca el resultado como no válido.

Debajo de las comprobaciones están Momento del envío (cuánto se separaron las variantes al salir), Muestra y solapamiento y Entregados (asignados, enviados, rebotados y entregados por variante). Les siguen Códigos de recompensa, Pedidos por regla de atribución e Ingresos y promociones.

Resto de la audiencia

Si el experimento envía una variante al resto de la audiencia, esta tarjeta muestra cada lectura de la muestra de prueba, qué variante recibió el resto y por qué, y cuántos correos se enviaron. Solo eligió lo que recibió el resto de la audiencia. La decisión del propio experimento se sigue registrando sobre toda la ventana.

Decisión

Cuando registras una decisión, aparece aquí para siempre, con tu justificación y la evidencia que le dio el análisis.

Qué significan las cifras

Cada comparación tiene tres partes:

• La diferencia: la tasa de la variante menos la del control, en puntos porcentuales. El 5,0 % del envío gratis menos el 3,7 % del 10 % de descuento da +1,33 puntos.
• El intervalo: el rango en el que probablemente está la diferencia real. Aquí va de 0,05 a 2,62 puntos. No incluye el cero, así que es probable que haya una mejora real, aunque podría ser pequeña.
• El valor p: con qué frecuencia aparecería una diferencia así de grande si las variantes rindieran igual en realidad. Aquí p = 0,041, por debajo del nivel de significación de 0,05, así que la diferencia es significativa.

Las personas únicas que hicieron clic cuentan otra historia. El envío gratis tuvo un 15,0 % frente a un 13,5 %, pero p = 0,185 y el intervalo incluye el cero. Es una tendencia, no un resultado significativo: la diferencia en clics podría deberse al azar.

La frase de resultados adopta una de estas formas:

• Ganadora: una variante superó al control en la métrica principal, y ninguna métrica de protección la bloquea.
• No concluyente: no hay evidencia suficiente para elegir. Es un resultado normal y útil. Te dice que la diferencia, si existe, es menor de lo que esta prueba podía ver.
• Sin diferencia: se demuestra que todas las variantes están cerca del control, dentro del margen de «sin diferencia» que fijaste antes de bloquear. Sin margen, un resultado plano es no concluyente.
• No es fiable: falló una comprobación de calidad de los datos. Revisa el panel antes de decidir.
• Demasiado pronto: la ventana sigue abierta.

Los resultados no concluyentes son habituales en listas pequeñas. La prueba de Retro Revival solo podía detectar con fiabilidad una diferencia de unos 1,9 puntos, así que su resultado de 1,33 puntos fue afortunado. Si el envío gratis hubiera tenido 85 compradores en lugar de 98 (4,3 % frente a 3,7 %), p sería 0,29: no concluyente. Lo adecuado entonces es una muestra mayor o una ventana más larga, dimensionadas con el planificador del tamaño de muestra, no volver a mirar las mismas cifras.

Por qué la ventana es fija

Cada consulta diaria de una prueba en curso es otra oportunidad para que el ruido parezca una ganadora. Si paras en la primera consulta que supera el umbral habitual, las ganadoras falsas se vuelven mucho más probables. Por eso un experimento de Horizonte fijo se lee una sola vez, al final de la ventana que fijaste.

El estadístico z de Retro Revival terminó en 2,039, por encima del umbral fijo de 1,96. Leído una sola vez, el resultado es significativo. Pero superó 1,96 por primera vez el día 5, así que alguien que mirara cada día habría parado ahí, con una evidencia más débil.

En el plan Business y superiores, el análisis Secuencial te deja consultar mientras transcurre la ventana. Cada consulta tiene un límite más estricto, así que la probabilidad total de una ganadora falsa se mantiene en tu nivel de significación. No hay ninguna consulta hasta que llega aproximadamente la mitad de los datos esperados, ni en las primeras 48 horas después de que termine el envío, y como mucho hay una al día. Con las cifras de Retro Revival, ninguna consulta cruza su límite: el último es 2,056, justo por encima de 2,039. Si una variante sí lo cruza antes, puedes registrar la decisión antes de que termine la ventana.

Varias variantes y varias métricas

Más comparaciones significan más oportunidades de que una parezca buena por suerte. MailInApp lo corrige:

• La métrica principal usa la corrección de Holm entre las variantes que se comparan con el control. Sus intervalos se muestran más amplios en consecuencia: con tres variantes además del control, cada uno se muestra al 98,3 % en lugar de al 95 %.
• Las métricas secundarias usan Benjamini–Hochberg. Son exploratorias, así que pueden destacar pero nunca deciden el experimento.
• Las métricas de protección se leen con un nivel más permisivo a propósito, porque pasar por alto un daño real cuesta más que una falsa alarma.

Comparaciones ajustadas

Si dejaste activado Ajustar según lo que se sabía antes del envío en las opciones de Estadística, los resultados muestran también una comparación ajustada. Tiene en cuenta la puntuación de interacción y el historial de compras de cada contacto en el momento de la extracción, lo que suele estrechar los intervalos. Cuando se ejecutó, la comparación que decide es la ajustada. La comparación sin ajustar se muestra siempre también.

La opción se elige antes de bloquear, como el resto del plan, para que nadie pueda activarla después de ver qué lectura queda mejor. El ajuste se omite, para todas las variantes a la vez, cuando una variante es demasiado pequeña o no hay nada por lo que ajustar.

Métricas de ingresos

Ingresos por correo entregado divide los ingresos atribuidos de la tienda de cada variante entre sus destinatarios con entrega. Los ingresos de cada contacto se limitan a un percentil alto de los compradores, elegido antes de bloquear, para que un solo pedido muy grande no decida la prueba. Su intervalo se obtiene con un método de remuestreo cuando los ingresos están demasiado desequilibrados para la fórmula habitual.

Ingresos y promociones muestra el dinero por variante. Las cifras de Retro Revival, en dólares estadounidenses:

Los ingresos excluyen impuestos y envío, y los descuentos ya están descontados. No es un cálculo de beneficio.

• Coste promocional son los descuentos de los pedidos, más tu estimación de subvención de envío por cada pedido con envío gratis.
• Canje de códigos son los códigos canjeados en un pedido atribuido, divididos entre los códigos emitidos a los destinatarios de la variante.
• Valor medio del pedido depende de quién compró, así que no puede decidir el experimento. Aquí los pedidos con envío gratis fueron más pequeños, pero compró más gente.
• Reembolsos: los reembolsos hechos durante la ventana en Shopify y WooCommerce se restan de los ingresos. Una tienda Shopify conectada antes de que existieran las recompensas de experimento tiene que volver a conectarse primero. Los reembolsos de pagos hechos con el checkout del correo no se restan.
• Otras monedas: los pedidos en una moneda distinta de la del experimento quedan fuera de los ingresos y se cuentan aparte.

Los ingresos por entregado fueron más altos con el envío gratis, pero p = 0,13: no es significativo por sí solo. Decide la conversión en compra, la métrica principal.

Los pedidos se asocian a las variantes con las reglas de atribución que elegiste, en este orden: código de descuento, enlace con seguimiento, checkout en el correo y dirección de correo. Decide la primera regla que coincide, y las demás ya no se comprueban. La tarjeta Pedidos cuenta las coincidencias de cada regla, y las coincidencias por dirección de correo se indican como probables.

Recompensas distintas por variante explica cada regla y cómo se generan los códigos.

Registrar una decisión

Cuando la ventana ha terminado y el análisis final está listo, Registrar decisión abre un cuadro de diálogo. Elige Ganador (y la variante ganadora), Sin diferencia o No concluyente, y escribe tu justificación. La evidencia que se registra con ella proviene del análisis, no del formulario:

• Elegir una variante que el análisis no señaló queda marcado en el registro para siempre: "El análisis no señaló esta variante como ganadora."
• Registrar una ganadora sobre un resultado que no superó una comprobación de calidad de los datos, o antes de cualquier análisis, requiere una Nota de excepción.
• Una decisión registrada no se puede cambiar.

Después:

• Cerrar experimento hace definitivo el registro. Su configuración, sus resultados y su decisión ya no pueden cambiar. Si el experimento se decidió antes de tiempo, ciérralo cuando esté el análisis final de toda la ventana.
• Desplegar ganador crea un correo nuevo a partir de la variante ganadora, con su contenido y su oferta, su asunto y su remitente, y la lista de contactos del experimento. Todas las personas asignadas por el experimento quedan fuera de cada envío de ese correo. No se envía nada hasta que lo envíes desde su página de envío. Envía la versión ganadora al resto de tu audiencia sigue uno de principio a fin.
• Exportar descarga el informe como Informe PDF (con el nombre de tu empresa y el color de tu marca en el plan Business y superiores), como Tablas CSV o como JSON. Solo contiene cifras: ni nombres ni direcciones.
• Explicar le pide a Mia que describa el resultado en palabras sencillas, usando solo las cifras y etiquetas del informe. Mia nunca dice que una diferencia es significativa a menos que lo diga el análisis. Cada uso consume una solicitud de Mia AI.

Registrar la decisión responde a la pregunta del experimento. Enviar la ganadora a más personas es un paso aparte, posterior.

Relacionado

• Experimentos (pruebas A/B)
• Descubre qué recompensa vende más con una prueba A/B de rasca y gana
• Envía la versión ganadora al resto de tu audiencia
• Webhooks y eventos
• Respuestas y webhooks