Experimentos (pruebas A/B)

Un experimento pone a prueba un cambio en un correo frente a un control. Anotas la pregunta, el único número que la responde y quién participa, y MailInApp lo fija todo antes de enviar nada. Después envía todas las versiones a la vez, mide lo que ocurre y te dice cuán sólida es la evidencia.

Las figuras de esta página usan Retro Revival, una tienda de ropa ficticia, con cifras inventadas. Retro Revival prueba si vende más el envío gratis o un 10 % de descuento, con la recompensa oculta bajo una tarjeta de rasca y gana.

Qué es un experimento

Un experimento pertenece a un solo correo y responde a una sola pregunta. Tiene:

• Una hipótesis: lo que esperas que ocurra y por qué, escrito antes de ver ningún resultado.
• Una métrica principal: el número que decide el resultado, como la conversión en compra. Todo lo demás se muestra para explicarlo, nunca para decidir.
• Dos o más variantes: versiones del correo. Una de ellas es el control, y todas las demás se comparan con él.
• Una muestra aleatoria de tus contactos, extraída una sola vez y repartida entre las variantes. Nadie recibe dos variantes.
• Una ventana de observación: cuánto tiempo cuentan los clics y los pedidos después del envío. El resultado se lee cuando termina.

Puedes crear uno desde Experimentos, en la barra lateral, con Nuevo experimento. También puedes usar Ejecutar como experimento en el recuadro A/B de la página de envío de un correo, en su menú de fila de la lista de Correos o en el calendario de campañas.

Cuándo basta con un envío A/B rápido

Un envío A/B simple reparte un envío entre un máximo de cinco variantes y muestra sus tasas lado a lado. Es rápido y sirve para comparar a grandes rasgos dos asuntos. Pero no fija nada de antemano: ni la métrica, ni el tamaño de la muestra, ni cuándo parar.

Usa un experimento cuando la respuesta importa. Añade lo que un envío rápido deja fuera:

• una muestra y una métrica fijadas antes del envío, para que nadie elija después la lectura que mejor queda;
• una prueba estadística, con intervalos y un veredicto en lenguaje claro;
• comprobaciones de que el propio envío fue justo, como que todas las variantes salieran a la vez;
• recompensas de la tienda por variante, y pedidos asociados a la variante que los generó;
• una decisión registrada, que queda guardada con el experimento para siempre.

Además, un experimento no está limitado a 200 destinatarios como un envío directo: envía mediante su propio proceso, por lotes, a toda su muestra.

Planes

Los experimentos están incluidos a partir del plan Lite. Lo que permite cada plan:

El grupo de exclusión cuenta como una de las variantes.

Los seis pasos

Un experimento se configura en seis pasos. Puedes volver a cualquiera de ellos hasta que lo bloquees.

Hipótesis y métricas

Escribe primero la hipótesis. Después elige la métrica principal, el único número que decide el experimento. Cada métrica es una proporción o un importe sobre su propia base:

Entregados significa enviados menos rebotes permanentes. Un contacto cuenta una sola vez, por muchas veces que haga clic o compre.

Las métricas secundarias se muestran junto a la principal para explicarla. No deciden el resultado. Las métricas de protección son métricas que una ganadora no puede empeorar, como la tasa de bajas o la tasa de quejas. Una variante que supera al control pero es claramente peor en una métrica de protección no es ganadora.

Dos métricas tienen límites propios:

• Tasa de apertura es solo de referencia. La Protección de privacidad de Mail de Apple abre los correos automáticamente, así que no puede ser la métrica principal ni una métrica de protección.
• Tasa de revelado observada y Tasa de clics tras revelar necesitan que se registren las revelaciones desde las apps de correo, y MailInApp todavía no las registra. Por ahora, déjalas fuera. Los clics tras revelar dependen además de quién reveló, así que esa métrica no es una comparación aleatorizada.

El nivel de significación es cuán sólida debe ser la evidencia para que una diferencia cuente. Lo habitual es un 5 % (bilateral). El análisis es de Horizonte fijo (se lee una vez, cuando termina la ventana) o, en el plan Business y superiores, Secuencial (se consulta mientras transcurre la ventana, con umbrales más estrictos). Por qué la ventana es fija explica la diferencia.

En Estadística se fijan ahora algunas opciones más, para que no se puedan elegir después a la medida del resultado. Cubren el ajuste según lo que se sabía antes del envío, la moneda de los ingresos, un límite para los pedidos muy grandes y unos márgenes opcionales. Interpretar los resultados de un experimento explica cada una.

Variantes y contenido

Cada variante es una versión del correo. Dale a cada una una etiqueta y un porcentaje de la muestra, y marca una como control. Repartir a partes iguales asigna porcentajes iguales.

Una variante puede cambiar el asunto, el remitente y el contenido. Para el contenido hay dos formas:

• Este correo, con los cambios de esta variante. Abre el correo en el estudio, elige la variante en el menú Variante de la barra de herramientas y edita los bloques que debe cambiar. Todo lo demás lo comparten todas las variantes. Así las variantes son idénticas salvo en lo que estás probando.
• Otro correo. La variante envía un correo completamente distinto. Sus resultados se siguen registrando en este experimento.

Algunos ajustes no pueden variar entre variantes, porque determinan cómo se comprueban las respuestas o los pagos: las respuestas correctas de un cuestionario, por ejemplo, o el precio de un producto. El estudio muestra qué campos puede cambiar una variante.

Una prueba no tiene por qué tocar el contenido. Aquí las dos variantes comparten un mismo correo y solo cambia el asunto:

En el plan Pro y superiores, una variante puede ser un grupo de exclusión: contactos que no reciben nada. Comparar las demás variantes con él muestra cuántas personas habrían comprado sin el correo, así que necesita una métrica principal de compra o de ingresos.

Audiencia y muestra

Elige una lista de contactos y después a quién dirigirte con reglas de filtro. Partir de un segmento guardado copia el filtro de un segmento en el experimento. Editarlo ahí no cambia el segmento.

La tarjeta Recuento de la audiencia cuenta cuatro etapas con las mismas reglas que aplica el envío:

1. En la lista: todos los contactos de la lista.
2. Elegibles: los contactos a los que se puede enviar correo. La lista Excluidos indica por qué a los demás no: se dieron de baja o rebotaron, tienen una dirección verificada como no válida, no dieron su consentimiento de marketing, no confirmaron su suscripción, se dieron de baja del tema de este correo o ya están en otro experimento.
3. Segmentados: los contactos elegibles que cumplen tu filtro.
4. En el experimento: la muestra, repartida entre las variantes.

Junto al filtro, Información de la audiencia desglosa los contactos segmentados por un campo de la lista, por historial de compras o por puntuación de interacción. Cada desglose tiene un grupo Sin valor para los contactos a los que les falta ese campo. Revísalo antes de extraer la muestra: si muchos contactos no tienen valor, equilibrar por ese campo servirá de poco.

Después elige cómo extraer la muestra:

• Todos los destinatarios: participan todos los contactos segmentados, repartidos al azar entre las variantes.
• Muestra aleatoria: una muestra aleatoria de los contactos segmentados, repartida al azar.
• Muestra aleatoria equilibrada (Pro y superiores): la muestra se extrae por separado dentro de cada valor del campo que elijas, para que todas las variantes tengan la misma composición, por ejemplo de clientes y de posibles clientes.
• Todo el segmento: todos los contactos que seleccionan las reglas. Es una selección basada en reglas, no una muestra aleatoria, así que los resultados describen solo ese segmento. Las variantes se siguen asignando al azar.

Excluir a los contactos que ya estén en otro experimento evita que los experimentos se solapen. Incluye los experimentos bloqueados, los que siguen en su ventana de observación y aquellos cuya oferta aún se puede canjear, para que la oferta de una prueba anterior no se cuele en esta.

El Planificador del tamaño de muestra calcula cuántos contactos necesita la prueba antes de enviar nada. Parte de tu propio historial: experimentos anteriores con la lista o tus envíos recientes. Introduces el menor aumento que vale la pena detectar y la potencia que quieres, y te recomienda una muestra. Si la audiencia es demasiado pequeña, te indica en su lugar el menor aumento que puede detectar con fiabilidad.

Retro Revival esperaba que las compras subieran del 3,7 % al 5,0 %. El planificador pide 3943 contactos por variante para detectar ese aumento de 1,3 puntos. Con 4000 contactos en total, la prueba puede detectar con fiabilidad un aumento de unos 1,9 puntos. Una diferencia real más pequeña podría pasar fácilmente desapercibida, así que planifica el tamaño que te puedes permitir antes de lanzar, no después. Averigua cuántos contactos necesita tu prueba A/B recorre el planificador paso a paso.

Recompensa y atribución

Da a cada variante su propia oferta de la tienda, o ninguna: un porcentaje de descuento, un importe fijo de descuento o envío gratis. O todas las variantes tienen recompensa o ninguna la tiene, y los códigos de todas las variantes son válidos durante el mismo número de días, para compararlas de forma justa.

Cada destinatario recibe su propio código de un solo uso, vinculado a él. Muéstralo en el correo con las etiquetas de combinación {{discount_code}} y {{discount_url}}, por ejemplo en el premio y el enlace de una tarjeta de rasca y gana. El bloqueo espera hasta que un bloque muestre la recompensa.

Antes conviene preparar algunas cosas:

• Los códigos se generan en la tienda Shopify o WooCommerce conectada a la lista de contactos del experimento. Si no hay ninguna, el paso avisa de que no se pueden generar códigos.
• En WooCommerce, los códigos de envío gratis necesitan un método Free Shipping que exija un cupón de envío gratis válido. El paso avisa si tu tienda no tiene ninguno.
• Para el envío gratis, introduce tu Coste medio de envío por pedido. Se cuenta como coste promocional en cada pedido con envío gratis.

La Atribución de pedidos asocia cada pedido de la tienda a una variante. Gana la primera regla que coincide, en este orden:

1. Código de descuento: el pedido usó el código de la variante. La coincidencia más fiable, incluso días después.
2. Enlace con seguimiento: el comprador llegó a través del enlace etiquetado del correo.
3. Checkout en el correo: el comprador pagó mediante el checkout de un bloque de producto.
4. Dirección de correo (probable): la dirección del comprador coincide con la de un destinatario que hizo clic durante la ventana. Estos pedidos se indican como probables.

Las tres primeras reglas vienen activadas por defecto. Dirección de correo (probable) está desactivada hasta que la eliges, y es la única regla que puede asociar los pedidos de un grupo de exclusión, porque ese grupo no recibe ningún correo. Recompensas distintas por variante explica en detalle los códigos y las reglas, y Descubre qué recompensa vende más con una prueba A/B de rasca y gana recorre una prueba de recompensas completa.

Si el correo tiene una tarjeta de rasca y gana, Llamada a la acción del rasca y gana define dónde va su botón de la tienda: Dentro del premio revelado o Debajo de la tarjeta. Medir un rasca y gana explica qué te permite medir cada ubicación.

Programación y ventana

Elige En cuanto lo lance o A una hora concreta. Todas las variantes salen juntas, intercaladas en los mismos minutos. La optimización del momento de envío está desactivada en los experimentos, para que una diferencia entre variantes no pueda deberse a cuándo se envió cada una.

La ventana de observación es cuánto tiempo cuentan los clics y los pedidos después del envío, de 1 a 60 días. El resultado se lee una sola vez, cuando termina. Elige una duración que cubra lo que la gente suele tardar en actuar y el tiempo que sigue vigente la oferta.

Enviar el resultado al resto prueba primero con una muestra y después envía una variante a todos los demás destinatarios de la audiencia. Necesita una muestra aleatoria (paso 3), para que quede un resto al que enviar. Elige una política:

• Enviar un ganador significativo: una variante que gane en la métrica principal antes del momento de decisión se envía al resto. Si no, el resto recibe el control.
• Enviar la líder (política de rentabilidad): el resto recibe la variante que parezca mejor en el momento de decisión, sea significativa o no. Compensa cuando las variantes están muy igualadas, pero no demuestra que una sea mejor.

Decidir después de se cuenta desde que sale el último correo de la muestra. Si una variante tiene menos de 30 eventos en ese momento, la muestra se vuelve a leer en Esperar como máximo. Si sigue sin llegar, el resto recibe el control. Esto solo elige lo que recibe el resto: la decisión del propio experimento sigue esperando a que termine toda la ventana.

Revisar y bloquear

El último paso resume el plan y enumera lo que hay que corregir antes de bloquear. Bloquear prerregistro fija entonces la hipótesis, las métricas, la audiencia y las variantes, y extrae la muestra: qué contactos participan y qué variante recibe cada uno quedan decididos.

Hasta el lanzamiento aún puedes renombrar el experimento, cambiar la hora de envío y editar la etiqueta, el asunto, el remitente y el contenido de cada variante. Lanzar reserva todo el envío de tu cuota mensual de correos y después lo programa. El grupo de exclusión no consume cuota. Tras el lanzamiento, solo se puede cambiar el nombre.

Al lanzar, MailInApp también genera el correo de cada variante tal como se enviará. Se niega a lanzar si el correo de una variante muestra la recompensa de rasca y gana de otra, incluso en la alternativa que ven las apps de correo sin rasca y gana. Probar dos recompensas en un experimento explica qué detecta esta comprobación. El inspector previo al envío revisa el correo tal como lo guardaste, así que previsualiza también cada variante con el menú Variante del estudio.

Mientras se ejecuta

Tras el lanzamiento, el experimento pasa por sus estados por sí solo:

• Programado hasta la hora de envío, y después Enviando mientras salen todas las variantes.
• En observación durante la ventana de observación. Cada pocas horas se ejecuta un análisis provisional. Sus resultados se marcan como provisionales: no decidas con ellos.
• Analizando cuando termina la ventana. El análisis final llega aproximadamente una hora después.
• Decidido o No concluyente cuando registras tu decisión, y después Cerrado cuando lo cierras.

Mientras se ejecuta, solo se puede cambiar el nombre. Cancelar experimento lo detiene en cualquier momento antes de la decisión, y no se puede deshacer. Los demás envíos del mismo correo excluyen a los contactos que retiene este experimento, para que nadie reciba una segunda versión por otra vía.

Puedes eliminar un experimento mientras es un borrador, cuando ya está cerrado o después de cancelarlo. Sus resultados y asignaciones se eliminan con él.

Límites y lo que no se mide

• Las revelaciones aún no se registran desde las bandejas de entrada. Una revelación de rasca y gana o de gira y gana ocurre dentro de la app de correo, y MailInApp todavía no la registra ahí. Mide en su lugar los clics en el enlace del premio y las compras.
• Las aperturas son solo de referencia. La Protección de privacidad de Mail de Apple y los proxys de imágenes abren los correos automáticamente, así que las tasas de apertura salen altas y varían según la app de correo.
• Cada variante se comprueba al lanzar. La verificación previa de la página de envío revisa el correo tal como está guardado, no la versión de cada variante.
• Todavía no está en la app móvil. La app móvil de MailInApp no muestra los experimentos.

Úsalo desde la API

Tu propio código y tus herramientas de automatización pueden leer los experimentos con una clave de API, y los webhooks pueden avisarles cuando se decide uno o cuando sus resultados están listos. Pueden leer, pero no bloquear, lanzar ni decidir. Consulta Leer los resultados de experimentos.

Relacionado

• Interpretar los resultados de un experimento
• Descubre qué recompensa vende más con una prueba A/B de rasca y gana
• Averigua cuántos contactos necesita tu prueba A/B
• Envía la versión ganadora al resto de tu audiencia
• Contactos y envío desde MailInApp
• Bloque de rasca y gana
• Segmentos de comportamiento