Um experimento termina com uma decisão, não com um envio. Depois que você registra um vencedor, Implantar vencedor transforma a variante vencedora num e-mail comum para o restante do seu público. Ele deixa de fora todo mundo que participou do teste e não envia nada até você enviar.
Manter as duas coisas separadas é proposital. A decisão registra o que os dados mostraram. Enviar o vencedor é uma escolha de marketing que você faz depois, com público, momento e oferta próprios.
Este guia acompanha a Retro Revival, uma loja de roupas fictícia, com números inventados. O experimento dela comparou 10% de desconto (variante A, o controle) com frete grátis (variante B), cada um escondido sob um cartão de raspar, em 4.000 dos 6.420 assinantes que gostam de rock e dos anos 1990. Descubra qual recompensa vende mais com um teste A/B de raspadinha acompanha esse experimento desde o início.
Comece por um vencedor registrado
Implantar vencedor aparece na página de resultados do experimento quando há um vencedor registrado, enquanto o experimento está Decidido ou Encerrado. A conversão de compra da Retro Revival ficou em 5,0% com frete grátis contra 3,7% com 10% de desconto, uma diferença significativa. A equipe registrou o frete grátis como vencedor e encerrou o experimento.
- Rascunho
- Bloqueado
- Agendado
- Enviando
- Em observação
- Em análise
- DecididoouInconclusivo
- Encerrado
Implantar vencedor
Um envio separado depois de uma decisão, não um status.
| Etapa | Status |
|---|---|
| 1 | Rascunho |
| 2 | Bloqueado |
| 3 | Agendado |
| 4 | Enviando |
| 5 | Em observação |
| 6 | Em análise |
| 7 | Decidido |
| 7 | Inconclusivo |
| 8 | Encerrado |
| Fora da linha | Implantar vencedor |
A implantação fica fora da linha principal do experimento. Ela não muda o experimento, os resultados nem a decisão, e você pode implantar depois de encerrar. Nada é implantado numa decisão "inconclusivo" ou "sem diferença", e um grupo de exclusão não pode ser implantado, já que não tem e-mail.
O que Implantar vencedor cria
Implantar vencedor abre uma confirmação curta, e então Criar o e-mail cria um e-mail novo, com o nome do experimento e da variante. Ele traz o que os destinatários da variante vencedora receberam:
- O conteúdo e a oferta da variante. O e-mail com as mudanças dessa variante, ou o próprio e-mail da variante, se ela enviou outro conteúdo.
- O assunto e o remetente. O assunto da variante e o remetente pelo qual ela foi enviada.
- A lista de contatos do experimento como público.
Em seguida, ele abre a página de envio do e-mail novo. Um aviso ali cita o experimento e a variante, e o assunto e o filtro de público do experimento já vêm preenchidos. Nada é enviado até você enviar por essa página. Clicar de novo em Implantar vencedor abre o mesmo e-mail, em vez de criar outro.
Quem recebe e quem não recebe
Todo envio do e-mail novo deixa de fora todas as pessoas que o experimento atribuiu, em qualquer variante e para sempre. Elas já receberam uma versão deste e-mail, e os resultados delas pertencem ao teste. Cada envio as informa como ignoradas, com o motivo "In an experiment on this email" (em um experimento deste e-mail).
O filtro da Retro Revival, Rock–Alternativo E anos 1990, ainda segmenta 6.420 contatos. Os 4.000 que estavam no experimento ficam de fora, então 2.420 assinantes podem receber o e-mail vencedor.
Você pode mudar o público antes de enviar. O filtro da página de envio é um filtro comum, então dá para ampliá-lo para a lista toda ou restringi-lo a um grupo. Contatos que cancelaram a inscrição, ou que não são elegíveis por outro motivo, são ignorados como em qualquer envio.
A oferta vem junto
Se a variante vencedora tinha uma recompensa da loja, o e-mail novo a mantém. Cada envio gera um código de uso único para cada destinatário na sua loja conectada, válido pelo mesmo número de dias que os códigos da variante. Os códigos de frete grátis da Retro Revival duram 7 dias, contados a partir de cada envio.
Antes de enviar, confira se a oferta ainda faz sentido. Frete grátis ou desconto custam dinheiro em cada pedido que trazem. Os números de receita do experimento não são um cálculo de lucro: eles excluem impostos e frete, e já refletem os descontos.
Enviar para mais de 200 contatos
Um envio pela página de envio alcança no máximo 200 destinatários por vez. Os 2.420 da Retro Revival precisam de mais de um envio. Há dois caminhos:
- Vários envios únicos. Escolha até 200 contatos de cada vez. O histórico de envios marca quem já recebeu o e-mail.
- Um envio recorrente. Em Envio recorrente, adicione as mesmas regras de filtro e crie um agendamento diário ou semanal. Cada execução envia para até 200 contatos que atendem ao filtro e ainda não receberam este e-mail, até alcançar todos. Os contatos do experimento são verificados e ignorados uma vez cada pelo caminho, então as primeiras execuções enviam menos.
Envios recorrentes estão incluídos a partir do plano Lite.
Ou escolha a versão do restante antes de lançar
Se preferir não esperar a janela inteira, decida antes do lançamento como o restante do público recebe o e-mail. Enviar o resultado para o restante, na etapa Agendamento e janela do experimento, primeiro testa numa amostra e depois envia uma variante para todos os outros contatos segmentados. Ele envia em lotes, sem o limite de 200 contatos. Precisa de uma amostra aleatória, para que sobre um restante para quem enviar.
A política que você escolhe decide o que o restante recebe. Suponha que a Retro Revival tivesse testado numa amostra de 2.000 contatos e decidido após 48 horas. Nesse momento, 49 destinatários do frete grátis tinham comprado contra 36 com 10% de desconto: 5,0% contra 3,7%, mas ainda não significativo (p = 0,15).
- Enviar um vencedor significativo teria enviado o controle, os 10% de desconto, para os outros 4.420 contatos. Nenhuma variante tinha vencido ainda.
- Enviar a líder (política de lucro) teria enviado o frete grátis, porque parecia melhor. É uma aposta razoável quando as variantes estão próximas, mas não é evidência de que o frete grátis seja melhor.
Nos dois casos, essa escolha só decide o que o restante recebe. O experimento continua por toda a janela, e você registra a decisão dele sobre o resultado completo, como sempre.
Primeiros passos
Registre um vencedor na página de resultados do experimento e encerre o experimento. Depois clique em Implantar vencedor, confira o que o e-mail novo traz e clique em Criar o e-mail. Na página de envio dele, confira o assunto, o filtro de público e a oferta, e envie em lotes de até 200 ou configure um envio recorrente. Como ler os resultados de um experimento explica como registrar a decisão antes.