Experimentos (testes A/B)

Um experimento testa uma mudança em um e-mail contra um controle. Você anota a pergunta, o único número que a responde e quem participa, e o MailInApp fixa tudo isso antes de qualquer envio. Depois ele envia todas as versões ao mesmo tempo, mede o que acontece e diz quão forte é a evidência.

As figuras desta página usam a Retro Revival, uma loja de roupas fictícia, com números inventados. A Retro Revival testa se vende mais com frete grátis ou com 10% de desconto, com a recompensa escondida sob uma raspadinha.

O que é um experimento

Um experimento pertence a um único e-mail e responde a uma única pergunta. Ele tem:

• Uma hipótese: o que você espera que aconteça e por quê, escrita antes de ver qualquer resultado.
• Uma métrica principal: o número que decide o resultado, como a conversão em compra. Todo o resto aparece para explicá-lo, nunca para decidir.
• Duas ou mais variantes: versões do e-mail. Uma delas é o controle, e todas as outras são comparadas com ele.
• Uma amostra aleatória dos seus contatos, sorteada uma única vez e dividida entre as variantes. Ninguém recebe duas variantes.
• Uma janela de observação: por quanto tempo cliques e pedidos contam depois do envio. O resultado é lido quando ela termina.

Para criar um, use Novo experimento em Experimentos, na barra lateral. Você também pode usar Executar como experimento no quadro A/B da página de envio de um e-mail, no menu da linha dele na lista de E-mails ou no calendário de campanhas.

Quando um envio A/B rápido basta

Um envio A/B simples divide um envio entre até cinco variantes e mostra as taxas delas lado a lado. É rápido e serve para comparar por alto duas linhas de assunto. Mas nada é fixado antes: nem a métrica, nem o tamanho da amostra, nem quando parar.

Use um experimento quando a resposta importa. Ele acrescenta o que um envio rápido deixa de fora:

• uma amostra e uma métrica definidas antes do envio, para que ninguém escolha depois a leitura mais conveniente;
• um teste estatístico, com intervalos e um veredito em linguagem simples;
• verificações de que o próprio envio foi justo, como todas as variantes saírem ao mesmo tempo;
• recompensas da loja por variante, e pedidos associados à variante que os gerou;
• uma decisão registrada, guardada com o experimento para sempre.

Um experimento também não fica limitado a 200 destinatários como um envio direto: ele envia por um processo próprio, em lotes, para a amostra inteira.

Planos

Os experimentos estão incluídos a partir do plano Lite. O que cada plano permite:

O grupo de exclusão conta como uma das variantes.

As seis etapas

Um experimento é configurado em seis etapas. Você pode voltar a qualquer uma delas até bloqueá-lo.

Hipótese e métricas

Escreva primeiro a hipótese. Depois escolha a métrica principal, o único número que decide o experimento. Cada métrica é uma proporção ou um valor sobre a própria base:

Entregues são os enviados menos as rejeições permanentes. Um contato conta uma vez só, não importa quantas vezes clique ou compre.

As métricas secundárias aparecem ao lado da principal para explicá-la. Elas não decidem o resultado. As métricas de proteção são métricas que uma vencedora não pode piorar, como a taxa de descadastro ou a taxa de reclamação. Uma variante que supera o controle, mas fica claramente pior em uma métrica de proteção, não é vencedora.

Duas métricas têm limites próprios:

• Taxa de abertura serve só como referência. A Proteção de Privacidade do Mail da Apple abre os e-mails automaticamente, então ela não pode ser a métrica principal nem uma métrica de proteção.
• Taxa de revelação observada e Taxa de cliques após revelação dependem de revelações registradas pelos apps de e-mail, e o MailInApp ainda não registra isso. Deixe as duas de fora por enquanto. Os cliques após revelação também dependem de quem revelou, então essa métrica não é uma comparação aleatorizada.

O nível de significância é quão forte a evidência precisa ser para que uma diferença conte. A escolha habitual é 5% (bicaudal). A análise pode ser de Horizonte fixo (lida uma vez, quando a janela termina) ou, no plano Business e superiores, Sequencial (consultada durante a janela, com limites mais rígidos). Por que a janela é fixa explica a diferença.

Em Estatística, mais algumas escolhas são definidas agora, para que não possam ser feitas depois sob medida para o resultado. Elas tratam do ajuste pelo que se sabia antes do envio, da moeda da receita, de um limite para pedidos muito grandes e de margens opcionais. Como ler os resultados de um experimento explica cada uma.

Variantes e conteúdo

Cada variante é uma versão do e-mail. Dê a cada uma um rótulo e uma parcela da amostra, e marque uma como controle. Dividir igualmente define parcelas iguais.

Uma variante pode mudar a linha de assunto, o remetente e o conteúdo. Para o conteúdo, há dois caminhos:

• Este e-mail, com as mudanças desta variante. Abra o e-mail no estúdio, escolha a variante no menu Variante da barra de ferramentas e edite os blocos que ela deve mudar. Todo o resto continua compartilhado entre todas as variantes. Assim as variantes ficam idênticas, exceto no que você está testando.
• Outro e-mail. A variante envia um e-mail totalmente diferente. Os resultados dela continuam sendo registrados neste experimento.

Algumas configurações não podem variar entre as variantes, porque definem como respostas ou pagamentos são verificados: as respostas corretas de um quiz, por exemplo, ou o preço de um produto. O estúdio mostra quais campos uma variante pode mudar.

Um teste nem precisa mexer no conteúdo. Aqui as duas variantes usam o mesmo e-mail e só mudam a linha de assunto:

No plano Pro e superiores, uma variante pode ser um grupo de exclusão: contatos que não recebem nada. Comparar as outras variantes com ele mostra quantas pessoas teriam comprado sem o e-mail, por isso ele exige uma métrica principal de compra ou de receita.

Público e amostra

Escolha uma lista de contatos e, depois, quem incluir com regras de filtro. Começar de um segmento salvo copia o filtro de um segmento para o experimento. Editar o filtro ali não muda o segmento.

O cartão Contagem do público conta quatro etapas com as mesmas regras que o envio aplica:

1. Na lista: todos os contatos da lista.
2. Elegíveis: os contatos que podem receber e-mail. A lista Deixados de fora diz por que os outros não podem: descadastro ou bounce, endereço verificado como inválido, falta de consentimento de marketing, inscrição não confirmada, saída do tema deste e-mail ou participação em outro experimento.
3. Segmentados: os contatos elegíveis que atendem ao seu filtro.
4. No experimento: a amostra, dividida entre as variantes.

Ao lado do filtro, a Visão do público detalha os contatos segmentados por um campo da lista, pelo histórico de compras ou pela pontuação de engajamento. Todo detalhamento tem um grupo Sem valor para os contatos sem aquele campo. Confira esse grupo antes de sortear a amostra: se muitos contatos não tiverem valor, balancear por esse campo vai ajudar pouco.

Depois escolha como sortear a amostra:

• Todos os selecionados: todo contato segmentado participa, dividido aleatoriamente entre as variantes.
• Amostra aleatória: uma amostra aleatória dos contatos segmentados, dividida aleatoriamente.
• Amostra aleatória balanceada (Pro e superiores): a amostra é sorteada separadamente dentro de cada valor de um campo que você escolhe, para que todas as variantes tenham a mesma composição, por exemplo de clientes e prospects.
• O segmento inteiro: todos os contatos que as regras selecionam. É uma seleção baseada em regras, não uma amostra aleatória, então os resultados descrevem só esse segmento. As variantes continuam sendo atribuídas aleatoriamente.

Deixar de fora contatos que já estão em outro experimento evita que os experimentos se sobreponham. Vale para experimentos bloqueados, ainda na janela de observação ou cuja oferta ainda pode ser resgatada, para que a oferta de um teste anterior não interfira neste.

O Planejador do tamanho da amostra calcula de quantos contatos o teste precisa antes de qualquer envio. Ele parte do seu próprio histórico: experimentos anteriores na lista ou os seus envios recentes. Você informa o menor aumento que vale a pena detectar e o poder desejado, e ele recomenda uma amostra. Se o público for pequeno demais, ele informa em vez disso o menor aumento que consegue detectar com confiança.

A Retro Revival esperava que as compras subissem de 3,7% para 5,0%. O planejador pede 3.943 contatos por variante para detectar esse aumento de 1,3 ponto. Com 4.000 contatos no total, o teste consegue detectar com confiança um aumento de cerca de 1,9 ponto. Uma diferença real menor poderia facilmente passar despercebida, então planeje o tamanho que você pode bancar antes de iniciar, não depois. Descubra de quantos contatos seu teste A/B precisa explica o planejador passo a passo.

Recompensa e atribuição

Dê a cada variante a própria oferta da loja, ou nenhuma: um desconto percentual, um desconto de valor fixo ou frete grátis. Ou todas as variantes recebem recompensa, ou nenhuma recebe, e os códigos de todas valem pelo mesmo número de dias, para que a comparação seja justa.

Cada destinatário recebe o próprio código de uso único, vinculado a ele. Mostre o código no e-mail com as tags de personalização {{discount_code}} e {{discount_url}}, por exemplo no prêmio e no link de uma raspadinha. O bloqueio só é liberado quando algum bloco mostra a recompensa.

Algumas coisas precisam estar prontas antes:

• Os códigos são gerados na loja Shopify ou WooCommerce conectada à lista de contatos do experimento. Sem uma loja, a etapa avisa que nenhum código pode ser gerado.
• No WooCommerce, códigos de frete grátis precisam de um método Frete grátis que exija um cupom de frete grátis válido. A etapa avisa quando a sua loja não tem esse método.
• Para o frete grátis, informe o seu Custo médio de frete por pedido. Ele entra como custo promocional em cada pedido com frete grátis.

A Atribuição de pedidos associa cada pedido da loja a uma variante. Vale a primeira regra que corresponder, nesta ordem:

1. Código de desconto: o pedido usou o código da variante. A correspondência mais forte, mesmo dias depois.
2. Link rastreado: o comprador chegou pelo link com tag do e-mail.
3. Checkout no e-mail: o comprador pagou pelo checkout de um bloco de produto.
4. Endereço de e-mail (provável): o endereço do comprador corresponde ao de um destinatário que clicou durante a janela. Esses pedidos são informados como prováveis.

As três primeiras regras vêm ligadas por padrão. Endereço de e-mail (provável) fica desligada até você escolhê-la, e é a única regra que pode associar os pedidos de um grupo de exclusão, já que esse grupo não recebe e-mail. Recompensas diferentes por variante explica em detalhes os códigos e as regras, e Descubra qual recompensa vende mais com um teste A/B de raspadinha acompanha um teste de recompensas completo.

Se o e-mail tiver uma raspadinha, a Chamada para ação da raspadinha define onde fica o botão da loja: Dentro do prêmio revelado ou Abaixo da raspadinha. Medindo uma raspadinha explica o que cada posição permite medir.

Agendamento e janela

Escolha Assim que eu iniciar ou Em um horário definido. Todas as variantes saem juntas, intercaladas nos mesmos minutos. A otimização do horário de envio fica desativada em experimentos, para que uma diferença entre variantes não possa vir do momento em que cada uma foi enviada.

A janela de observação é por quanto tempo cliques e pedidos contam depois do envio, de 1 a 60 dias. O resultado é lido uma única vez, quando ela termina. Escolha uma duração que cubra o tempo que as pessoas costumam levar para agir e durante o qual a oferta continua válida.

Enviar o resultado para o restante testa primeiro em uma amostra e depois envia uma variante para todos os outros contatos que o público seleciona. Isso exige uma amostra aleatória (etapa 3), para que sobre um restante para quem enviar. Escolha uma política:

• Enviar um vencedor significativo: uma variante que vencer na métrica principal até o momento da decisão vai para o restante. Caso contrário, o restante recebe o controle.
• Enviar a líder (política de lucro): o restante recebe a variante que parecer melhor no momento da decisão, significativa ou não. Isso compensa quando as variantes estão próximas, mas não é evidência de que uma seja melhor.

Decidir após é contado a partir do envio do último e-mail da amostra. Se uma variante tiver menos de 30 eventos nesse momento, a amostra é lida mais uma vez em Esperar no máximo. Se ainda faltar, o restante recebe o controle. Isso só escolhe o que o restante recebe: a decisão do próprio experimento continua esperando a janela inteira.

Revisão e bloqueio

A última etapa resume o plano e lista o que precisa ser corrigido antes do bloqueio. Bloquear pré-registro então fixa a hipótese, as métricas, o público e as variantes, e sorteia a amostra: quais contatos participam e qual variante cada um recebe passam a ser definitivos.

Até o início, você ainda pode renomear o experimento, mudar o horário de envio e editar o rótulo, a linha de assunto, o remetente e o conteúdo de cada variante. Iniciar reserva todo o envio da sua cota mensal de e-mails e depois o agenda. O grupo de exclusão não consome cota. Depois do início, só o nome pode mudar.

Ao iniciar, o MailInApp também monta o e-mail de cada variante do jeito que ele será enviado. Ele se recusa a iniciar se o e-mail de uma variante mostrar a recompensa da raspadinha de outra, mesmo no fallback que os apps de e-mail sem raspadinha exibem. Testando duas recompensas em um experimento mostra o que essa verificação detecta. O checklist de pré-voo verifica o e-mail como você o salvou, então visualize também cada variante pelo menu Variante do estúdio.

Durante a execução

Depois do início, o experimento passa sozinho pelos seus status:

• Agendado até o horário de envio, depois Enviando enquanto todas as variantes saem.
• Em observação durante a janela de observação. Uma análise parcial roda a cada poucas horas. Os resultados dela são marcados como parciais: não decida com base neles.
• Em análise quando a janela termina. A análise final chega cerca de uma hora depois.
• Decidido ou Inconclusivo quando você registra a sua decisão, e depois Encerrado quando você o encerra.

Durante a execução, só o nome pode mudar. Cancelar experimento interrompe o experimento a qualquer momento antes da decisão, e não pode ser desfeito. Os outros envios do mesmo e-mail deixam de fora os contatos que este experimento retém, para que ninguém receba uma segunda versão por outro caminho.

Você pode excluir um experimento enquanto ele é um rascunho, depois que ele foi encerrado ou depois de um cancelamento. Os resultados e as atribuições dele são excluídos junto.

Limites e o que não é medido

• As revelações ainda não são registradas nas caixas de entrada. A revelação de uma raspadinha ou de uma roleta premiada acontece dentro do app de e-mail, e o MailInApp ainda não a registra ali. Meça os cliques no link do prêmio e as compras.
• As aberturas servem só como referência. A Proteção de Privacidade do Mail da Apple e os proxies de imagem abrem os e-mails automaticamente, então as taxas de abertura ficam altas e variam conforme o app de e-mail.
• Cada variante é verificada no início. O pré-voo da página de envio verifica o e-mail como foi salvo, não a versão de cada variante.
• Ainda não está no app móvel. O app móvel do MailInApp não mostra experimentos.

Use pela API

O seu próprio código e as suas ferramentas de automação podem ler experimentos com uma chave de API, e os webhooks podem avisá-los quando um experimento é decidido ou quando os resultados dele ficam prontos. Eles podem ler, mas não bloquear, iniciar nem decidir. Veja Ler resultados de experimentos.

Veja também

• Como ler os resultados de um experimento
• Descubra qual recompensa vende mais com um teste A/B de raspadinha
• Descubra de quantos contatos seu teste A/B precisa
• Envie a versão vencedora para o restante do seu público
• Contatos e envio pelo MailInApp
• Bloco Raspadinha
• Segmentos comportamentais