A maioria dos testes A/B em listas de e-mail é pequena demais para ver a diferença que procura. O planejador do tamanho da amostra, na etapa Público de um experimento, diz antes de qualquer envio quantos contatos o teste precisa, ou a menor diferença que o seu público consegue mostrar com confiança.
Um teste pequeno demais costuma terminar "inconclusivo", mesmo quando uma versão é de fato melhor. Isso não é uma falha do teste. É sinal de que a pergunta foi feita a pouca gente. Planejar antes diz se vale lançar o teste como está, testar uma mudança mais ousada ou esperar um público maior.
O exemplo abaixo acompanha a Retro Revival, uma loja de roupas fictícia, com números inventados. O teste de recompensas completo dela tem um caso de uso próprio.
O que o planejador precisa de você
Abra um experimento e vá para Público e amostra. O Planejador do tamanho da amostra fica abaixo das contagens do público. Ele planeja para a métrica principal escolhida na etapa 1, com quatro dados:
- A taxa esperada do controle. Por exemplo, a parcela dos destinatários entregues que compram. O planejador a preenche a partir do seu próprio histórico.
- Menor aumento que vale a pena detectar. A menor diferença em relação ao controle que mudaria o que você faz. Numa taxa, ela é escrita em pontos: 1 ponto leva de 3,7% para 4,7%.
- Poder. A chance de o teste encontrar um aumento desse tamanho quando ele é real. 80% é a escolha comum; 85%, 90% e 95% pedem mais contatos.
- Taxa de entrega esperada. E-mails devolvidos não compram, então o planejador acrescenta contatos para cobri-los.
O nível de significância vem da etapa 1, e a divisão entre as variantes, da etapa Variantes e conteúdo.
Comece pelo seu próprio histórico
Raramente se sabe a taxa de partida de cor, e um palpite costuma errar feio. O planejador a lê da sua conta e diz de onde veio cada número:
- Experimentos anteriores nesta lista, ou então nas suas outras listas. Eles cobrem todas as métricas, compras e receita inclusive.
- Seus últimos envios para esta lista, para uma métrica principal de cliques ou respostas que nenhum experimento mediu ainda.
- Seus envios dos últimos 90 dias, para a taxa de entrega e para as métricas de proteção de descadastros e reclamações.
Sem histórico para uma métrica, ele pede a taxa que você espera. Você também pode substituir qualquer número. Ele passa a aparecer como Sua estimativa, só para o planejamento, e Usar histórico traz de volta o valor medido. Uma taxa de partida ou de entrega alterada serve só para planejar. O aumento a detectar e o poder ficam salvos com o experimento.
Leia a recomendação
Assim que você informa o menor aumento que vale a pena detectar, o planejador mostra a Amostra recomendada: os contatos que o teste todo precisa e quantos em cada variante. Se o seu público segmentado for grande o bastante, ele avisa. Um botão então ajusta a amostra para esse tamanho: Usar esse número de contatos, ou Sortear uma amostra aleatória se você ainda não estava amostrando.
Se o público for pequeno demais, ele diz com todas as letras: Este público é pequeno demais para detectar um aumento menor que um certo número de pontos. Esse número é o tamanho honesto do seu teste. Uma diferença real menor poderia facilmente passar despercebida. Planejar para esse número atualiza o plano.
Contatos por variante
| Menor diferença detectável | Contatos por variante |
|---|---|
| 1,0 p.p. | 6.444 |
| 1,5 p.p. | 3.027 |
| 2,0 p.p. | 1.793 |
| 2,5 p.p. | 1.206 |
| 3,0 p.p. | 877 |
A curva mostra a troca. Reduzir pela metade a diferença que você quer detectar multiplica por quase quatro os contatos que cada variante precisa. A taxa de compra da Retro Revival era de 3,7%, com 98% de entrega e 80% de poder:
| Menor aumento a detectar | Contatos por variante |
|---|---|
| 1 ponto | 6.444 |
| 1,3 ponto | 3.943 |
| 1,5 ponto | 3.027 |
| 2 pontos | 1.793 |
| 3 pontos | 877 |
A Retro Revival esperava que o frete grátis elevasse as compras em 1,3 ponto, o que exige 3.943 contatos por variante. Ela tinha 4.000 no total, ou seja, 2.000 por variante. Com essa amostra, o planejador informa um menor aumento detectável com confiança de cerca de 1,9 ponto. A equipe lançou o teste mesmo assim, sabendo que uma diferença real menor poderia passar despercebida.
Quando o teste precisa de mais contatos
Algumas escolhas aumentam o número, e o planejador diz qual delas está pesando:
- Mais variantes. Cada variante é comparada ao controle num nível mais rigoroso, para que o conjunto das comparações mantenha o seu nível de significância. Três variantes precisam de mais contatos por variante do que duas.
- Uma divisão desigual. Um grupo de exclusão pequeno ou um controle grande deixam cada comparação mais cara do que uma divisão igual.
- Margens nas métricas de proteção. Uma métrica de proteção com margem pode exigir mais contatos do que a métrica principal. Nesse caso, o planejador dimensiona o teste por ela.
- Análise sequencial (a partir do plano Business). Olhar o resultado enquanto a janela corre exige mais contatos do que uma única leitura no fim. O planejador diz quantos a mais.
Uma amostra de teste menor: Test & Roll
Às vezes você não precisa de prova, só da melhor escolha para o restante da lista. Enviar o resultado para o restante com a política Enviar a líder (política de lucro) envia a todos os demais a variante que parece melhor depois de um teste curto.
Para essa política, o planejador pode sugerir uma Amostra de teste ideal para o lucro (Test & Roll). Ela pesa o quanto os resultados variaram nos seus experimentos anteriores contra o que o restante da lista tem a ganhar. Precisa de pelo menos dois experimentos anteriores, e de duas variantes sem grupo de exclusão. A amostra costuma ser bem menor que a recomendada. É uma escolha de lucro: uma amostra desse tamanho em geral é pequena demais para achar um vencedor significativo.
O plano é congelado no bloqueio
O aumento a detectar e o poder ficam salvos com o experimento e são congelados quando você o bloqueia, junto com o resto do pré-registro. Depois, a página de resultados informa a menor diferença que o teste encerrado conseguiria detectar com confiança. Se o teste terminar inconclusivo, esse número diz se uma diferença real pode ter passado despercebida.
E um teste rápido de assunto?
Um envio A/B simples pela página Enviar não tem planejador, e nada é fixado com antecedência. Para um assunto que importa, como um lembrete de renovação, execute-o como experimento e planeje pela taxa de cliques, não pelas aberturas. A Proteção de Privacidade do Mail da Apple infla as aberturas, então elas são uma métrica principal ruim.
Variante A (controle)
Assunto
The October restock is here
Variante B
Assunto
Back in stock: the 3 cameras you asked for
Cliques são muito mais comuns do que compras, então um teste de assunto costuma precisar de bem menos contatos do que um teste de recompensa. Seu próprio histórico de cliques nos envios recentes para a lista preenche a taxa de partida.
Primeiros passos
Crie um experimento com Executar como experimento na página Enviar de um e-mail. Escolha a métrica principal em Hipótese e métricas e abra o Planejador do tamanho da amostra em Público e amostra. Confira de onde veio a taxa de partida, informe o menor aumento que faria você agir e dimensione a amostra antes de bloquear. Experimentos (testes A/B) explica cada etapa.