Como ler os resultados de um experimento

Um experimento termina com uma decisão que você mesmo registra. A página de resultados dá o que você precisa para tomá-la: a diferença entre as variantes, quanta certeza você pode ter dela e se o próprio envio foi justo. Esta página percorre os painéis um a um e depois explica o que os números significam.

Os exemplos usam a Retro Revival, uma loja de roupas fictícia, com números inventados. O controle dela, a variante A, oferecia 10% de desconto. A variante B oferecia frete grátis. O e-mail de cada variante foi entregue a 1.960 destinatários, e a métrica principal era a conversão em compra.

Onde encontrar os resultados

Os resultados de cada experimento ficam no Insights do e-mail dele, em Experimentos. Na lista de Experimentos, o menu de cada linha tem Resultados no Insights. Os primeiros resultados aparecem depois da primeira análise, que roda quando o envio termina. Enquanto a janela está aberta, a página avisa que os resultados são parciais: não decida antes que ela termine.

O cabeçalho mostra o status, a janela, a evidência até o momento e as ações: Explicar, Exportar, Registrar decisão, Encerrar experimento e Implantar vencedor, cada uma quando se aplica.

A página de resultados, painel por painel

Pré-registro

O que você fixou no bloqueio: a hipótese, as métricas e o papel de cada uma, o nível de significância, as variantes, a amostra e as escolhas estatísticas. Ele está ali para que qualquer pessoa que leia o resultado possa conferir que ele responde à pergunta que foi feita.

Resultados

O cartão da métrica principal mostra cada variante menos o controle, com o intervalo, o valor p ajustado por Holm e um veredito: Significativo, Não significativo ou Significativo: o controle se saiu melhor. Abaixo dele, uma frase diz em palavras simples o que o resultado significa. Ela termina com a menor diferença detectável: o tamanho de diferença que esse número de destinatários conseguia detectar com confiança.

Na Retro Revival, a frase diz que o frete grátis foi 1,33 ponto melhor que os 10% de desconto (5,0% contra 3,7%). A melhora real provavelmente está entre 0,05 e 2,62 pontos. Uma diferença desse tamanho seria incomum se as duas tivessem o mesmo desempenho.

As métricas secundárias e as métricas de proteção ficam na tabela abaixo, Métricas secundárias e salvaguardas. As métricas secundárias são exploratórias: cada uma é marcada como Se destaca ou Não se destaca, nunca como "significativa". Uma métrica de proteção mostra Pior que o controle ou Não se mostrou pior. Só uma métrica de proteção claramente pior bloqueia uma vencedora.

Em relação ao grupo de exclusão

Com um grupo de exclusão, um segundo cartão compara cada variante enviada com os contatos que não receberam nada, por contato atribuído. Ele mostra o que o e-mail acrescentou em relação a não enviar nada. É descritivo: a decisão continua comparando as variantes com o controle.

Etapas de interação

Barras separadas, um par por etapa: Pessoas únicas que clicaram e Compradores, cada uma como parcela da própria base. Elas não são passos de um funil. Dá para comprar sem clicar em um link rastreado, já que o código de desconto também liga um pedido à variante dele.

A tendência ao longo da janela

A métrica principal ao longo da janela, um ponto por análise diária. Serve só para acompanhar. Uma vantagem que vem e vai no caminho não é evidência: o teste é lido uma única vez, quando a janela termina.

Qualidade dos dados

Leia este painel antes do resultado. As Verificações estatísticas dizem se o sorteio, o envio e os dados se sustentaram:

• Atribuições: cada variante contém os contatos que o sorteio atribuiu a ela.
• Proporção da amostra: os e-mails de cada variante saíram na proporção para a qual ela foi sorteada.
• Rejeições: as taxas de rejeição são parecidas entre as variantes. Se não forem, as métricas passam a ser contadas por e-mail enviado em vez de por e-mail entregue.
• Equilíbrio e Composição: as variantes começaram parecidas no que se sabia antes do envio, como engajamento e pedidos anteriores.
• Outros experimentos: quando havia contatos em outro experimento ao mesmo tempo, se os dois interagem na métrica principal.

A verificação de Proporção da amostra é a mais importante. Ela falha quando o acaso produziria uma diferença desse tamanho entre as parcelas sorteadas e as enviadas menos de uma vez em 2.000 tentativas. Isso aponta para um problema no envio, então uma verificação reprovada marca o resultado como inválido.

Abaixo das verificações ficam Horário do envio (o intervalo entre a saída das variantes), Amostra e sobreposição e Entregues (atribuídos, enviados, rejeitados e entregues por variante). Depois vêm Códigos de recompensa, Pedidos por regra de atribuição e Receita e promoções.

Restante do público

Se o experimento envia uma variante para o restante do público, este cartão mostra cada leitura da amostra de teste, qual variante o restante recebeu e por quê, e quantos e-mails foram enviados. Ele só escolheu o que o restante do público recebeu. A decisão do próprio experimento continua sendo registrada sobre a janela inteira.

Decisão

Depois que você registra uma decisão, ela aparece aqui para sempre, com a sua justificativa e a evidência que a análise deu a ela.

O que os números significam

Cada comparação tem três partes:

• A diferença: a taxa da variante menos a do controle, em pontos percentuais. Os 5,0% do frete grátis menos os 3,7% dos 10% de desconto dão +1,33 ponto.
• O intervalo: a faixa em que a diferença real provavelmente está. Aqui ela vai de 0,05 a 2,62 pontos. O intervalo não inclui o zero, então uma melhora real é provável, mesmo que pequena.
• O valor p: com que frequência uma diferença desse tamanho apareceria se as variantes tivessem, de fato, o mesmo desempenho. Aqui p = 0,041, abaixo do nível de significância de 0,05, então a diferença é significativa.

As pessoas únicas que clicaram contam outra história. O frete grátis teve 15,0% contra 13,5%, mas p = 0,185 e o intervalo inclui o zero. É uma tendência, não um resultado significativo: a diferença nos cliques pode ser acaso.

A frase dos resultados assume uma destas formas:

• Vencedora: uma variante superou o controle na métrica principal, e nenhuma métrica de proteção a bloqueia.
• Inconclusivo: não há evidência suficiente para escolher. É um resultado normal e útil. Ele diz que a diferença, se existir, é menor do que este teste conseguia ver.
• Sem diferença: está comprovado que todas as variantes ficam perto do controle, dentro da margem de "sem diferença" que você definiu antes do bloqueio. Sem margem, um resultado estável é inconclusivo.
• Não confiável: uma verificação de qualidade dos dados falhou. Confira o painel antes de decidir.
• Cedo demais: a janela ainda está aberta.

Resultados inconclusivos são comuns em listas pequenas. O teste da Retro Revival só conseguia detectar com confiança uma diferença de cerca de 1,9 ponto, então o resultado de 1,33 ponto foi uma sorte. Se o frete grátis tivesse 85 compradores em vez de 98 (4,3% contra 3,7%), o p seria 0,29: inconclusivo. O próximo passo certo, nesse caso, é uma amostra maior ou uma janela mais longa, dimensionadas com o planejador do tamanho da amostra, e não olhar de novo os mesmos números.

Por que a janela é fixa

Cada olhada diária em um teste em andamento é mais uma chance de o ruído parecer uma vencedora. Pare na primeira olhada que passar do limite habitual, e vencedoras falsas ficam muito mais prováveis. Por isso um experimento de Horizonte fixo é lido uma única vez, no fim da janela que você definiu.

A estatística z da Retro Revival terminou em 2,039, acima do limite fixo de 1,96. Lido uma única vez, o resultado é significativo. Mas ele passou de 1,96 pela primeira vez no dia 5, então quem olhasse todo dia teria parado ali, com uma evidência mais fraca.

No plano Business e superiores, a análise Sequencial permite consultar o resultado durante a janela. Cada consulta tem um limite mais rígido, então a chance total de uma vencedora falsa continua no seu nível de significância. Não há consulta até chegar cerca de metade dos dados esperados, nem nas primeiras 48 horas depois que o envio termina, e há no máximo uma consulta por dia. Com os números da Retro Revival, nenhuma consulta cruza o seu limite: o último é 2,056, um pouco acima de 2,039. Se uma variante cruzar antes, você pode registrar a decisão antes do fim da janela.

Várias variantes e várias métricas

Mais comparações significam mais chances de uma delas parecer boa por sorte. O MailInApp corrige isso:

• A métrica principal usa a correção de Holm entre as variantes comparadas com o controle. Os intervalos dela aparecem mais largos na mesma medida: com três variantes além do controle, cada um aparece a 98,3% em vez de 95%.
• As métricas secundárias usam Benjamini–Hochberg. Elas são exploratórias, então podem se destacar, mas nunca decidem o experimento.
• As métricas de proteção são lidas com um nível mais folgado de propósito, porque deixar passar um dano real custa mais que um alarme falso.

Comparações ajustadas

Se você manteve Ajustar pelo que se sabia antes do envio ativado nas escolhas de Estatística, os resultados também mostram uma comparação ajustada. Ela leva em conta a pontuação de engajamento e o histórico de compras de cada contato no momento do sorteio, o que costuma estreitar os intervalos. Quando o ajuste rodou, a comparação que decide é a ajustada. A comparação sem ajuste também aparece sempre.

A escolha é feita antes do bloqueio, como o resto do plano, para que ninguém possa ativá-la depois de ver qual leitura fica melhor. O ajuste é pulado, para todas as variantes de uma vez, quando uma variante é pequena demais ou não há nada pelo que ajustar.

Métricas de receita

Receita por e-mail entregue divide a receita da loja atribuída a cada variante pelos destinatários com e-mail entregue. A receita de cada contato é limitada a um percentil alto dos compradores, escolhido antes do bloqueio, para que um único pedido muito grande não decida o teste. O intervalo vem de um método de reamostragem quando a receita é desigual demais para a fórmula habitual.

Receita e promoções mostra o dinheiro por variante. Os números da Retro Revival, em dólares americanos:

A receita exclui impostos e frete, e os descontos já estão refletidos. Isto não é um cálculo de lucro.

• Custo promocional são os descontos dos pedidos, mais a sua estimativa de custo de frete para cada pedido com frete grátis.
• Uso de códigos são os códigos usados em um pedido atribuído, divididos pelos códigos emitidos para os destinatários da variante.
• Valor médio do pedido depende de quem comprou, então não pode decidir o experimento. Aqui os pedidos com frete grátis foram menores, mas mais gente comprou.
• Reembolsos feitos na janela no Shopify e no WooCommerce são subtraídos da receita. Uma loja Shopify conectada antes de existirem as recompensas de experimento precisa ser reconectada primeiro. Reembolsos de pagamentos feitos pelo checkout no e-mail não são subtraídos.
• Outras moedas: pedidos em uma moeda diferente da do experimento ficam fora da receita e são contados à parte.

A receita por entregue foi maior com o frete grátis, mas p = 0,13: não é significativa por si só. Quem decide é a conversão em compra, a métrica principal.

Os pedidos são associados às variantes pelas regras de atribuição que você escolheu, nesta ordem: código de desconto, link rastreado, checkout no e-mail e, por fim, endereço de e-mail. A primeira regra que corresponde decide, e as outras não são mais verificadas. O cartão Pedidos conta as correspondências de cada regra, e as correspondências por endereço de e-mail aparecem como prováveis.

Recompensas diferentes por variante explica cada regra e como os códigos são gerados.

Registrando uma decisão

Quando a janela termina e a análise final fica pronta, Registrar decisão abre uma caixa de diálogo. Escolha Vencedor (e a variante vencedora), Sem diferença ou Inconclusivo, e escreva a sua justificativa. A evidência registrada com ela vem da análise, não do formulário:

• Escolher uma variante que a análise não apontou fica marcado no registro para sempre: "A análise não apontou esta variante como vencedora."
• Registrar uma vencedora sobre um resultado que falhou em uma verificação de qualidade dos dados, ou antes de qualquer análise, exige uma Nota de exceção.
• Uma decisão registrada não pode ser alterada.

Depois:

• Encerrar experimento torna o registro definitivo. A configuração, os resultados e a decisão não podem mais mudar. Se o experimento foi decidido antes do fim, encerre-o quando a análise final da janela inteira estiver pronta.
• Implantar vencedor cria um novo e-mail a partir da variante vencedora, com o conteúdo e a oferta dela, o assunto e o remetente, e a lista de contatos do experimento. Todas as pessoas que o experimento atribuiu ficam de fora de todo envio desse e-mail. Nada é enviado até você enviar pela página de envio dele. Envie a versão vencedora para o restante do seu público acompanha um do começo ao fim.
• Exportar baixa o relatório como Relatório em PDF (com o nome da sua empresa e a cor da sua marca no plano Business e superiores), como Tabelas CSV ou como JSON. Ele contém só números: nenhum nome ou endereço.
• Explicar pede à Mia que descreva o resultado em palavras simples, usando só os números e os rótulos do relatório. A Mia nunca chama uma diferença de significativa se a análise não fez isso. Cada uso consome uma solicitação da Mia AI.

Registrar a decisão responde à pergunta do experimento. Enviar a vencedora para mais pessoas é uma etapa separada, posterior.

Veja também

• Experimentos (testes A/B)
• Descubra qual recompensa vende mais com um teste A/B de raspadinha
• Envie a versão vencedora para o restante do seu público
• Webhooks e eventos
• Respostas e webhooks