Descubra Qual Recompensa Vende Mais com um Teste A/B de Raspadinha

Frete grátis ou 10% de desconto: qual recompensa transforma mais assinantes em compradores? Este guia responde do jeito que um experimento responde. Esconda cada recompensa sob a mesma raspadinha, envie as duas versões ao mesmo tempo e deixe as compras decidirem.

A Retro Revival é uma marca de roupas fictícia, e todos os números aqui são inventados para ilustrar. O teste dela em números: 50.874 assinantes · 2 variantes de recompensa · janela de observação de 7 dias.

Conheça a Retro Revival

A Retro Revival cria roupas de inspiração vintage com materiais reciclados e orgânicos, feitas com artesãos independentes. A nova coleção, Grunge Revival: The 90s Edit, revisita a moda alternativa dos anos 1990.

Para lançá-la, o time de marketing quer oferecer uma recompensa aos assinantes. Em vez de adivinhar qual funciona, monta um experimento controlado e decide pelas compras.

O mesmo e-mail, uma única diferença

Todos os destinatários recebem o mesmo e-mail: assunto, texto da coleção, carrossel de produtos, raspadinha e botão da loja. Só muda a recompensa revelada sob o cartão. Assim, uma diferença nas compras pode ser atribuída à recompensa, e não ao design.

As duas versões são variantes de um mesmo experimento. Um experimento compara cada variante com um controle, e só outra variante pode ser apontada como vencedora. Por isso, o controle é a oferta que você mandaria de qualquer forma. Aqui são os 10% de desconto, a variante A. O frete grátis é a variante B.

As duas variantes compartilham um único e-mail. No estúdio, escolha uma variante no menu Variante da barra de ferramentas e mude o prêmio do cartão só para essa variante. Experimente as duas abaixo: raspe o cartão, veja-o revelado ou veja o fallback que os apps de e-mail sem raspadinha mostram.

O botão da loja fica Dentro do prêmio revelado. Onde a raspadinha funciona, o botão só aparece depois que o cartão é raspado, então um clique vem depois de a recompensa ser vista. O e-mail não tem um segundo botão abaixo do cartão, porque nesse daria para clicar sem revelar. Onde fica o link compara as duas posições.

Faça o pré-registro antes de enviar

Na etapa Hipótese e métricas, o time registra o plano antes de enviar qualquer coisa:

• Hipótese: o frete grátis vai transformar mais assinantes em compradores do que os 10% de desconto.
• Métrica principal: Conversão em compra, a parcela dos destinatários com entrega que compraram. Esse único número decide o experimento.
• Métricas secundárias: Taxa de cliques únicos e Receita por e-mail entregue. Elas explicam o resultado, mas não o decidem.
• Métrica de proteção: Taxa de descadastro. Uma vencedora não pode ser claramente pior nela.
• Nível de significância: 5% (bilateral), com análise de Horizonte fixo em uma janela de observação de 7 dias.

O time deixa de fora a Taxa de revelação observada e a Taxa de cliques após revelação. O MailInApp ainda não registra revelações a partir das caixas de entrada. Os cliques após revelar também dependem de quem escolheu revelar, então essa métrica não é uma comparação aleatorizada.

Bloquear pré-registro, na etapa Revisão e bloqueio, congela a hipótese, as métricas, o público e as variantes, e sorteia a amostra. Ninguém consegue trocar para uma métrica mais favorável depois que os resultados chegam.

Alcance os assinantes certos

The 90s Edit é para assinantes que gostam de rock e dos anos 1990. Na etapa Público e amostra, o time escolhe a lista de 50.874 contatos e adiciona duas regras de filtro, Rock–Alternativo E anos 1990. O cartão Contagem do público mostra cada etapa:

• Elegíveis vem antes da segmentação. 4.554 contatos não podem receber nenhum e-mail, e a lista Deixados de fora diz por quê: descadastrados, sem consentimento de marketing, com endereço inválido e assim por diante. Sobram 46.320.
• Segmentados aplica o filtro só aos contatos elegíveis. 11.240 gostam de Rock–Alternativo e 14.870 dos anos 1990, mas 6.420 gostam dos dois.
• No experimento é a amostra: 4.000, divididos em 2.000 por variante.

Antes do sorteio, o time confere a Visão do público pelo campo customer_type. Dos 6.420 contatos segmentados, 2.311 são clientes e 3.981 são potenciais clientes. 128 não têm valor: o grupo Sem valor, pequeno o bastante para ficar como está.

O público depende da lista por trás dele. Monte uma base de assinantes pronta para testes trata dos campos e do consentimento, e Combine filtros de público com E e OU, do próprio filtro.

Sorteie e distribua de forma justa

O time escolhe Amostra aleatória balanceada por customer_type. A amostra é sorteada separadamente entre clientes, potenciais clientes e contatos sem valor, então as duas variantes recebem a mesma composição: 720 clientes, 1.240 potenciais clientes e 40 sem valor cada uma. Uma amostra aleatória simples é justa na média, mas qualquer sorteio isolado pode se desviar.

Cada contato fica em uma única variante, e ninguém recebe as duas recompensas. Deixar de fora contatos que já estão em outro experimento evita que a oferta de um teste anterior vaze para este.

2.000 por variante bastam? O Planejador do tamanho da amostra diz que não, para o aumento que o time esperava. Levar as compras de 3,7% para 5,0%, um aumento de 1,3 ponto, exige 3.943 contatos por variante.

Com 4.000 no total, o teste consegue detectar com segurança um aumento de cerca de 1,9 ponto. O time segue mesmo assim, sabendo que uma diferença real menor poderia passar despercebida. Descubra de quantos contatos seu teste A/B precisa explica o planejador passo a passo.

Recompensas e início

Na etapa Recompensa e atribuição, a variante A recebe um Desconto percentual de 10% e a variante B, Frete grátis. Os códigos das duas variantes valem por 7 dias, então nenhuma oferta tem mais tempo para funcionar. Cada destinatário recebe o próprio código de uso único, vinculado a ele. Os códigos são gerados no momento do envio na loja Shopify ou WooCommerce conectada à lista de contatos do experimento.

O link do prêmio da raspadinha é a tag de personalização {{discount_url}}, que leva cada destinatário à loja com o próprio código. As prévias desta página levam direto à loja, porque uma prévia não consegue gerar um código.

Para o frete grátis, o time informa um Custo médio de frete por pedido de US$ 5,50. Ele é contado como custo promocional em cada pedido com frete grátis. No WooCommerce, os códigos de frete grátis também precisam de um método Free Shipping que aceite cupom, e a etapa avisa quando não há nenhum.

A mesma etapa define a Atribuição de pedidos: as regras que associam um pedido da loja a uma variante, fixadas no bloqueio. O time mantém as três padrão, Código de desconto, Link rastreado e Checkout no e-mail. Deixa Endereço de e-mail (provável) desligada, então cada pedido contado é uma correspondência firme.

Iniciar monta o e-mail de cada variante do jeito que ele será enviado. Ele se recusa a iniciar se o e-mail de uma variante mostrar a recompensa da outra em qualquer lugar, fallback incluído. Depois, as duas variantes saem ao mesmo tempo, intercaladas nos mesmos minutos. 40 e-mails por variante voltam como bounce, então 1.960 por variante são entregues. Todas as taxas abaixo são uma parcela desses e-mails entregues.

O que acontece depois da raspada

Raspar o cartão acontece dentro do app de e-mail do destinatário. O MailInApp ainda não registra revelações a partir das caixas de entrada, então este guia não consegue mostrar quantas pessoas rasparam, nem quem raspou e depois não clicou. O que chega ao MailInApp é um clique no link do prêmio.

Como o botão fica dentro do prêmio revelado, um clique em um app de e-mail onde a raspadinha funciona vem depois de uma revelação. Nos apps que mostram o fallback, o prêmio e o link ficam visíveis desde o início.

As pessoas únicas que clicaram foram 294 no frete grátis contra 265 nos 10% de desconto: 15,0% contra 13,5% dos e-mails entregues. É uma diferença de 1,5 ponto, mas p = 0,185. A diferença nos cliques é uma tendência, não um resultado significativo: pode ser obra do acaso.

Quem clicou e quem comprou são medidas separadas, cada uma sobre os 1.960 e-mails entregues. Não são etapas de um funil. Dá para comprar sem um clique rastreado, porque o código de desconto também liga um pedido à sua variante.

As compras decidem

Quando a janela termina, a página de resultados lê a métrica principal. Compraram 98 destinatários do frete grátis, contra 72 com 10% de desconto: 5,0% contra 3,7%.

A frase de resultados diz que o frete grátis foi 1,33 ponto melhor que os 10% de desconto. A melhora real provavelmente fica entre 0,05 e 2,62 pontos, e p = 0,041. Isso está abaixo do nível de significância de 5%, então a diferença é significativa. Em termos relativos, o frete grátis vendeu para 36,1% mais destinatários.

O intervalo é largo, e a ponta de baixo fica perto de zero. O frete grátis muito provavelmente vende mais aqui, mas quanto a mais é incerto. Lembre do planejador: este teste só conseguia ver com segurança cerca de 1,9 ponto, então um resultado de 1,33 ponto foi sorte.

A métrica de proteção Taxa de descadastro se manteve: 0,20% no frete grátis contra 0,26% nos 10% de desconto, então ela não bloqueia a vencedora.

Receita e promoções mostra o dinheiro por variante, em dólares americanos:

A receita exclui impostos e frete, e os descontos já estão refletidos. Isto não é um cálculo de lucro.

Os pedidos com frete grátis foram menores, mas mais gente comprou. A receita por e-mail entregue foi maior com o frete grátis, mas p = 0,13: não é significativa sozinha. É uma métrica secundária, então explica o resultado sem decidi-lo.

O custo promocional é o que cada recompensa deu de presente. Nos 10% de desconto, é o desconto de cada pedido. No frete grátis, é a estimativa de frete de US$ 5,50 em cada pedido com frete grátis. Nenhuma das duas colunas é lucro: o custo dos produtos vendidos não está em nenhuma delas.

Cada pedido chega à sua variante pelas regras de atribuição, verificadas em uma ordem fixa. A primeira que corresponde decide, e as outras não são mais verificadas. Só contam os pedidos feitos durante a janela de 7 dias.

Todos os compradores da Retro Revival usaram o próprio código, por isso o uso de códigos bate com os compradores: 72 e 98 códigos de 2.000 por variante. Então a primeira regra decidiu todos os pedidos. O cartão Pedidos da página de resultados mostra quantos pedidos cada regra associou. Métricas de receita trata dos reembolsos e das outras moedas.

Registre a decisão e encerre

O experimento termina com uma decisão que o próprio time registra. Registrar decisão abre uma caixa de diálogo: Vencedor, a variante B, frete grátis. A justificativa cita a diferença significativa nas compras, os cliques e a receita sem significância e o intervalo largo. A evidência salva com ela vem da análise: significativa.

Encerrar experimento torna o registro definitivo. Exportar baixa o relatório em PDF, tabelas CSV ou JSON. Ele traz o pré-registro, os números por variante, as verificações e a decisão, sem nomes nem endereços.

O experimento termina aqui. Registrar o frete grátis como vencedor responde à pergunta. Não envia nada. Oferecer frete grátis ao restante do público é uma ação separada, com o próprio público e o próprio momento: Envie a versão vencedora para o restante do seu público.

Três lições

1. Mude uma coisa só. As duas variantes receberam o mesmo e-mail, então a diferença nas compras vem da recompensa. Um único e-mail com uma alteração por variante garante isso.
2. Os cliques apontam, as compras decidem. O frete grátis atraiu mais cliques, mas não de forma significativa. Só a métrica principal, definida antes do envio, escolheu a vencedora.
3. Uma decisão não é um envio. O time registrou o frete grátis como vencedor, com a evidência. Enviá-lo para mais gente, levando em conta o custo do frete, vem depois.

E se não tivesse sido conclusivo?

Imagine que 85 destinatários do frete grátis tivessem comprado, em vez de 98. Seriam 4,3% contra 3,7%, com p = 0,29. A página de resultados mostraria Inconclusivo: não há evidência suficiente para escolher.

É um resultado normal e útil. Ele diz que qualquer diferença é menor do que este teste conseguia ver. O time registraria Inconclusivo com a justificativa e manteria os 10% de desconto como oferta de sempre. Para saber mais, poderia planejar uma amostra maior ou uma janela mais longa com o planejador, e rodar um novo experimento. Não chamaria o frete grátis de vencedor só porque a taxa dele foi maior.

Primeiros passos

Abra o e-mail no estúdio e adicione uma raspadinha com o Link do prêmio definido como {{discount_url}}. Depois, comece um experimento com Executar como experimento, dê a cada variante a sua recompensa e bloqueie o plano antes de enviar. Experimentos (testes A/B) cobre cada etapa, e Como ler os resultados de um experimento, como ler o que volta.