Um novo usuário em teste deve receber um e-mail curto que o leve ao produto, ou um tour guiado ao longo de alguns dias? Um experimento de jornada responde com os seus próprios cadastros. Cada contato novo recebe um caminho na divisão e o mantém, e a etapa de meta conta quem começou de fato. Quando o resultado sai, você decide, e é você quem envia todos pelo caminho vencedor.
Este guia acompanha a Darkroom Cloud, um app fictício para guardar fotos, e todos os números aqui são inventados. É o tipo de teste que se encaixa melhor em uma jornada do que em um único envio. As duas versões diferem em mais de um e-mail, e os contatos novos chegam todo dia, não todos de uma vez.
Conheça a Darkroom Cloud
A Darkroom Cloud guarda e organiza as bibliotecas de fotógrafos. O teste gratuito dura 14 dias, e a equipe sabe uma coisa sobre quem fica: quem envia um primeiro álbum logo costuma continuar usando. Cerca de 140 pessoas começam um teste por dia.
Cada cadastro entra em uma lista de contatos Testes gratuitos pela API, e uma jornada começa com o gatilho Contato entra numa lista nessa lista. A equipe queria saber qual boas-vindas faz mais usuários novos enviarem um primeiro álbum em uma semana.
Dois caminhos depois de uma divisão
A primeira etapa da jornada é uma divisão com dois caminhos:
- Caminho 1, Início rápido (o controle): um e-mail com um único botão, "Upload your first album", depois uma espera de 6 dias e uma etapa de meta.
- Caminho 2, Tour guiado: um e-mail que pergunta com um bloco de Enquete o que você mais fotografa e abre o tour a partir daí, uma espera de 2 dias, um segundo e-mail com dicas para esse tipo de fotografia, uma espera de 4 dias e uma etapa de meta.
Caminho 1 · Início rápido (controle)
Assunto
Your first album in two minutes
Caminho 2 · Tour guiado
Assunto
Let's set up Darkroom Cloud together
A regra da etapa de meta é "first_album é yes". O app preenche esse campo do contato pela API assim que alguém envia um álbum. Uma etapa de meta verifica sua regra quando o contato chega a ela, então os dois caminhos terminam com uma, 6 dias depois da divisão. Isso fica dentro da janela de 7 dias de cada contato, então os dois caminhos são medidos no mesmo ponto.
Escolha "Fazer um experimento"
Na divisão, Distribuição oferece três modos. Proporções fixas mantém os pesos que você define e não mede nada. Maximizar um resultado (otimização) envia mais contatos pelo caminho que converte melhor conforme os resultados chegam. Fazer um experimento (teste pré-registrado) mantém as proporções fixas e dá um resultado em que você pode confiar.
- Caminho 1
- Caminho 2
Dia 0
Dia 2
Dia 7
Dia 21
As proporções que você definiu, enquanto a jornada estiver ativa. Nada é comparado.
| Momento | Caminho 1 | Caminho 2 |
|---|---|---|
| Dia 0 | 50% | 50% |
| Dia 2 | 50% | 50% |
| Dia 7 | 50% | 50% |
| Dia 21 | 50% | 50% |
| Momento | Caminho 1 | Caminho 2 |
|---|---|---|
| Dia 0 | 50% | 50% |
| Dia 2 | 19% | 81% |
| Dia 7 | 12% | 88% |
| Dia 21 | 8% | 92% |
| Momento | Caminho 1 | Caminho 2 |
|---|---|---|
| Inscrição, 20 dias | 50% | 50% |
| Depois da decisão | 0% | 100% |
Maximizar é tentador, porque teria mandado a maioria dos usuários novos pelo melhor caminho em poucos dias. Mas nunca dá uma comparação justa nem aponta um vencedor, então a equipe nunca saberia o quanto o tour guiado é melhor, nem se é melhor. Ela queria essa resposta antes de mudar as boas-vindas de vez, e escolheu o experimento.
Pré-registre a pergunta
Configurar o experimento abre quatro etapas. Em Hipótese e métricas, a equipe escreveu sua hipótese: "Um tour guiado faz mais usuários novos enviarem um primeiro álbum em uma semana do que um e-mail de início rápido. Usuários novos precisam de acompanhamento." Depois definiu as métricas:
- Taxa de meta como métrica principal: a parcela dos contatos que chegaram à divisão cuja jornada terminou em uma etapa de meta dentro da janela. Ela exige uma etapa de meta depois da divisão, e os dois caminhos têm uma.
- Taxa de cliques únicos como métrica secundária, para explicar o resultado sem decidi-lo.
- Taxa de descadastro como métrica de proteção, para perceber um vencedor que afaste as pessoas.
Em Variantes e conteúdo, as variantes são os caminhos da divisão em ordem. A equipe as chamou de "Início rápido" e "Tour guiado", manteve o caminho 1 como controle e deixou as proporções em 50% cada.
Calcule por quanto tempo inscrever
Em Agendamento e janela, a Janela de cada contato fica em 168 horas: os resultados de cada contato contam por 7 dias a partir do momento em que ele chega à divisão.
Por quanto tempo inscrever leu os últimos 28 dias da jornada. Nesse período, 3.920 contatos chegaram à divisão, 140 por dia, e 30% dos que já tinham terminado a janela atingiram uma meta. A equipe pediu como Menor aumento que vale a pena detectar 5 pontos percentuais, com 80% de poder. O planejador então mostrou:
- Contatos que precisam chegar à divisão: 2.754, ou 1.377 por caminho.
- Inscrição recomendada: 20 dias. Com 140 contatos por dia, cada caminho atinge sua amostra em 19,7 dias. Depois corre a janela de 7 dias de cada contato, então os resultados finais saem cerca de 27 dias após o início.
Usar 20 dias definiu a inscrição. Revisão e bloqueio congelou tudo, e a equipe iniciou o experimento.
Durante a inscrição
A partir do início, cada contato que chega à divisão nos 20 dias seguintes recebe um caminho e o mantém, mesmo que se cadastre de novo mais tarde. Passados esses 20 dias, a divisão volta aos seus pesos. Cada contato só conta quando a própria janela termina. Até lá, a página de resultados o mostra como Ainda dentro da janela.
No meio do caminho, a equipe quis reescrever o segundo e-mail do tour guiado. O editor mostrou um aviso nessa etapa: ela estava nos caminhos de um experimento em andamento, e qualquer mudança seria registrada. Mudanças são permitidas, mas cada uma aparece com a data em Alterações durante o experimento, porque os contatos de antes e de depois receberam versões diferentes. A equipe preferiu esperar o experimento terminar.
A jornada também não pode ser excluída enquanto o experimento está em observação. Isso protege os contatos já atribuídos e os resultados que eles vão gerar.
Leia o resultado
A análise final chegou uma janela depois do fim da inscrição. 2.800 contatos tinham chegado à divisão: 1.412 no início rápido e 1.388 no tour guiado. A verificação Proporção da amostra passou (p = 0,65): cada caminho recebeu a parcela de contatos que devia.
Os resultados contaram todos que chegaram à divisão, acontecesse o que acontecesse depois: é a intenção de tratar. Um contato cujo e-mail do tour foi devolvido continua contando no tour guiado. Isso mantém a comparação justa.
A métrica principal:
| Caminho | Chegaram à divisão | Atingiram a meta | Taxa de meta |
|---|---|---|---|
| Caminho 1, Início rápido (controle) | 1.412 | 424 | 30,0% |
| Caminho 2, Tour guiado | 1.388 | 487 | 35,1% |
A taxa de meta do tour guiado foi 5,1 pontos maior, provavelmente entre 1,6 e 8,5 pontos (p = 0,004). O resultado mostra Significativo. Com tantos contatos, o teste conseguia detectar com segurança uma diferença de cerca de 5,0 pontos, que é o aumento que a equipe planejou.
Os outros números explicam o resultado sem decidi-lo. A taxa de cliques únicos do tour guiado foi de 60% contra 56%, mas é uma métrica secundária, lida como exploratória. A métrica de proteção de descadastros foi de 1,5% contra 1,3%, Não se mostrou pior, então nada bloqueou o vencedor.
Registre a decisão e depois envie todos pelo caminho 2
O experimento termina com uma decisão que a equipe registra. Registrar decisão pediu o resultado, a variante vencedora e uma justificativa. A equipe escolheu Vencedor, o tour guiado, e explicou por quê. A evidência registrada com ela, "significativo", vem da análise, não do formulário.
Registrar a decisão não muda nada na jornada. Mas apareceu um botão novo, na página de resultados e na divisão: Enviar todos pelo caminho 2. A caixa de diálogo explicava o que ele faz: a partir de agora, cada contato que chega à divisão vai pelo caminho 2. Ela também repetia a evidência: "A análise apontou este braço como vencedor: a diferença é significativa." Os resultados não mudam, porque todos que já foram atribuídos continuam na sua variante.
A equipe clicou. A tela agora mostra "Todos → caminho 2 (vencedor do experimento)", com 100% e 0% nos dois caminhos. Desfazer devolveria a divisão aos seus pesos. Sem esse clique, nada teria acontecido.
E se não tivesse sido significativo?
Suponha que o tour guiado tivesse ficado só um pouco à frente, sem significância. A equipe poderia registrar Inconclusivo e deixar a divisão como está, ou fazer um experimento mais longo. É um resultado normal: diz que uma diferença tão pequena não pode ser distinguida com tantos cadastros.
Ela também poderia registrar um vencedor mesmo assim. O registro então diz, para sempre, que a análise não apontou essa variante. Enviar todos pelo caminho N continua funcionando, mas a caixa de diálogo avisa: "Não significativo: a análise não apontou este braço como vencedor, então a decisão é sua."
Como começar
Coloque uma divisão no início da sua jornada, com um caminho por versão, e termine cada caminho com uma etapa de meta dentro da janela que você planeja. Escolha Fazer um experimento (teste pré-registrado), depois Configurar o experimento, e deixe Por quanto tempo inscrever definir a inscrição. Experimentos dentro de jornadas explica cada etapa, e a etapa de divisão compara os três modos de distribuição.