새 체험 사용자에게는 제품으로 바로 안내하는 짧은 이메일 한 통이 좋을까요, 며칠에 걸친 가이드 투어가 좋을까요? 여정 실험은 여러분의 실제 가입자로 이 질문에 답합니다. 새 연락처는 분할에서 경로를 배정받아 계속 그 경로로 가고, 목표 단계가 실제로 사용을 시작한 사람을 셉니다. 결과가 나오면 결정은 여러분이 하고, 모두를 이긴 경로로 보내는 것도 여러분이 직접 합니다.
이 가이드는 가상의 사진 보관 앱 Darkroom Cloud를 따라가며, 여기 나오는 숫자는 모두 꾸며낸 것입니다. 이런 테스트는 한 번의 발송보다 여정에 더 잘 맞습니다. 두 버전은 이메일 한 통 이상에서 다르고, 새 연락처는 한꺼번에가 아니라 매일 들어옵니다.
Darkroom Cloud 소개
Darkroom Cloud는 사진가의 사진 라이브러리를 보관하고 정리하는 앱입니다. 무료 체험은 14일이며, 팀은 계속 쓰는 사람에 대해 한 가지를 알고 있습니다. 첫 앨범을 일찍 올린 사람은 대개 계속 사용한다는 것입니다. 매일 약 140명이 체험을 시작합니다.
가입자는 모두 API를 통해 무료 체험 연락처 목록에 들어가고, 그 목록에 대한 연락처가 목록에 추가됨 트리거로 여정이 시작됩니다. 팀은 어떤 환영 방식이 일주일 안에 첫 앨범을 올리는 신규 사용자를 더 많이 만드는지 알고 싶었습니다.
분할 뒤의 두 경로
여정의 첫 단계는 경로가 두 개인 분할입니다.
- 경로 1, 빠른 시작(대조군): "Upload your first album" 버튼 하나만 있는 이메일, 6일 대기, 목표 단계.
- 경로 2, 가이드 투어: 투표 블록으로 무엇을 가장 많이 찍는지 묻고 거기서 투어를 시작하는 이메일, 2일 대기, 그 촬영 분야에 맞는 팁을 담은 두 번째 이메일, 4일 대기, 목표 단계.
경로 1 · 빠른 시작 (대조군)
제목
Your first album in two minutes
경로 2 · 가이드 투어
제목
Let's set up Darkroom Cloud together
목표 단계의 규칙은 "first_album이 yes"입니다. 누군가 앨범을 올리는 순간 앱이 API로 이 연락처 필드를 설정합니다. 목표 단계는 연락처가 그 단계에 도달할 때 규칙을 확인하므로, 두 경로 모두 분할 6일 뒤에 목표 단계로 끝납니다. 이는 각 연락처의 7일 기간 안이므로 두 경로가 같은 시점에 측정됩니다.
"실험 진행" 선택하기
분할의 분배 방식 에는 세 가지 모드가 있습니다. 고정 비율 은 정한 가중치를 그대로 쓰며 아무것도 측정하지 않습니다. 결과 극대화(최적화) 는 결과가 쌓이는 대로 전환이 더 좋은 경로로 더 많은 연락처를 보냅니다. 실험 진행(사전 등록 테스트) 은 비율을 고정한 채 믿을 수 있는 결과를 줍니다.
- 경로 1
- 경로 2
0일차
2일차
7일차
21일차
설정한 비율을 여정이 실행되는 동안 계속 사용합니다. 비교는 하지 않습니다.
| 시점 | 경로 1 | 경로 2 |
|---|---|---|
| 0일차 | 50% | 50% |
| 2일차 | 50% | 50% |
| 7일차 | 50% | 50% |
| 21일차 | 50% | 50% |
| 시점 | 경로 1 | 경로 2 |
|---|---|---|
| 0일차 | 50% | 50% |
| 2일차 | 19% | 81% |
| 7일차 | 12% | 88% |
| 21일차 | 8% | 92% |
| 시점 | 경로 1 | 경로 2 |
|---|---|---|
| 등록 기간(20일) | 50% | 50% |
| 결정 이후 | 0% | 100% |
극대화는 솔깃합니다. 며칠 안에 신규 사용자 대부분을 더 나은 경로로 보냈을 테니까요. 하지만 공정한 비교를 주지 않고 승자도 정하지 않으므로, 팀은 가이드 투어가 얼마나 더 나은지, 아니 더 나은지조차 알 수 없었을 것입니다. 온보딩을 영구히 바꾸기 전에 그 답이 필요했기에 팀은 실험을 골랐습니다.
질문을 사전 등록하기
실험 설정 을 누르면 네 단계가 열립니다. 가설 및 지표 에 팀은 이런 가설을 적었습니다. "가이드 투어는 빠른 시작 이메일보다 일주일 안에 첫 앨범을 올리는 신규 사용자를 더 많이 만든다. 신규 사용자에게는 안내가 필요하기 때문이다." 그다음 지표를 정했습니다.
- 주요 지표 목표 달성률: 분할에 도달한 연락처 중 자기 기간 안에 여정이 목표 단계에서 끝난 사람의 비율입니다. 분할 이후에 목표 단계가 있어야 하며, 두 경로 모두 있습니다.
- 보조 지표 고유 클릭률: 결과를 설명하기 위한 것이며 결정에는 쓰지 않습니다.
- 가드레일 수신 거부율: 사람들을 떠나게 하는 승자를 잡아내기 위해서입니다.
그룹 및 콘텐츠 에서 변형은 분할의 경로 그대로이고 순서도 같습니다. 팀은 "빠른 시작"과 "가이드 투어"로 이름을 붙이고, 경로 1을 대조군으로 두고, 비율은 각각 50%로 두었습니다.
등록 기간 계산하기
예약 및 기간 에서 연락처별 기간 을 168시간으로 정합니다. 각 연락처의 결과는 분할에 도달한 순간부터 7일 동안 집계됩니다.
등록 기간 계획 도구는 여정의 지난 28일을 읽었습니다. 그 기간에 3,920명이 분할에 도달했고(하루 140명), 기간이 끝난 사람 중 30%가 목표에 도달했습니다. 팀은 감지할 가치가 있는 최소 상승폭 을 5퍼센트포인트, 검정력을 80%로 정했습니다. 계획 도구는 다음을 보여 주었습니다.
- 분기에 도달해야 하는 연락처: 2,754명, 경로당 1,377명.
- 권장 등록 기간: 20일. 하루 140명이면 각 경로가 19.7일 만에 표본에 도달합니다. 그다음 각 연락처의 7일 기간이 이어지므로 최종 결과는 시작 후 약 27일 뒤에 나옵니다.
20일 사용 으로 등록 기간을 정했습니다. 검토 및 잠금 으로 모든 것을 고정하고, 팀은 실험을 시작했습니다.
등록 기간 동안
시작 후 20일 동안 분할에 도달한 연락처는 경로를 배정받고, 나중에 다시 가입해도 그 경로를 유지합니다. 20일이 지나면 분할은 가중치로 돌아갑니다. 각 연락처는 자기 기간이 끝나야 집계에 들어갑니다. 그때까지 결과 페이지에는 아직 기간 중 으로 표시됩니다.
중간에 팀은 가이드 투어의 두 번째 이메일을 고쳐 쓰고 싶었습니다. 편집기는 그 단계에 알림을 보여 주었습니다. 진행 중인 실험의 경로에 있는 단계이며, 변경은 모두 기록된다는 내용이었습니다. 변경은 할 수 있지만, 변경 전후의 연락처가 다른 버전을 받게 되므로 모든 변경이 날짜와 함께 실험 중 변경 사항 에 기록됩니다. 팀은 실험이 끝날 때까지 기다리기로 했습니다.
또한 실험이 관찰 중이면 여정을 삭제할 수 없습니다. 이미 배정된 연락처와 그들이 만들어 낼 결과를 지키기 위해서입니다.
결과 읽기
최종 분석은 등록 기간이 끝나고 한 기간 뒤에 나왔습니다. 분할에 도달한 연락처는 2,800명으로, 빠른 시작이 1,412명, 가이드 투어가 1,388명이었습니다. 표본 비율 검사는 통과했습니다(p = 0.65). 각 경로는 받아야 할 비율만큼 연락처를 받았습니다.
결과는 분할에 도달한 사람을 그 뒤에 무슨 일이 있었든 모두 집계했습니다. 이것이 intention to treat입니다. 투어 이메일이 반송된 연락처도 여전히 가이드 투어에 집계됩니다. 그래야 비교가 공정합니다.
주요 지표:
| 경로 | 분할 도달 | 목표 도달 | 목표 달성률 |
|---|---|---|---|
| 경로 1, 빠른 시작(대조군) | 1,412 | 424 | 30.0% |
| 경로 2, 가이드 투어 | 1,388 | 487 | 35.1% |
가이드 투어의 목표 달성률은 5.1포인트 높았고, 차이는 아마 1.6~8.5포인트 사이입니다(p = 0.004). 결과는 유의함 입니다. 이 정도 연락처라면 약 5.0포인트의 차이를 안정적으로 감지할 수 있었고, 이는 팀이 계획한 상승폭입니다.
다른 수치는 결과를 설명할 뿐 결정하지 않습니다. 가이드 투어의 고유 클릭률은 60%, 빠른 시작은 56%였지만 이는 탐색적으로 읽는 보조 지표입니다. 수신 거부 가드레일은 1.5% 대 1.3%로 나쁘다는 근거 없음 이었으므로, 승자를 막는 것은 없었습니다.
결정을 기록하고 모두를 경로 2로 보내기
실험은 팀이 기록하는 결정으로 끝납니다. 결정 기록 에서 결과, 이긴 변형, 이유를 입력했습니다. 팀은 승자 로 가이드 투어를 고르고 이유를 적었습니다. 함께 기록되는 근거인 "유의함"은 양식이 아니라 분석에서 나옵니다.
결정을 기록해도 여정은 바뀌지 않았고, 대신 결과 페이지와 분할에 새 버튼 모두 경로 2(으)로 보내기가 나타났습니다. 대화상자는 이 버튼을 누르면 이제부터 분할에 도달하는 모든 연락처가 경로 2로 간다고 설명했습니다. 근거도 다시 보여 주었습니다. "분석에서 이 그룹을 승자로 판정했습니다. 차이는 유의합니다." 이미 배정된 사람은 자기 변형에 그대로 있으므로 결과는 바뀌지 않습니다.
팀은 버튼을 눌렀습니다. 캔버스에는 이제 "모두 → 경로 2(실험 승자)"가 표시되고, 두 경로에는 100%와 0%가 붙습니다. 실행 취소 를 누르면 분할은 가중치로 돌아갑니다. 이 클릭이 없었다면 아무 일도 일어나지 않았을 것입니다.
유의하지 않았다면?
가이드 투어가 조금 앞섰지만 유의하지 않았다고 해 봅시다. 팀은 결론 없음 을 기록하고 분할을 그대로 두거나, 더 긴 실험을 진행할 수 있습니다. 이는 정상적인 결과입니다. 이만한 가입자 수로는 이렇게 작은 차이를 구별할 수 없다는 뜻입니다.
그래도 승자를 기록할 수는 있습니다. 그러면 분석이 그 변형을 승자로 판정하지 않았다는 사실이 기록에 영구히 남습니다. 모두 경로 N(으)로 보내기 는 계속 쓸 수 있지만 대화상자가 경고합니다. "유의하지 않음: 분석에서 이 그룹을 승자로 판정하지 않았으므로 판단은 사용자에게 달려 있습니다."
시작하기
여정의 처음에 분할을 두고 버전마다 경로를 만든 뒤, 각 경로를 계획한 기간 안의 목표 단계로 끝내세요. 실험 진행(사전 등록 테스트) 을 고르고 실험 설정 을 누른 다음, 등록 기간 계획 도구가 등록 기간을 정하게 하세요. 각 단계는 여정 안의 실험에서, 세 가지 분배 방식의 비교는 분할 단계에서 설명합니다.