A/B 테스트에 필요한 연락처 수 알아보기

이메일 목록에서 하는 A/B 테스트 대부분은 찾으려는 차이를 보기에는 너무 작습니다. 실험의 대상 단계에 있는 표본 크기 계획은 아무것도 보내기 전에 테스트에 필요한 연락처 수를, 또는 대상이 안정적으로 보여 줄 수 있는 가장 작은 차이를 알려 줍니다.

너무 작은 테스트는 한 버전이 실제로 더 나아도 대개 "결론 없음"으로 끝납니다. 테스트가 실패한 것이 아닙니다. 너무 적은 사람에게 질문했다는 신호입니다. 먼저 계획하면 테스트를 그대로 시작할지, 더 과감한 변경을 테스트할지, 대상이 커질 때까지 기다릴지를 알 수 있습니다.

아래 예시는 가상의 의류 매장 Retro Revival을 가상의 숫자로 따라갑니다. 이 매장의 리워드 테스트 전체는 별도의 활용 사례로 다룹니다.

계획에 필요한 값

실험을 열고 대상 및 표본으로 이동합니다. 표본 크기 계획은 대상 인원 아래에 있습니다. 1단계에서 고른 주요 지표를 기준으로, 네 가지 값으로 계획합니다.

• 대조군의 예상 비율. 예를 들어 전달된 수신자 가운데 구매하는 사람의 비율입니다. 계획 도구가 내 기록에서 값을 채웁니다.
• 감지할 가치가 있는 최소 상승폭. 내 결정을 바꿀 만한, 대조군 대비 가장 작은 차이입니다. 비율에서는 퍼센트포인트로 씁니다. 1포인트면 3.7%가 4.7%가 됩니다.
• 검정력. 그 크기의 상승이 실제로 있을 때 테스트가 찾아낼 확률입니다. 보통 80%를 쓰며, 85%, 90%, 95%는 연락처가 더 필요합니다.
• 예상 전달률. 반송된 이메일로는 구매가 일어나지 않으므로, 계획 도구가 그만큼 연락처를 더합니다.

유의 수준은 1단계에서, 변형 간 배분은 그룹 및 콘텐츠 단계에서 가져옵니다.

내 기록에서 시작하기

기준 비율을 외우고 있는 경우는 드물고, 어림짐작은 크게 빗나가기 쉽습니다. 계획 도구는 계정에서 기준값을 읽고 각 숫자가 어디서 왔는지 알려 줍니다.

• 이 목록의 지난 실험, 없으면 다른 목록의 실험. 구매와 매출을 포함한 모든 지표에 쓰입니다.
• 이 목록에 보낸 최근 발송. 아직 어떤 실험도 측정하지 않은 클릭이나 응답 주요 지표에 쓰입니다.
• 최근 90일간의 발송. 전달률과 수신 거부·불만 가드레일에 쓰입니다.

어떤 지표에 기록이 없으면 예상 비율을 입력하라고 합니다. 어떤 숫자든 직접 덮어쓸 수도 있습니다. 그러면 **계획용 추정치입니다(저장되지 않음)**로 표시되고, 기록 사용을 누르면 측정값으로 돌아갑니다. 바꾼 기준 비율이나 전달률은 계획에만 쓰입니다. 감지할 상승폭과 검정력은 실험과 함께 저장됩니다.

권장값 읽기

감지할 가치가 있는 최소 상승폭을 입력하면 계획 도구가 권장 표본을 보여 줍니다. 테스트 전체에 필요한 연락처 수와 변형별 인원입니다. 타기팅된 대상이 충분히 크면 그렇다고 알려 줍니다. 그다음 버튼 하나로 표본을 그 크기로 맞출 수 있습니다. 그만큼의 연락처를 사용하거나, 아직 표본을 뽑지 않았다면 무작위 표본을 추출합니다.

대상이 너무 작으면 분명하게 알려 줍니다. "이 대상은 너무 작아 몇 포인트 미만의 상승은 감지할 수 없습니다." 이 숫자가 테스트의 정직한 크기입니다. 이보다 작은 실제 차이는 쉽게 놓칠 수 있습니다. 그 숫자로 계획하면 계획이 그에 맞게 바뀝니다.

곡선은 그 맞교환을 보여 줍니다. 감지하려는 차이를 절반으로 줄이면 변형마다 필요한 연락처는 거의 네 배가 됩니다. Retro Revival의 구매율은 3.7%였고, 전달률 98%, 검정력 80%에서는 다음과 같습니다.

Retro Revival은 무료 배송으로 구매가 1.3포인트 오르기를 기대했고, 이를 위해서는 변형당 3,943명이 필요합니다. 가진 연락처는 모두 4,000명, 즉 변형당 2,000명이었습니다. 이 표본으로 계획 도구가 알려 주는 안정적으로 감지할 수 있는 최소 상승폭은 약 1.9포인트입니다. 팀은 이보다 작은 실제 차이는 놓칠 수 있다는 것을 알면서도 테스트를 진행했습니다.

연락처가 더 필요한 경우

몇 가지 선택은 숫자를 키우고, 계획 도구는 어떤 선택 때문인지 알려 줍니다.

• 변형이 많을 때. 각 변형은 더 엄격한 수준에서 대조군과 비교되므로, 모든 비교를 합쳐도 유의 수준이 유지됩니다. 변형이 세 개면 두 개일 때보다 변형당 연락처가 더 필요합니다.
• 배분이 고르지 않을 때. 작은 홀드아웃이나 큰 대조군은 비교마다 균등 배분보다 비용이 더 듭니다.
• 가드레일 마진. 마진이 있는 가드레일은 주요 지표보다 연락처가 더 필요할 수 있습니다. 그러면 계획 도구가 가드레일을 기준으로 테스트 규모를 정합니다.
• 순차 분석(Business 요금제 이상). 관찰 기간 중간에 결과를 보려면 마지막에 한 번 읽을 때보다 연락처가 더 필요합니다. 계획 도구가 얼마나 더 필요한지 알려 줍니다.

더 작은 테스트 규모: Test & Roll

증거까지는 필요 없고, 목록의 나머지에게 더 나은 선택만 필요할 때도 있습니다. 결과를 나머지에게 발송에서 **선두 그룹 발송(수익 우선 정책)**을 고르면, 짧은 테스트 뒤 가장 좋아 보이는 변형을 나머지 모두에게 보냅니다.

이 정책에서는 계획 도구가 수익 최적 테스트 규모(Test & Roll)를 제안할 수 있습니다. 지난 실험에서 결과가 얼마나 흔들렸는지와, 목록의 나머지가 얻을 수 있는 것을 비교해 정합니다. 지난 실험이 두 개 이상 있어야 하고, 홀드아웃 없이 변형이 두 개여야 합니다. 이 규모는 보통 권장 표본보다 훨씬 작습니다. 수익을 위한 선택이며, 이 크기로는 대개 유의한 승자를 찾기에 너무 작습니다.

계획은 잠글 때 고정됩니다

감지할 상승폭과 검정력은 실험과 함께 저장되고, 나머지 사전 등록 항목과 함께 잠글 때 고정됩니다. 결과 페이지는 나중에 끝난 테스트가 안정적으로 감지할 수 있었던 가장 작은 차이를 보여 줍니다. 테스트가 결론 없이 끝나면, 이 숫자로 실제 차이를 놓쳤을 수 있는지 알 수 있습니다.

빠른 제목 테스트는요?

발송 페이지에서 하는 일반 A/B 발송에는 계획 도구가 없고, 미리 고정하는 것도 없습니다. 갱신 알림처럼 중요한 제목이라면 실험으로 실행하고, 열람이 아니라 클릭률로 계획하세요. Apple 메일 개인 정보 보호가 열람 수를 부풀리므로, 열람은 주요 지표로 적합하지 않습니다.

클릭은 구매보다 훨씬 자주 일어나므로, 제목 테스트는 보통 혜택 테스트보다 연락처가 훨씬 적게 필요합니다. 기준 비율은 이 목록에 보낸 최근 발송의 클릭 기록으로 채워집니다.

시작하기

이메일의 발송 페이지에서 실험으로 실행으로 실험을 만듭니다. 가설 및 지표에서 주요 지표를 고른 뒤, 대상 및 표본에서 표본 크기 계획을 엽니다. 기준 비율이 어디서 왔는지 확인하고, 행동을 바꿀 만한 최소 상승폭을 입력한 다음, 잠그기 전에 표본 크기를 정하세요. 각 단계는 실험(A/B 테스트)에서 설명합니다.