이긴 버전을 나머지 대상에게 보내기

실험은 발송이 아니라 결정으로 끝납니다. 승자를 기록하고 나면 우승안 배포로 이긴 변형을 나머지 대상에게 보낼 일반 이메일로 바꿀 수 있습니다. 테스트에 참여한 사람은 모두 빠지며, 직접 보내기 전에는 아무것도 발송되지 않습니다.

둘을 나눈 것은 의도된 설계입니다. 결정은 데이터가 보여 준 것을 기록합니다. 승자를 보내는 일은 그다음에 하는 마케팅 선택이며, 대상과 시점과 혜택을 따로 정합니다.

이 가이드는 가상의 의류 매장 Retro Revival을 가상의 숫자로 따라갑니다. 이 매장의 실험은 10% 할인(변형 A, 대조군)과 무료 배송(변형 B)을 각각 스크래치 카드 아래에 숨겨, 록과 1990년대를 좋아하는 구독자 6,420명 중 4,000명에게 비교했습니다. 이 실험의 처음부터의 과정은 스크래치 카드 A/B 테스트로 더 잘 팔리는 리워드 찾기에서 볼 수 있습니다.

기록된 승자에서 시작하기

우승안 배포는 승자가 기록되고 실험이 결정됨 또는 종료됨 상태일 때 실험 결과 페이지에 나타납니다. Retro Revival의 구매 전환율은 무료 배송이 5.0%, 10% 할인이 3.7%로 유의한 차이였습니다. 팀은 무료 배송을 승자로 기록하고 실험을 종료했습니다.

배포는 실험의 본래 흐름 밖에 있습니다. 실험, 결과, 결정은 그대로이며 종료한 뒤에도 배포할 수 있습니다. "결론 없음"이나 "차이 없음" 결정에서는 아무것도 배포되지 않고, 홀드아웃은 이메일이 없으므로 배포할 수 없습니다.

우승안 배포가 만드는 것

우승안 배포를 누르면 짧은 확인 창이 열리고, 이메일 만들기로 새 이메일 한 통이 만들어집니다. 이름은 실험과 변형에서 따옵니다. 이긴 변형의 수신자가 받은 내용이 그대로 들어갑니다.

• 변형의 콘텐츠와 혜택. 그 변형의 변경 사항을 적용한 이메일, 또는 다른 콘텐츠를 보냈다면 변형 자체의 이메일입니다.
• 제목과 발신자. 변형의 제목과, 그 변형을 보낸 발신자입니다.
• 실험의 연락처 목록이 대상이 됩니다.

그다음 새 이메일의 발송 페이지가 열립니다. 그곳의 안내에 실험과 변형이 표시되고, 제목과 실험의 대상 필터가 미리 채워져 있습니다. 그 페이지에서 보내기 전에는 아무것도 발송되지 않습니다. 우승안 배포를 다시 누르면 두 번째 이메일을 만들지 않고 같은 이메일이 열립니다.

받는 사람과 받지 않는 사람

새 이메일을 보낼 때마다, 실험이 배정한 사람은 어떤 변형이었든 영구히 제외됩니다. 이미 이 이메일의 한 버전을 받았고, 그 결과는 테스트에 속하기 때문입니다. 발송마다 이들은 "In an experiment on this email"(이 이메일의 실험 대상)이라는 사유와 함께 건너뜀으로 표시됩니다.

Retro Revival의 필터인 록-얼터너티브 AND 1990년대는 여전히 연락처 6,420명을 타기팅합니다. 실험에 참여한 4,000명은 제외되므로, 우승 이메일을 받을 수 있는 구독자는 2,420명입니다.

보내기 전에 대상을 바꿀 수 있습니다. 발송 페이지의 필터는 일반 필터이므로 목록 전체로 넓히거나 한 그룹으로 좁힐 수 있습니다. 수신 거부했거나 다른 이유로 발송 가능하지 않은 연락처는 여느 발송처럼 건너뜁니다.

혜택도 함께 갑니다

이긴 변형에 스토어 혜택이 있었다면 새 이메일도 이를 유지합니다. 발송할 때마다 연결된 스토어에서 수신자마다 일회용 코드가 발급되며, 유효 기간은 변형의 코드와 같은 일수입니다. Retro Revival의 무료 배송 코드는 각 발송 시점부터 7일 동안 유효합니다.

보내기 전에 혜택이 여전히 타당한지 확인하세요. 무료 배송이나 할인은 그로 인해 들어오는 주문마다 비용이 듭니다. 실험의 매출 숫자는 이익 계산이 아닙니다. 세금과 배송비는 제외되고, 할인은 이미 반영되어 있습니다.

200명이 넘는 연락처에 보내기

발송 페이지에서 한 번에 보낼 수 있는 수신자는 최대 200명입니다. Retro Revival의 2,420명에게는 여러 번 보내야 합니다. 방법은 두 가지입니다.

• 일회성 발송을 여러 번. 매번 연락처를 최대 200명까지 고릅니다. 발송 기록에 이미 이메일을 받은 사람이 표시됩니다.
• 반복 발송. 반복 발송에서 같은 필터 규칙을 추가하고 매일 또는 매주 일정을 만듭니다. 매번 실행할 때마다 조건에 맞고 아직 이 이메일을 받지 않은 연락처에 최대 200명씩 보내며, 모두에게 닿을 때까지 계속합니다. 실험의 연락처는 그 과정에서 한 번씩 확인되어 건너뛰므로, 처음 몇 번은 보내는 수가 적습니다.

반복 발송은 Lite 요금제부터 포함됩니다.

또는 시작 전에 나머지에게 갈 버전 고르기

관찰 기간 전체를 기다리고 싶지 않다면, 시작하기 전에 나머지 대상이 어떤 이메일을 받을지 정하세요. 실험의 예약 및 기간 단계에 있는 결과를 나머지에게 발송은 먼저 표본으로 테스트한 뒤, 타기팅된 나머지 모두에게 한 변형을 보냅니다. 200명 제한 없이 묶음으로 나누어 보냅니다. 보낼 나머지가 있어야 하므로 무작위 표본이 필요합니다.

나머지가 무엇을 받을지는 고른 정책에 따라 정해집니다. Retro Revival이 2,000명 표본으로 테스트하고 48시간 뒤에 결정했다고 해 봅시다. 그 시점에 무료 배송 수신자 49명이 구매했고, 10% 할인은 36명이었습니다. 5.0% 대 3.7%였지만 아직 유의하지 않았습니다(p = 0.15).

• 유의한 승자 발송이었다면 나머지 4,420명에게 대조군인 10% 할인이 갔을 것입니다. 아직 어떤 변형도 이기지 못했기 때문입니다.
• **선두 그룹 발송(수익 우선 정책)**이었다면 가장 좋아 보이던 무료 배송이 갔을 것입니다. 변형 간 차이가 작을 때는 합리적인 선택이지만, 무료 배송이 더 낫다는 증거는 아닙니다.

어느 쪽이든 이 선택은 나머지가 무엇을 받을지만 정합니다. 실험은 관찰 기간이 끝날 때까지 계속되며, 결정은 평소처럼 전체 결과를 보고 기록합니다.

시작하기

실험 결과 페이지에서 승자를 기록하고 실험을 종료합니다. 그런 다음 우승안 배포를 누르고, 새 이메일에 무엇이 담기는지 확인한 뒤 이메일 만들기를 누릅니다. 그 발송 페이지에서 제목, 대상 필터, 혜택을 확인하고 200명 이하씩 나누어 보내거나 반복 발송을 설정하세요. 결정을 먼저 기록하는 방법은 실험 결과 읽기에서 설명합니다.