실험(A/B 테스트)

실험은 이메일의 변경 하나를 대조군과 비교해 테스트합니다. 알고 싶은 질문, 그 답을 정할 수치 하나, 참여할 사람을 적어 두면 MailInApp이 발송 전에 이 모두를 고정합니다. 그런 다음 모든 버전을 동시에 보내고, 어떤 일이 일어나는지 측정하고, 근거가 얼마나 강한지 알려 줍니다.

이 페이지의 그림은 가상의 의류 매장 Retro Revival을 예로 들며, 수치는 모두 지어낸 것입니다. Retro Revival은 스크래치 카드 아래에 리워드를 숨겨 두고, 무료 배송과 10% 할인 중 어느 쪽이 더 많이 팔리는지 테스트합니다.

실험이란

실험은 이메일 하나에 속하며 질문 하나에 답합니다. 실험은 다음으로 이루어집니다.

• 가설: 어떤 일이 일어날 것으로 예상하는지와 그 이유입니다. 결과를 보기 전에 적습니다.
• 주요 지표 하나: 구매 전환율처럼 결과를 결정하는 수치입니다. 다른 지표는 모두 이를 설명하려고 보여 줄 뿐, 결정에는 쓰이지 않습니다.
• 두 개 이상의 변형: 이메일의 버전들입니다. 그중 하나가 대조군이고, 다른 모든 변형은 대조군과 비교됩니다.
• 무작위 표본: 연락처에서 한 번만 추출해 변형 간에 나눕니다. 두 변형을 모두 받는 사람은 없습니다.
• 관찰 기간: 발송 후 클릭과 주문을 집계하는 기간입니다. 결과는 이 기간이 끝날 때 판정합니다.

사이드바의 실험에서 새 실험을 눌러 시작합니다. 이메일 발송 페이지의 A/B 상자, 이메일 목록의 행 메뉴, 캠페인 캘린더에서 실험으로 실행을 눌러 시작할 수도 있습니다.

빠른 A/B 발송으로 충분한 경우

일반 A/B 발송은 발송 한 번을 최대 5개 변형으로 나누고 각 비율을 나란히 보여 줍니다. 빠르고, 두 제목을 대략 비교하는 데는 충분합니다. 하지만 지표도, 표본 크기도, 언제 멈출지도 미리 정해지지 않습니다.

답이 중요할 때는 실험을 사용하세요. 실험은 빠른 발송에 없는 것을 더해 줍니다.

• 발송 전에 정하는 표본과 지표. 결과를 본 뒤에 가장 좋아 보이는 해석을 고를 수 없습니다.
• 구간과 쉬운 말로 된 판정이 포함된 통계 검정.
• 모든 변형이 같은 시간에 나갔는지처럼, 발송 자체가 공정했는지 확인하는 검사.
• 변형별 스토어 리워드, 그리고 주문을 그 주문을 이끈 변형에 연결하는 기능.
• 실험과 함께 영구히 보관되는 기록된 결정.

또한 실험은 직접 발송처럼 수신자 200명으로 제한되지 않습니다. 자체 발송 작업으로 표본 전체에 여러 묶음으로 나누어 보냅니다.

요금제

실험은 Lite 요금제부터 포함됩니다. 요금제별로 사용할 수 있는 기능은 다음과 같습니다.

홀드아웃도 변형 하나로 계산됩니다.

여섯 단계

실험은 여섯 단계로 설정합니다. 잠그기 전까지는 어느 단계로든 돌아갈 수 있습니다.

가설 및 지표

먼저 가설을 적습니다. 그런 다음 실험을 결정하는 단 하나의 수치인 주요 지표를 고릅니다. 각 지표는 자체 기준에 대한 비율이나 금액입니다.

전달은 발송 수에서 하드 반송을 뺀 값입니다. 한 연락처가 여러 번 클릭하거나 구매해도 한 번만 셉니다.

보조 지표는 주요 지표를 설명하기 위해 함께 표시됩니다. 결과를 결정하지는 않습니다. 가드레일은 승자가 나쁘게 만들어서는 안 되는 지표로, 수신 거부율이나 스팸 신고율이 그 예입니다. 대조군을 이겼더라도 가드레일에서 확실히 나쁜 변형은 승자가 아닙니다.

두 가지 지표에는 별도의 제한이 있습니다.

• 오픈율은 참고용입니다. Apple Mail 개인정보 보호 기능이 이메일을 자동으로 열기 때문에 주요 지표나 가드레일로 쓸 수 없습니다.
• 관측된 공개율과 공개 후 클릭률에는 이메일 앱에서 기록된 공개가 필요한데, MailInApp은 아직 이를 기록하지 않습니다. 지금은 선택하지 마세요. 공개 후 클릭은 누가 공개했는지에 따라 달라지므로, 이 지표는 무작위 비교가 아닙니다.

유의 수준은 차이를 인정하려면 근거가 얼마나 강해야 하는지를 정합니다. 보통 5%(양측)를 선택합니다. 분석은 고정 기간(기간이 끝날 때 한 번 판정)이나, Business 요금제 이상에서는 순차(기간 중에 더 엄격한 기준으로 확인)를 고릅니다. 둘의 차이는 기간을 고정하는 이유에서 설명합니다.

통계에서는 몇 가지를 더 지금 정해 둡니다. 그래야 결과에 맞춰 나중에 고를 수 없습니다. 발송 전에 알던 정보로 보정할지, 매출 통화, 매우 큰 주문의 상한, 선택 사항인 허용 범위가 여기에 해당합니다. 각 항목은 실험 결과 읽기에서 설명합니다.

그룹 및 콘텐츠

각 변형은 이메일의 한 버전입니다. 변형마다 라벨과 표본 비율을 정하고, 하나를 대조군으로 표시합니다. 균등 분할을 누르면 비율이 똑같이 나뉩니다.

변형은 제목, 발신자, 콘텐츠를 바꿀 수 있습니다. 콘텐츠를 바꾸는 방법은 두 가지입니다.

• 이 이메일(이 그룹의 변경 사항 적용): 스튜디오에서 이메일을 열고 툴바의 변형 메뉴에서 변형을 고른 뒤, 그 변형에서 바꿀 블록을 편집합니다. 나머지는 모든 변형이 공유합니다. 이렇게 하면 테스트하는 부분 말고는 변형들이 똑같이 유지됩니다.
• 다른 이메일: 변형이 완전히 다른 이메일을 보냅니다. 그 결과도 이 실험에 집계됩니다.

일부 설정은 답이나 결제를 확인하는 기준이 되므로 변형마다 다를 수 없습니다. 퀴즈의 정답이나 상품 가격이 그 예입니다. 변형이 바꿀 수 있는 필드는 스튜디오에 표시됩니다.

테스트가 콘텐츠를 바꿀 필요는 없습니다. 아래의 두 변형은 이메일 하나를 공유하고 제목만 다릅니다.

Pro 요금제 이상에서는 변형 하나를 홀드아웃으로 지정할 수 있습니다. 홀드아웃은 아무것도 받지 않는 연락처입니다. 다른 변형을 홀드아웃과 비교하면 이메일이 없었어도 몇 명이 구매했을지 알 수 있습니다. 그래서 홀드아웃에는 구매 또는 매출 주요 지표가 필요합니다.

대상 및 표본

연락처 목록을 고른 다음, 필터 규칙으로 타깃할 사람을 정합니다. 저장된 세그먼트에서 시작은 세그먼트의 필터를 실험에 복사합니다. 실험에서 필터를 수정해도 세그먼트는 바뀌지 않습니다.

대상자 수 카드는 발송에 적용되는 것과 같은 규칙으로 네 단계를 셉니다.

1. 목록: 목록의 모든 연락처입니다.
2. 발송 가능: 이메일을 보낼 수 있는 연락처입니다. 나머지를 보낼 수 없는 이유는 제외 목록에 표시됩니다. 수신 거부 또는 반송, 유효하지 않은 것으로 확인된 주소, 마케팅 동의 없음, 구독을 확인하지 않음, 이 이메일의 주제 수신 거부, 다른 실험에 참여 중이 그 이유입니다.
3. 타기팅: 발송 가능한 연락처 중 필터와 일치하는 연락처입니다.
4. 실험 참여: 변형 간에 나뉘는 표본입니다.

필터 옆의 대상 인사이트는 타기팅된 연락처를 목록 필드, 구매 이력, 참여 점수별로 나누어 보여 줍니다. 모든 분류에는 해당 필드 값이 없는 연락처를 모은 값 없음 항목이 있습니다. 표본을 추출하기 전에 확인하세요. 값이 없는 연락처가 많으면 그 필드로 균형을 맞춰도 효과가 크지 않습니다.

그런 다음 표본 방식을 고릅니다.

• 타겟 대상 전체: 타기팅된 모든 연락처가 참여하며, 변형 간에 무작위로 나뉩니다.
• 무작위 표본: 타기팅된 연락처에서 무작위 표본을 뽑아 무작위로 나눕니다.
• 균형 무작위 표본(Pro 이상): 고른 필드의 값마다 따로 표본을 추출합니다. 그래서 예를 들어 고객과 잠재 고객의 구성이 모든 변형에서 같아집니다.
• 세그먼트 전체: 규칙이 선택한 모든 연락처입니다. 무작위 표본이 아니라 규칙 기반 선택이므로, 결과는 그 세그먼트에만 해당합니다. 변형 배정은 여전히 무작위입니다.

다른 실험에 이미 포함된 연락처 제외는 실험이 서로 겹치지 않게 합니다. 잠긴 실험, 아직 관찰 기간 중인 실험, 혜택을 아직 사용할 수 있는 실험이 모두 대상입니다. 그래서 이전 테스트의 혜택이 이번 테스트에 섞여 들어오지 않습니다.

표본 크기 계획은 발송 전에 테스트에 필요한 연락처 수를 계산합니다. 이 목록의 이전 실험이나 최근 발송 같은 내 기록에서 출발합니다. 감지할 가치가 있는 최소 상승폭과 원하는 검정력을 입력하면 권장 표본을 알려 줍니다. 대상이 너무 작으면 대신 안정적으로 감지할 수 있는 최소 상승폭을 알려 줍니다.

Retro Revival은 구매가 3.7%에서 5.0%로 오르기를 기대했습니다. 표본 크기 계획에 따르면 이 1.3퍼센트포인트 상승을 감지하려면 변형당 연락처 3,943명이 필요합니다. 전체 4,000명으로는 약 1.9퍼센트포인트 상승까지만 안정적으로 감지할 수 있습니다. 이보다 작은 실제 차이는 쉽게 놓칠 수 있습니다. 감당할 수 있는 규모는 시작한 뒤가 아니라 시작하기 전에 계획하세요. 계획 도구 사용법은 A/B 테스트에 필요한 연락처 수 알아보기에서 단계별로 설명합니다.

리워드 및 기여

변형마다 자체 스토어 혜택을 주거나 아무 혜택도 주지 않을 수 있습니다. 혜택은 비율 할인, 정액 할인, 무료 배송 중에서 고릅니다. 모든 변형에 리워드를 주거나 아무 변형에도 주지 않아야 하고, 모든 변형의 코드는 같은 일수 동안 유효합니다. 그래야 변형을 공정하게 비교할 수 있습니다.

각 수신자는 본인에게 연결된 1회용 코드를 받습니다. 코드는 {{discount_code}}와 {{discount_url}} 병합 태그로 이메일에 표시합니다. 예를 들어 스크래치 카드의 경품과 링크에 넣을 수 있습니다. 리워드를 보여 주는 블록이 있어야 잠글 수 있습니다.

먼저 설정해 둘 것들이 있습니다.

• 코드는 실험의 연락처 목록에 연결된 Shopify 또는 WooCommerce 스토어에서 발급됩니다. 연결된 스토어가 없으면 이 단계에서 코드를 발급할 수 없다는 경고가 표시됩니다.
• WooCommerce에서 무료 배송 코드를 쓰려면, 유효한 무료 배송 쿠폰을 요구하는 Free Shipping(무료 배송) 방법이 필요합니다. 스토어에 이 방법이 없으면 이 단계에서 경고가 표시됩니다.
• 무료 배송을 쓴다면 주문당 평균 배송비를 입력하세요. 무료 배송 주문마다 프로모션 비용으로 계산됩니다.

주문 기여는 각 스토어 주문을 변형에 연결합니다. 아래 순서대로 처음 일치하는 규칙이 적용됩니다.

1. 할인 코드: 주문에 변형의 코드가 사용되었습니다. 며칠이 지나도 가장 확실한 일치입니다.
2. 추적 링크: 구매자가 이메일의 태그된 링크를 통해 방문했습니다.
3. 이메일 내 결제: 구매자가 상품 블록의 결제로 구매했습니다.
4. 이메일 주소(추정): 구매자의 주소가 기간 중에 클릭한 수신자와 일치합니다. 이런 주문은 추정으로 표시됩니다.

처음 세 규칙은 기본으로 켜져 있습니다. **이메일 주소(추정)**는 고르기 전까지 꺼져 있으며, 홀드아웃의 주문을 연결할 수 있는 유일한 규칙입니다. 홀드아웃은 이메일을 받지 않기 때문입니다. 코드와 규칙의 자세한 내용은 변형마다 다른 리워드에서, 리워드 테스트 전체 과정은 스크래치 카드 A/B 테스트로 더 잘 팔리는 리워드 찾기에서 다룹니다.

이메일에 스크래치 카드가 있으면 스크래치 CTA에서 쇼핑 버튼의 위치를 공개된 경품 안 또는 카드 아래로 정합니다. 위치마다 측정할 수 있는 것은 스크래치 효과 측정하기에서 설명합니다.

예약 및 기간

시작하는 즉시 또는 지정한 시간을 고릅니다. 모든 변형이 같은 몇 분 동안 서로 섞여 함께 나갑니다. 실험에서는 발송 시점 최적화가 꺼지므로, 변형 간 차이가 각 변형을 보낸 시간 때문에 생길 수 없습니다.

관찰 기간은 발송 후 클릭과 주문을 집계하는 기간으로, 1일부터 60일까지 정할 수 있습니다. 결과는 기간이 끝날 때 한 번 판정합니다. 사람들이 보통 행동하기까지 걸리는 시간을 담을 수 있고, 혜택이 유효한 기간을 넘지 않는 길이로 고르세요.

결과를 나머지에게 발송은 먼저 표본으로 테스트한 다음, 대상이 타기팅하는 나머지 모두에게 변형 하나를 보냅니다. 보낼 나머지가 있어야 하므로 무작위 표본(3단계)이 필요합니다. 정책을 고르세요.

• 유의한 승자 발송: 결정 시점까지 주요 지표에서 이긴 변형을 나머지에게 보냅니다. 이긴 변형이 없으면 나머지는 대조군을 받습니다.
• 선두 그룹 발송(수익 우선 정책): 유의 여부와 관계없이 결정 시점에 가장 좋아 보이는 변형을 나머지에게 보냅니다. 변형 간 차이가 작을 때 이득이 되지만, 한쪽이 더 낫다는 근거는 아닙니다.

결정 시점은 표본의 마지막 이메일이 나간 때부터 셉니다. 그때까지 이벤트가 30건 미만인 변형이 있으면 최대 대기 시간에 표본을 한 번 더 확인합니다. 그래도 부족하면 나머지는 대조군을 받습니다. 이 기능은 나머지가 받을 이메일만 정합니다. 실험 자체의 결정은 여전히 관찰 기간 전체를 기다립니다.

검토 및 잠금

마지막 단계는 계획을 요약하고, 잠그기 전에 고쳐야 할 것을 보여 줍니다. 사전 등록 잠그기를 누르면 가설, 지표, 대상, 변형이 고정되고 표본이 추출됩니다. 누가 참여하는지와 각자 어떤 변형을 받는지가 이때 확정됩니다.

시작하기 전까지는 실험 이름, 발송 시간, 각 변형의 라벨, 제목, 발신자, 콘텐츠를 여전히 바꿀 수 있습니다. 시작을 누르면 월간 이메일 한도에서 발송 전체를 확보한 뒤 발송을 예약합니다. 홀드아웃은 한도를 쓰지 않습니다. 시작한 뒤에는 이름만 바꿀 수 있습니다.

시작할 때 MailInApp은 각 변형의 이메일을 실제로 발송될 형태로 만들어 봅니다. 한 변형의 이메일에 다른 변형의 스크래치 리워드가 보이면 시작을 거부합니다. 스크래치를 지원하지 않는 이메일 앱에서 보이는 폴백도 확인합니다. 이 검사가 무엇을 잡아내는지는 실험에서 두 가지 보상 테스트하기에서 다룹니다. 사전 점검 체크리스트는 저장된 이메일을 검사하므로, 스튜디오의 변형 메뉴로 각 변형도 미리 보세요.

실행 중

시작한 뒤에는 실험이 저절로 각 상태를 거쳐 갑니다.

• 발송 시간까지는 예약됨, 모든 변형이 나가는 동안은 발송 중입니다.
• 관찰 기간 동안은 관찰 중입니다. 몇 시간마다 중간 분석이 실행됩니다. 중간 결과에는 그렇게 표시되며, 이를 보고 결정하지 마세요.
• 기간이 끝나면 분석 중입니다. 최종 분석은 약 한 시간 뒤에 나옵니다.
• 결정을 기록하면 결정됨 또는 결론 없음이 되고, 실험을 종료하면 종료됨이 됩니다.

실행 중에는 이름만 바꿀 수 있습니다. 실험 취소는 결정 전이라면 언제든 실험을 멈추며, 되돌릴 수 없습니다. 같은 이메일의 다른 발송은 이 실험에 묶인 연락처를 제외합니다. 그래서 다른 경로로 두 번째 버전을 받는 사람은 없습니다.

실험은 초안일 때, 종료한 뒤, 취소한 뒤에 삭제할 수 있습니다. 결과와 배정도 함께 삭제됩니다.

제한 사항과 측정되지 않는 것

• 받은편지함에서의 공개는 아직 기록되지 않습니다. 스크래치나 스핀 투 윈의 공개는 이메일 앱 안에서 일어나며, MailInApp은 아직 그곳의 공개를 기록하지 않습니다. 대신 경품 링크 클릭과 구매를 측정하세요.
• 오픈은 참고용입니다. Apple Mail 개인정보 보호 기능과 이미지 프록시가 이메일을 자동으로 열기 때문에, 오픈율은 높게 나오고 이메일 앱에 따라 달라집니다.
• 각 변형은 시작할 때 검사됩니다. 발송 페이지의 프리플라이트는 각 변형의 버전이 아니라 저장된 이메일을 검사합니다.
• 아직 모바일 앱에는 없습니다. MailInApp 모바일 앱에는 실험이 표시되지 않습니다.

API로 사용하기

내 코드와 자동화 도구는 API 키로 실험을 읽을 수 있습니다. 실험이 결정되거나 결과가 준비되면 웹훅으로 알림을 받을 수도 있습니다. 읽기만 가능하며, 잠그기, 시작, 결정은 할 수 없습니다. 실험 결과 조회하기를 참고하세요.

관련 페이지

• 실험 결과 읽기
• 스크래치 카드 A/B 테스트로 더 잘 팔리는 리워드 찾기
• A/B 테스트에 필요한 연락처 수 알아보기
• 이긴 버전을 나머지 대상에게 보내기
• 연락처 & MailInApp에서 발송하기
• 스크래치 블록
• 행동 세그먼트