스크래치 카드 A/B 테스트로 더 잘 팔리는 리워드 찾기

무료 배송과 10% 할인 중 어느 리워드가 더 많은 구독자를 구매자로 바꿀까요? 이 가이드는 실험이 답하는 방식 그대로 답을 찾습니다. 두 리워드를 같은 스크래치 카드 아래에 숨기고, 두 버전을 동시에 보낸 뒤, 구매로 결정합니다.

Retro Revival은 가상의 의류 브랜드이며, 여기 나오는 숫자는 모두 설명을 위해 지어낸 것입니다. 이 테스트를 숫자로 보면 다음과 같습니다. 구독자 50,874명 · 리워드 변형 2개 · 관찰 기간 7일.

Retro Revival 소개

Retro Revival은 재활용 소재와 유기농 소재로 빈티지풍 옷을 만들며, 독립 장인들과 함께 제작합니다. 새 컬렉션 Grunge Revival: The 90s Edit는 1990년대 얼터너티브 패션을 다시 불러옵니다.

컬렉션을 출시하면서 마케팅 팀은 구독자에게 리워드를 주려고 합니다. 어떤 리워드가 효과가 있을지 짐작하는 대신, 통제된 실험을 설계하고 구매로 결정합니다.

같은 이메일, 하나의 차이

모든 수신자가 같은 이메일을 받습니다. 제목, 컬렉션 소개 문구, 상품 캐러셀, 스크래치 카드, 쇼핑 버튼이 모두 같습니다. 카드 아래에 드러나는 리워드만 다릅니다. 그래서 구매에 차이가 나면 디자인이 아니라 리워드 때문이라고 볼 수 있습니다.

두 버전은 한 실험의 변형입니다. 실험은 각 변형을 대조군과 비교하며, 승자가 될 수 있는 것은 대조군이 아닌 변형뿐입니다. 그래서 대조군에는 어차피 보냈을 혜택을 둡니다. 여기서는 10% 할인이 변형 A입니다. 무료 배송은 변형 B입니다.

두 변형은 이메일 하나를 함께 씁니다. 스튜디오에서 툴바의 변형 메뉴로 변형을 고르고, 그 변형에서만 카드의 경품을 바꿉니다. 아래에서 두 변형을 모두 확인해 보세요. 카드를 긁어 보거나, 공개된 상태를 보거나, 스크래치를 지원하지 않는 이메일 앱이 보여 주는 폴백을 볼 수 있습니다.

카드의 쇼핑 버튼은 공개된 경품 안에 있습니다. 스크래치가 작동하는 앱에서는 카드를 긁어야 버튼이 나타나므로, 클릭은 리워드를 본 뒤에 일어납니다. 이메일에는 카드 아래 두 번째 버튼이 없습니다. 그 버튼은 공개하지 않고도 클릭할 수 있기 때문입니다. 두 위치의 차이는 링크 위치에서 비교합니다.

보내기 전에 사전 등록하기

가설 및 지표 단계에서 팀은 무엇이든 보내기 전에 계획을 적어 둡니다.

• 가설: 무료 배송이 10% 할인보다 더 많은 구독자를 구매자로 바꾼다.
• 주요 지표: 구매 전환율. 이메일이 전달된 수신자 중 구매한 사람의 비율입니다. 이 숫자 하나가 실험의 결과를 정합니다.
• 보조 지표: 고유 클릭률과 전달된 이메일당 매출. 결과를 설명해 주지만 결과를 정하지는 않습니다.
• 가드레일: 수신 거부율. 승자는 이 지표에서 확실히 나빠서는 안 됩니다.
• 유의 수준: 5%(양측). 7일 관찰 기간에 걸쳐 고정 기간 분석을 합니다.

팀은 관측된 공개율과 공개 후 클릭률을 뺍니다. MailInApp은 아직 받은편지함에서 일어나는 공개를 기록하지 않습니다. 공개 후 클릭은 누가 공개를 선택했는지에도 좌우되므로, 이 지표는 무작위 비교가 아닙니다.

검토 및 잠금 단계의 사전 등록 잠그기는 가설, 지표, 대상, 변형을 고정하고 표본을 추출합니다. 결과가 나온 뒤에 더 좋아 보이는 지표로 바꾸는 일은 누구도 할 수 없습니다.

알맞은 구독자에게 보내기

The 90s Edit는 록과 1990년대를 좋아하는 구독자를 위한 컬렉션입니다. 대상 및 표본 단계에서 팀은 연락처 50,874개가 있는 목록을 고르고, 록·얼터너티브 AND 1990년대라는 필터 규칙 두 개를 추가합니다. 대상자 수 카드에 각 단계가 표시됩니다.

• 발송 가능은 타기팅보다 먼저 정해집니다. 연락처 4,554개는 아예 이메일을 보낼 수 없으며, 그 이유는 제외 목록에 나옵니다. 수신 거부, 마케팅 동의 없음, 유효하지 않은 주소 등입니다. 남는 연락처는 46,320개입니다.
• 타기팅은 발송 가능한 연락처에만 필터를 적용합니다. 록·얼터너티브를 좋아하는 연락처는 11,240개, 1990년대를 좋아하는 연락처는 14,870개지만, 둘 다 좋아하는 연락처는 6,420개입니다.
• 실험 참여가 표본입니다. 4,000개를 변형마다 2,000개씩 나눕니다.

추출하기 전에 팀은 customer_type 필드로 대상 인사이트를 확인합니다. 타기팅된 연락처 6,420개 중 고객은 2,311개, 잠재 고객은 3,981개입니다. 128개는 값이 없어 값 없음 그룹에 들어가며, 그대로 두어도 될 만큼 작습니다.

대상은 그 뒤에 있는 목록에 따라 달라집니다. 필드와 동의는 테스트에 쓸 수 있는 구독자 데이터베이스 만들기에서, 필터 자체는 AND와 OR로 대상 필터 조합하기에서 다룹니다.

공정하게 추출하고 배정하기

팀은 customer_type으로 균형 무작위 표본을 고릅니다. 표본은 고객, 잠재 고객, 값이 없는 연락처에서 따로따로 추출되므로, 두 변형의 구성이 같아집니다. 변형마다 고객 720개, 잠재 고객 1,240개, 값 없음 40개입니다. 단순 무작위 표본은 평균적으로는 공정하지만, 한 번의 추출에서는 치우칠 수 있습니다.

각 연락처는 한 변형에만 들어가고, 두 리워드를 모두 받는 사람은 없습니다. 다른 실험에 이미 포함된 연락처 제외를 쓰면 이전 테스트의 혜택이 이번 실험에 섞여 들어오지 않습니다.

변형마다 2,000개면 충분할까요? 팀이 기대한 상승 폭에 대해서는 표본 크기 계획이 아니라고 답합니다. 구매를 3.7%에서 5.0%로, 1.3%포인트 올리려면 변형마다 연락처 3,943개가 필요합니다.

전체 4,000개로는 약 1.9%포인트의 상승을 안정적으로 찾아낼 수 있습니다. 팀은 그보다 작은 실제 차이는 놓칠 수 있다는 것을 알고도 진행합니다. 계획 도구는 A/B 테스트에 필요한 연락처 수 알아보기에서 단계별로 설명합니다.

리워드와 시작

리워드 및 기여 단계에서 변형 A에는 비율 할인 10%를, 변형 B에는 무료 배송을 줍니다. 두 변형의 코드 모두 7일 동안 유효하므로, 어느 혜택도 더 오래 효과를 낼 수 없습니다. 각 수신자는 본인에게 연결된 1회용 코드를 받습니다. 코드는 발송 시점에, 실험의 연락처 목록에 연결된 Shopify 또는 WooCommerce 스토어에서 발급됩니다.

스크래치 카드의 경품 링크는 {{discount_url}} 병합 태그이며, 수신자마다 자기 코드를 가지고 스토어로 가게 합니다. 이 페이지의 미리 보기는 스토어로 바로 연결됩니다. 미리 보기에서는 코드를 발급할 수 없기 때문입니다.

무료 배송에 대해 팀은 주문당 평균 배송비로 $5.50을 입력합니다. 이 금액은 무료 배송 주문마다 프로모션 비용으로 계산됩니다. WooCommerce에서는 무료 배송 코드에 쿠폰을 받는 Free Shipping 배송 방법도 필요하며, 없으면 이 단계에서 경고가 표시됩니다.

같은 단계에서 주문 기여도 정합니다. 스토어 주문을 변형에 연결하는 규칙이며, 잠글 때 고정됩니다. 팀은 기본 규칙 세 가지, 할인 코드, 추적 링크, 이메일 내 결제를 그대로 둡니다. **이메일 주소(추정)**는 꺼 두므로, 집계되는 주문은 모두 확실한 일치입니다.

시작은 각 변형의 이메일을 실제로 발송될 형태로 만듭니다. 한 변형의 이메일 어디에든, 폴백까지 포함해, 다른 변형의 리워드가 보이면 시작을 거부합니다. 그런 다음 두 변형이 같은 시각에, 같은 몇 분 동안 번갈아 발송됩니다. 변형마다 40통이 반송되어 변형마다 1,960통이 전달됩니다. 아래의 비율은 모두 이 전달된 이메일에 대한 비율입니다.

긁은 뒤에 일어나는 일

카드를 긁는 일은 수신자의 이메일 앱 안에서 일어납니다. MailInApp은 아직 받은편지함에서 일어나는 공개를 기록하지 않으므로, 이 가이드는 몇 명이 긁었는지, 또는 누가 긁고 나서 클릭하지 않았는지를 보여 줄 수 없습니다. MailInApp에 도착하는 것은 경품 링크의 클릭입니다.

버튼이 공개된 경품 안에 있으므로, 스크래치가 작동하는 이메일 앱에서의 클릭은 공개 뒤에 일어납니다. 폴백을 보여 주는 앱에서는 경품과 링크가 처음부터 보입니다.

고유 클릭자는 무료 배송이 294명, 10% 할인이 265명이었습니다. 전달된 이메일의 15.0%와 13.5%입니다. 1.5%포인트 차이지만 p = 0.185입니다. 클릭 차이는 방향을 보여 줄 뿐 유의하지 않습니다. 우연일 수 있습니다.

클릭자와 구매자는 서로 다른 지표이며, 각각 전달된 이메일 1,960통을 기준으로 합니다. 깔때기의 단계가 아닙니다. 할인 코드로도 주문을 변형에 연결하므로, 추적된 클릭 없이 구매할 수도 있습니다.

구매로 결정하기

기간이 끝나면 결과 페이지가 주요 지표를 읽습니다. 무료 배송 수신자는 98명이 구매했고, 10% 할인은 72명이었습니다. 5.0%와 3.7%입니다.

결과 문장은 무료 배송이 10% 할인보다 1.33%포인트 더 좋았다고 말합니다. 실제 개선 폭은 0.05~2.62%포인트 사이일 가능성이 크며, p = 0.041입니다. 유의 수준 5%보다 낮으므로 이 차이는 유의함입니다. 상대적으로 보면 무료 배송은 36.1% 더 많은 수신자에게 팔았습니다.

구간이 넓고, 아래쪽 끝은 0에 가깝습니다. 여기서 무료 배송이 더 많이 팔 가능성은 매우 높지만, 얼마나 더 파는지는 불확실합니다. 계획 도구를 떠올려 보세요. 이 테스트가 안정적으로 볼 수 있는 차이는 약 1.9%포인트였으므로, 1.33%포인트라는 결과는 운이 좋았던 셈입니다.

수신 거부율 가드레일은 문제없었습니다. 무료 배송이 0.20%, 10% 할인이 0.26%이므로 승자를 막지 않습니다.

매출 및 프로모션은 변형별 금액을 미국 달러로 보여 줍니다.

매출에는 세금과 배송비가 포함되지 않으며, 할인은 이미 반영되어 있습니다. 이익 계산이 아닙니다.

무료 배송 주문은 금액이 더 작았지만, 구매한 사람은 더 많았습니다. 전달된 이메일당 매출은 무료 배송이 더 높았지만, p = 0.13이어서 그것만으로는 유의하지 않습니다. 보조 지표이므로 결과를 설명할 뿐 결정하지는 않습니다.

프로모션 비용은 각 리워드로 내어 준 금액입니다. 10% 할인에서는 각 주문의 할인액입니다. 무료 배송에서는 무료 배송 주문마다 잡은 예상 배송비 $5.50입니다. 두 열 모두 이익이 아닙니다. 판매한 상품의 원가는 어느 쪽에도 들어 있지 않습니다.

각 주문은 정해진 순서로 확인하는 기여 규칙을 거쳐 변형에 연결됩니다. 처음 일치한 규칙이 결정하며, 나머지는 더 확인하지 않습니다. 7일 기간 동안의 주문만 집계됩니다.

Retro Revival의 구매자는 모두 자기 코드를 썼으므로, 코드 사용이 구매자 수와 같습니다. 변형마다 2,000개 중 72개와 98개입니다. 즉 첫 번째 규칙이 모든 주문을 결정했습니다. 결과 페이지의 주문 카드에는 규칙마다 연결한 주문 수가 표시됩니다. 환불과 다른 통화는 매출 지표에서 다룹니다.

결정을 기록하고 종료하기

실험은 팀이 직접 기록하는 결정으로 끝납니다. 결정 기록을 누르면 대화 상자가 열립니다. 승자는 변형 B, 무료 배송입니다. 근거에는 구매 차이가 유의했다는 점, 클릭과 매출은 유의하지 않았다는 점, 구간이 넓다는 점을 적습니다. 함께 저장되는 증거는 분석에서 가져오며, 유의함입니다.

이어서 실험 종료로 기록을 확정합니다. 내보내기는 보고서를 PDF, CSV 표, JSON으로 내려받습니다. 사전 등록, 변형별 숫자, 점검 결과, 결정이 들어 있으며, 이름이나 주소는 들어 있지 않습니다.

실험은 여기서 끝납니다. 무료 배송을 승자로 기록하면 질문에 대한 답이 나옵니다. 그렇다고 무언가가 발송되지는 않습니다. 나머지 대상에게 무료 배송을 제공하는 일은 자체 대상과 시점을 가진 별도의 작업입니다. 이긴 버전을 나머지 대상에게 보내기를 참고하세요.

세 가지 교훈

1. 한 가지만 바꾸세요. 두 변형이 같은 이메일을 받았으므로, 구매 차이는 리워드에서 나옵니다. 이메일 하나에 변형별 변경을 적용하면 이 상태가 유지됩니다.
2. 클릭은 방향을 보여 주고, 구매가 결정합니다. 무료 배송이 더 많은 클릭을 모았지만 유의하지는 않았습니다. 승자를 고른 것은 발송 전에 정한 주요 지표뿐입니다.
3. 결정은 발송이 아닙니다. 팀은 무료 배송을 근거와 함께 승자로 기록했습니다. 배송비를 고려해 더 많은 사람에게 보내는 일은 그다음입니다.

결론이 나지 않았다면?

무료 배송 수신자 중 98명이 아니라 85명이 구매했다고 해 봅시다. 4.3% 대 3.7%이고, p = 0.29입니다. 결과 페이지에는 결론 없음이 표시됩니다. 고를 만한 근거가 충분하지 않다는 뜻입니다.

이것은 평범하고 유용한 결과입니다. 차이가 있더라도 이 테스트가 볼 수 있는 크기보다 작다는 것을 알려 줍니다. 팀은 근거와 함께 결론 없음을 기록하고, 10% 할인을 평소 혜택으로 유지합니다. 더 알고 싶다면 계획 도구로 더 큰 표본이나 더 긴 기간을 계획해 새 실험을 진행할 수 있습니다. 비율이 더 높았다는 이유만으로 무료 배송을 승자라고 부르지는 않습니다.

시작하기

스튜디오에서 이메일을 열고, Prize link(경품 링크)를 {{discount_url}}로 설정한 스크래치 카드를 추가하세요. 그런 다음 실험으로 실행으로 실험을 시작하고, 각 변형에 리워드를 주고, 보내기 전에 계획을 잠급니다. 각 단계는 실험(A/B 테스트)에서, 돌아온 결과를 읽는 방법은 실험 결과 읽기에서 다룹니다.