실험 결과 읽기

실험은 직접 기록하는 결정으로 끝납니다. 결과 페이지는 그 결정에 필요한 것을 보여 줍니다. 변형 간 차이, 그 차이를 얼마나 확신할 수 있는지, 발송 자체가 공정했는지입니다. 이 페이지에서는 결과 페이지를 패널별로 살펴본 다음, 숫자가 무엇을 뜻하는지 설명합니다.

예시는 가상의 의류 매장 Retro Revival을 사용하며, 수치는 모두 지어낸 것입니다. 대조군인 변형 A는 10% 할인을, 변형 B는 무료 배송을 제공했습니다. 각 변형의 이메일은 수신자 1,960명에게 전달되었고, 주요 지표는 구매 전환율이었습니다.

결과 찾기

각 실험의 결과는 해당 이메일의 인사이트에서 실험 아래에 있습니다. 실험 목록에서는 행 메뉴의 인사이트에서 결과 보기를 누르세요. 첫 결과는 발송이 끝난 뒤 실행되는 첫 분석 후에 나타납니다. 기간이 진행 중이면 페이지에 중간 결과라는 안내가 표시됩니다. 기간이 끝나기 전에는 결정하지 마세요.

헤더에는 상태, 기간, 지금까지의 근거, 동작이 표시됩니다. 동작은 설명, 내보내기, 결정 기록, 실험 종료, 우승안 배포이며, 각각 해당할 때만 나타납니다.

결과 페이지 패널별 안내

사전 등록

잠글 때 고정한 내용입니다. 가설, 지표와 각 지표의 역할, 유의 수준, 변형, 표본, 통계 선택이 표시됩니다. 결과를 읽는 사람 누구나 그 결과가 처음 던진 질문에 답하는지 확인할 수 있도록 여기에 둡니다.

결과

주요 지표 카드는 각 변형에서 대조군을 뺀 값을 구간, Holm 보정 p값, 판정과 함께 보여 줍니다. 판정은 유의함, 유의하지 않음, 유의함: 대조군이 더 나았음 중 하나입니다. 그 아래 한 문장이 결과의 의미를 쉬운 말로 설명합니다. 문장 끝에는 탐지 가능한 최소 차이가 나옵니다. 이만큼의 수신자로 안정적으로 감지할 수 있었던 차이의 크기입니다.

Retro Revival의 경우 이 문장은 무료 배송이 10% 할인보다 1.33퍼센트포인트 높았다고 말합니다(5.0% 대 3.7%). 실제 개선 폭은 0.05에서 2.62퍼센트포인트 사이일 가능성이 높습니다. 두 변형의 성과가 같았다면 이만큼 큰 차이는 드물었을 것입니다.

보조 지표와 가드레일은 아래 표에 있습니다. 보조 지표는 탐색용입니다. 각각 두드러짐 또는 두드러지지 않음으로 표시되며, "유의함"으로 표시되지는 않습니다. 가드레일은 대조군보다 나쁨 또는 나쁘다는 근거 없음으로 표시됩니다. 승자를 막는 것은 확실히 나쁜 가드레일뿐입니다.

홀드아웃 대비

홀드아웃 변형이 있으면 두 번째 카드가 발송된 각 변형을 아무것도 받지 않은 연락처와 비교합니다. 기준은 배정된 연락처입니다. 아예 보내지 않은 경우에 비해 이메일이 무엇을 더했는지 보여 줍니다. 이 카드는 설명용입니다. 결정은 여전히 변형을 대조군과 비교해서 내립니다.

상호작용 단계

단계마다 한 쌍씩 따로 막대로 표시됩니다. 고유 클릭자와 구매자이며, 각각 자체 기준에 대한 비율입니다. 퍼널의 단계가 아닙니다. 할인 코드로도 주문이 변형에 연결되므로, 추적 링크를 클릭하지 않고도 구매할 수 있습니다.

관찰 기간 동안의 추이

관찰 기간 동안의 주요 지표를 일일 분석마다 한 점씩 보여 줍니다. 추이 확인용입니다. 중간에 생겼다 사라지는 우위는 근거가 아닙니다. 테스트는 기간이 끝날 때 한 번 판정합니다.

데이터 품질

결과보다 이 패널을 먼저 확인하세요. 통계 검사는 추출, 발송, 데이터에 문제가 없었는지 알려 줍니다.

• 배정: 각 변형에 추출 시 배정된 연락처가 그대로 있습니다.
• 표본 비율: 각 변형의 이메일이 추출된 비율대로 발송되었습니다.
• 반송: 반송률이 변형 간에 비슷합니다. 그렇지 않으면 지표를 전달 기준이 아니라 발송 기준으로 계산합니다.
• 균형과 구성: 참여도나 이전 주문처럼 발송 전에 알던 정보에서 변형들이 비슷하게 출발했습니다.
• 다른 실험: 연락처가 같은 시기에 다른 실험에도 참여했다면, 두 실험이 주요 지표에서 서로 영향을 주는지 확인합니다.

가장 중요한 것은 표본 비율 검사입니다. 추출된 비율과 발송된 비율 사이에 그만큼의 차이가 우연히 생길 확률이 2,000번에 한 번 미만이면 실패합니다. 이는 발송 문제를 가리키므로, 검사에 실패하면 결과가 유효하지 않은 것으로 표시됩니다.

검사 아래에는 발송 시점(변형 간 발송 시간 차이), 표본과 중복, 전달(변형별 배정, 발송, 반송, 전달 수), 리워드 코드, 기여 규칙별 주문, 매출 및 프로모션이 있습니다.

나머지 대상

실험이 대상의 나머지에게 변형을 보내는 경우, 이 카드는 테스트 표본을 확인한 각 시점, 나머지가 받은 변형과 그 이유, 발송 수를 보여 줍니다. 이 카드는 나머지 대상이 받을 이메일만 정했습니다. 실험 자체의 결정은 여전히 관찰 기간 전체를 기준으로 기록합니다.

결정

결정을 기록하면 여기에 영구히 표시됩니다. 작성한 근거와, 분석이 그 결정에 부여한 증거 수준이 함께 표시됩니다.

숫자의 의미

각 비교는 세 부분으로 이루어집니다.

• 차이: 변형의 비율에서 대조군의 비율을 뺀 값으로, 단위는 퍼센트포인트입니다. 무료 배송의 5.0%에서 10% 할인의 3.7%를 빼면 +1.33퍼센트포인트입니다.
• 구간: 실제 차이가 있을 가능성이 높은 범위입니다. 여기서는 0.05에서 2.62퍼센트포인트입니다. 0을 포함하지 않으므로 실제 개선이 있을 가능성이 높지만, 그 폭은 작을 수도 있습니다.
• p값: 변형들의 성과가 실제로 같을 때 이만큼의 차이가 나타나는 빈도입니다. 여기서는 p = 0.041로 유의 수준 0.05보다 낮으므로 차이는 유의함입니다.

고유 클릭자는 다른 이야기를 합니다. 무료 배송은 15.0%, 10% 할인은 13.5%였지만 p = 0.185이고 구간이 0을 포함합니다. 방향은 보여 주지만 유의하지는 않습니다. 클릭 차이는 우연일 수 있습니다.

결과 문장은 다음 중 하나입니다.

• 승자: 한 변형이 주요 지표에서 대조군을 이겼고, 이를 막는 가드레일이 없습니다.
• 결론 없음: 고를 만큼 근거가 충분하지 않습니다. 정상적이고 유용한 결과입니다. 차이가 있더라도 이 테스트가 볼 수 있는 것보다 작다는 뜻입니다.
• 차이 없음: 모든 변형이 잠그기 전에 정한 '차이 없음' 허용 범위 안에서 대조군과 가깝다는 것이 입증되었습니다. 허용 범위를 정하지 않았다면, 차이가 없어 보이는 결과는 결론 없음이 됩니다.
• 신뢰할 수 없음: 데이터 품질 검사가 실패했습니다. 결정하기 전에 패널을 확인하세요.
• 판단하기 이름: 기간이 아직 진행 중입니다.

목록이 작으면 결론 없음이 흔합니다. Retro Revival의 테스트는 약 1.9퍼센트포인트의 차이까지만 안정적으로 감지할 수 있었으므로, 1.33퍼센트포인트라는 결과는 운이 좋았던 것입니다. 무료 배송의 구매자가 98명이 아니라 85명이었다면(4.3% 대 3.7%) p는 0.29로 결론 없음이었을 것입니다. 그럴 때 올바른 다음 단계는 같은 숫자를 다시 들여다보는 것이 아닙니다. 표본 크기 계획으로 크기를 정해 표본을 늘리거나 기간을 늘리세요.

기간을 고정하는 이유

진행 중인 테스트를 매일 들여다볼 때마다 노이즈가 승자처럼 보일 기회가 한 번씩 늘어납니다. 일반적인 기준을 처음 넘은 시점에 멈추면 잘못된 승자가 나올 가능성이 훨씬 커집니다. 그래서 고정 기간 실험은 정한 기간이 끝날 때 한 번만 판정합니다.

Retro Revival의 z 통계량은 고정 기준 1.96보다 높은 2.039로 끝났습니다. 한 번만 판정하면 결과는 유의합니다. 하지만 z는 5일째에 처음 1.96을 넘었으므로, 매일 들여다보던 사람이라면 더 약한 근거로 그때 멈췄을 것입니다.

Business 요금제 이상에서는 순차 분석으로 기간 중에도 결과를 확인할 수 있습니다. 확인할 때마다 더 엄격한 경계가 적용되므로, 잘못된 승자가 나올 전체 확률은 유의 수준에 머뭅니다. 예상 데이터의 절반 정도가 들어오기 전과 발송이 끝난 뒤 처음 48시간 동안은 확인하지 않으며, 확인은 하루에 최대 한 번입니다. Retro Revival의 수치에서는 어느 확인도 경계를 넘지 않으며, 마지막 경계는 2.039보다 조금 높은 2.056입니다. 어떤 변형이 일찍 경계를 넘으면 기간이 끝나기 전에 결정을 기록할 수 있습니다.

여러 변형과 여러 지표

비교가 많을수록 그중 하나가 운으로 좋아 보일 기회도 많아집니다. MailInApp은 이를 보정합니다.

• 주요 지표에는 대조군과 비교하는 변형들에 걸쳐 Holm 보정을 적용합니다. 그에 맞게 구간도 더 넓게 표시됩니다. 대조군 외에 변형이 셋이면 각 구간은 95%가 아니라 98.3%로 표시됩니다.
• 보조 지표에는 Benjamini–Hochberg 방법을 적용합니다. 탐색용이므로 두드러질 수는 있어도 실험을 결정하지는 않습니다.
• 가드레일은 일부러 더 느슨한 수준으로 판정합니다. 실제 피해를 놓치는 비용이 잘못된 경고의 비용보다 크기 때문입니다.

보정된 비교

통계 선택에서 발송 전에 알던 정보로 보정을 켜 두었다면, 결과에 보정된 비교도 표시됩니다. 추출 시점의 각 연락처 참여 점수와 구매 이력을 반영하며, 대개 구간이 좁아집니다. 보정이 실행되었다면 결정에 쓰이는 것은 보정된 비교입니다. 보정하지 않은 비교도 항상 함께 표시됩니다.

이 선택도 나머지 계획처럼 잠그기 전에 정합니다. 그래서 어느 쪽이 더 좋아 보이는지 확인한 뒤에 켤 수는 없습니다. 변형이 너무 작거나 보정할 정보가 없으면, 모든 변형에서 한꺼번에 보정을 건너뜁니다.

매출 지표

전달된 이메일당 매출은 각 변형의 기여된 스토어 매출을 전달된 수신자 수로 나눈 값입니다. 각 연락처의 매출은 잠그기 전에 정한 구매자 상위 백분위수에서 상한 처리됩니다. 그래서 매우 큰 주문 하나가 테스트를 결정할 수 없습니다. 매출이 너무 한쪽으로 치우쳐 일반 공식을 쓸 수 없을 때는 재표본 추출 방법으로 구간을 구합니다.

매출 및 프로모션은 변형별 금액을 보여 줍니다. Retro Revival의 수치(미국 달러)는 다음과 같습니다.

매출에는 세금과 배송비가 포함되지 않으며, 할인은 이미 반영되어 있습니다. 이익 계산이 아닙니다.

• 프로모션 비용은 주문의 할인액에, 무료 배송 주문마다 입력한 배송비 지원 추정액을 더한 값입니다.
• 코드 사용은 기여된 주문에 사용된 코드 수를 변형의 수신자에게 발급된 코드 수로 나눈 값입니다.
• 평균 주문 금액은 누가 구매했는지에 따라 달라지므로 실험을 결정할 수 없습니다. 여기서는 무료 배송의 주문 금액이 더 작았지만, 구매한 사람은 더 많았습니다.
• 환불: 기간 중 Shopify와 WooCommerce에서 이루어진 환불은 매출에서 차감됩니다. 실험 리워드 기능이 생기기 전에 연결한 Shopify 스토어는 먼저 다시 연결해야 합니다. 이메일 내 결제의 환불은 차감되지 않습니다.
• 다른 통화: 실험 통화가 아닌 통화로 된 주문은 매출에서 제외되고 별도로 집계됩니다.

전달 수신자당 매출은 무료 배송이 더 높았지만, p = 0.13이어서 그것만으로는 유의하지 않습니다. 결정은 주요 지표인 구매 전환율로 내립니다.

주문은 선택한 기여 규칙에 따라 할인 코드, 추적 링크, 이메일 내 결제, 이메일 주소 순서로 변형에 연결됩니다. 처음 일치한 규칙이 결정하며, 나머지 규칙은 더 확인하지 않습니다. 주문 카드는 규칙별 일치 수를 보여 주며, 이메일 주소로 일치한 주문은 추정으로 표시됩니다.

각 규칙과 코드 발급 방식은 변형마다 다른 리워드에서 설명합니다.

결정 기록하기

기간이 끝나고 최종 분석이 나오면 결정 기록으로 대화 상자를 엽니다. 승자(와 승리 그룹), 차이 없음, 결론 없음 중 하나를 고르고 근거를 적습니다. 함께 기록되는 증거는 양식이 아니라 분석에서 가져옵니다.

• 분석이 지목하지 않은 변형을 고르면 그 사실이 기록에 영구히 남습니다. "분석은 이 그룹을 승자로 지목하지 않았습니다."
• 데이터 품질 검사에 실패한 결과나 분석 전에 승자를 기록하려면 예외 사유가 필요합니다.
• 기록한 결정은 바꿀 수 없습니다.

그다음에는 다음 동작을 사용할 수 있습니다.

• 실험 종료는 기록을 확정합니다. 종료한 뒤에는 설정, 결과, 결정을 바꿀 수 없습니다. 실험을 일찍 결정했다면, 관찰 기간 전체의 최종 분석이 나온 뒤에 종료하세요.
• 우승안 배포는 승리한 변형으로 새 이메일을 만듭니다. 그 변형의 콘텐츠와 혜택, 제목과 발신자, 실험의 연락처 목록을 그대로 가져옵니다. 실험이 배정한 모든 사람은 이 이메일의 모든 발송에서 제외됩니다. 그 이메일의 발송 페이지에서 보내기 전까지는 아무것도 발송되지 않습니다. 전체 과정은 이긴 버전을 나머지 대상에게 보내기에서 따라가 볼 수 있습니다.
• 내보내기는 보고서를 PDF(Business 요금제 이상에서는 회사 이름과 브랜드 색상 포함), CSV 표, JSON으로 내려받습니다. 숫자만 담기며 이름이나 주소는 들어가지 않습니다.
• 설명은 Mia에게 보고서의 숫자와 레이블만 사용해 결과를 쉬운 말로 설명해 달라고 요청합니다. Mia는 분석이 유의하다고 판정하지 않은 차이를 유의하다고 말하지 않습니다. 실행할 때마다 Mia AI 요청 1회를 사용합니다.

결정을 기록하면 실험의 질문에 답한 것입니다. 승자를 더 많은 사람에게 보내는 것은 그 뒤에 따로 하는 단계입니다.

관련 페이지

• 실험(A/B 테스트)
• 스크래치 카드 A/B 테스트로 더 잘 팔리는 리워드 찾기
• 이긴 버전을 나머지 대상에게 보내기
• 웹훅과 이벤트
• 응답 & 웹훅