[그로스 해킹 시작하기 2] 성장실험 - A/B 테스트

A/B 테스트 설계하기

 

• 가설
  • 예시 : 서비스 소개를 텍스트로 보여주는 화면보다 이미지로 보여주는 화면에서의 가입 전환율이 높을 것이다
  • 독립변수와 종속변수가 무엇인지를 정의하고 종속변수의 목표 수준을 정하는 형태
• 실험 집단, 통제 집단
  • 통제 변수 관리와 엄격한 기준에 따른 샘플링이 중요
  • 사용자들을 어떤 기준으로 구분하고, 어떤 비율로 할당할 것이냐
• 🚨 통제 변수 : 독립변수가 아니지만 종속변수에 영향을 미칠 수 있는 제3의 변수
  • 위의 가설에서는 가입 경로(유료 광고, 친구 추천 등)와 같은 것이 대표적인 통제 변수
• 샘플 크기 : 통계적 유의도를 확보하기 위한 숫자를 고려해서 실험 전에 미리 정할 것
• 실험 기간 : 샘플 크기를 고려했을 때 가설 검증을 위한 데이터를 수집하는 데 필요한 기간

 

A/B 테스트 설계 시 유의사항

(1) 랜덤 추출(random sampling)과 편의 추출(convenient sampling)을 혼동하지 말 것

• 랜덤 추출 : 통제 변수가 잘 관리된 것을 전제로 모든 표본이 동일한 확률을 가진 상태에서 뽑는 무작위 추출
  👉 즉, 통제 변수관리가 잘 되지 않은 상태라면 랜덤 추출이라는 말을 써서는 안 됨
  👉 통제 변수를 깊이 고민하지 않고 단순히 회원번호로 홀/짝 구분하여 랜덤 샘플링했다고 하면 안 됨

(2) 순차 테스트와 동시 테스트

• 순차 테스트 : a조건으로 일정 기간 테스트를 한 다음, b조건으로 바꿔서 연이어 테스트를 진행하고 이 두 가지 조건을 결과를 비교
  ⇒ a/b test가 아님
  • 제대로 된 통제 변수 관리를 할 수 없음
  • 실험 기간이 달라짐에 따라 기대하지 못한 외부 효과가 개입할 여지가 있음

(3) 샘플 크기

• 검증하고자 하는 가설, 검정력, 유의 수준 등 실험 설계 조건을 입력하면 실험에 필요한 샘플수를 계산해 줌
• 샘플크기 계산기 : evanmiller.org/ab-testing/sample-size.html

Sample Size Calculator

 

 

A/B 테스트 결과 분석하기

• p-value에 대한 이해 : p값은 귀무가설 하에서 관찰된 검정통계량만큼의 극단적인 값이 관찰될 확률
• 여러 사이트에서 제공하는 A/B 테스트 계산기를 사용하면 통계적 유의성을 간단하게 확인 가능
  (단, 종속변수의 형태에 따라 계산방식이 달라지기 때문에 실험설계에 따라 적합한 계산기 사용)
  • 종속변수가 범주형(예: 클릭여부, 가입여부) : 로지스틱 회귀, 카이 제곱 검정
  • 종속변수가 이산형(예: 클릭 횟수, 결제금액) : t-검증, 분산분석
• 📢 테스트 비용과 효과 크기
  • 단순히 테스트의 결과로 얻어지는 p값 외에 실험이 실질적으로 효과를 미치는 크기나 영향력을 고려해서 판단해야 함.
  • 구매 전환율이 99% 유의수준에서 통계적으로 유의미하게 0.5% 상승했다고 해서 항상 가치 있는 것은 아님

 

A/B 테스트 진행 시 주의사항

• 무가설
• 통제 변수 관리 실패
• 단순 평균 비교 : 종속 변수의 평균 비교 외에도 분포, 유의 수준, 효과 크기 등을 종합적으로 고려해서 판단해야 함
• 엿보기, 조기 중지(peeking) : 실험을 진행하는 동안 p값의 변화를 살펴보고 있다가 p값이 0.05 이하로 내려가는 시점에 갑자기 실험 중단(실험 초기 p값이 안정화되지 않은 시점에 테스트를 조기 중지하면 실제로 없는 효과를 있는 것처럼 판단할 수 있음)
• 시간의 흐름에 따른 차이를 살펴보지 않는 것
• 과거의 A/B 테스트 경험을 지나치게 신뢰하는 것
• 국지적 최적화의 함정 : 전역 최적화(Global Optimization)이 아닌 국지적 최적화(Local Optimization)를 찾는 실험임을 유의할 것

 

 

---

본 포스팅은 도서 <그로스 해킹>을 참고하여 작성했습니다 👍 (도서를 직접 읽어보시는 것을 추천합니다)

https://product.kyobobook.co.kr/detail/S000001766457