[AARRR] 그로스 해킹에서 지표를 잘 선택하고 활용하는 법

지표란?

• 그로스 해킹은 결과적으로 ‘지표’에 관한 일
• 지표의 속성에 따른 구분
  • 스톡(Stock) 형태의 지표 : "저장 지표"라고도 하며, 특정 지점의 스냅숏에 해당하는 지표
    • 누적 가입자 수, 누적 거래액, 레벨 1인 사용자 수 등
  • 플로(Flow) 형태의 지표
    • 시작과 끝에 대한 시간 범위가 존재하며, 일정한 시간 동안의 변화량을 나타냄
    • (예) 1월 1일의 가입자 수, 2월 1일 하루 매출, 일 평균 주고받은 메시지 수 등
• 지표의 속성에 따라 지표를 모니터링하는 방식이나 대시보드 설계 등이 전혀 달라지므로, 핵심 지표를 선정하거나 그로스 실험의 성과를 측정할 때 지표를 정확히 구분해서 사용해야 함

 

지표를 명확하게 정의하기

🧐 모호한 지표는 모호한 액션을 이끌 수밖에 없다!

▶︎  지표의 조작정 정의

• 같은 지표라고 해도 회사나 서비스마다 중요하게 생각하는 부분이 다를 수 있고, 더 적합한 측정 기준이 있을 수 있음
• 따라서 이 단계에서는 "원칙"을 세우는 것이 필수 → 지표의 조작적 정의를 내리는 것이 우선 (Operational Definition; 객관적이고 측정 가능한 기준으로 기술한 정의)
• 지표를 개선하기 위해서는 측정할 수 있어야 하고, 측정하기 위해서는 해당 지표에 대한 조작적 정의가 필요함

 

▶︎ 사례

✈️ 여행 관련 서비스 종합 플랫폼의 ‘cross-sell, 교차구매’ 비율을 높이는 것이 목표인 상황을 가정

 

• ‘항공권을 예약한 사람이 호텔도 예약하면 크로스셀’이라는 개념적 정의는 비교적 쉬움
• 하지만 크로스셀 비율을 정확하게 집계하기 위해서는 많은 경우의 수를 고려해야 함
  • 런던 항공권을 산 사람이 파리 호텔을 사면 크로스셀인가?
  • 1월에 런던 항공권을 산 사람이 7월에 파리 투어를 사면 크로스셀인가?
  • 런던 야경투어를 산 사람이 그다음 날 똑같은 투어를 하나 더 사면 크로스셀인가? 등..

• 지표에 대한 조작적 정의를 하기 위해서는 이러한 질문을 바탕으로 ‘우리가 크로스셀이라고 판단하는 기준이나 원칙을 어떻게 세울 것인가?’에 대해 답할 수 있어야 함
• 서로 생각하는 기준을 공유하고, 조율하고, 질문하고, 답변하는 과정을 통해 크로스셀 개념을 구체화하고, 결과적으로 모두가 공감하는 기준을 만들어야 진행 가능

---

허무 지표에 빠지지 않기

• 좋은 지표가 가져야 할 조건 중 하나 : 그 지표를 바탕으로 행동할 수 있어야 함(actionable)
• 이와 반대되는 지표 → 허무지표; vanity metric
  • 주요 허무지표 : 누적 다운로드, 누적 앱 설치, 누적 방문자, 페이지 뷰
  • 시간이 지나면서 자연스럽게 증가하는 지표 등 ; Stock 지표의 대부분이 이에 속함

---

전체 관점에서의 최적화

• 지표를 개선하기 위한 행동이 부분 최적화가 아닌 전체 관점에서의 최적화에 초점을 맞춰야 한다는 점
• 예를 들어, 단순히 클릭률이나 클릭당 단가(CPC; cost per click)라는 부분 최적화 지표에 매몰되면 안 됨
• 클릭률이 아니라, 구매 전환 성과를 측정할 수 있는 ROAS를 기준으로 마케팅 성과를 판단한다면?
  → ROAS가 절대적 기준이 아니며, 계산 기준도 상황에 따라 달라짐

🎯 마케팅 성과를 전체 관점에서 측정하고 최적화하려면?
한 두 개의 지표 움직임으로 판단하는 것이 아니라 해당 마케팅을 통해 우리 서비스의 신규 고객 유치나 매출 상승에 어떤 효과가 있었는지 여러 시나리오와 지표를 바탕으로 종합적으로 판단하고 의사결정해야 함!

 

• (예시) 페이스북 손 흔들기 기능 : 잘못 클릭했을 때 사용자가 불편함을 겪지만, 역으로 DAU를 높이고 메신저 기능을 사용하게 하긴 함
  → 과연 전체적으로 봤을 때 성공적인 기능인가?

---

심슨 패러독스(Simpson’s Paradox)

( 👉 심슨 패러독스만 다룬 별도 포스팅이 있습니다! 블로그 내에서 참고해 주세요 )

• 전체 데이터를 놓고 보면 잘 드러나지 않는 특성들이 쪼개진 상태에서는 명확하게 드러나는 경우가 많음
• 심슨 패러독스란 쪼개진 데이터에서 성립하는 관계가 합쳐진 데이터에서는 반대로 나타나는 현상
• (위와 이어지는) 마이리얼트립 크로스셀 사례
  • 크로스셀에 대한 조작정 정의를 마치고 지표를 추적 → 점차 높아지다가 하락함(전체 데이터로 봤을 때)
  • 국가별로 쪼개서 본 크로스셀 비율은 대부분 꾸준히 증가 중이었음
  • 원인 : 크로스셀 비율이 높았던 일본 여행이 전체에서 차지하는 비중이 줄어듦(한일 외교 갈등 → 일본 불매운동)

---

대푯값을 사용할 때 주의할 점

[사례1]  💕 데이팅 서비스 리텐션 높이기 프로젝트

• 가입 후 첫 한 달 이내 이탈 사용자가 많았음
• 첫 가설 : “첫 한 달 동안 커플 연결이 안 됐기 때문에 싫어하고 나가는 사용자들이 많을 것이다.”
  → 데이터를 확인해 보니, 한 달 동안 평균 커플 연결 횟수 2.3회(가설이 틀린 걸까?)
• 데이터 추가 확인
  • 이탈하는 대부분의 사용자는 한 달 동안 0회(절대다수)
  • 인기 있는 소수의 사용자만 많이 성공(평균 30회까지도 있음)
  • 결국,  데이터 분포가 매우 극단적 → 평균은 두 그룹 중 어느 쪽도 대변하지 않았음

 

[인사이트]

• 즉, 데이터가 정규분포가 아니거나 아웃라이어가 있는 경우 → 평균은 그 데이터를 대표하지 못하는 경우가 많음
• 분석 대상 데이터 세트에 아웃라이어가 있거나 분포를 알 수 없는 경우라면 중앙값(median)을 대푯값으로 사용하는 것을 적극 고려해 볼 필요 있음

 

[사례2] 🛫 여행자들에게 여행자보험을 추천하기에 가장 적합한 시기는 여행일로부터 며칠 전일까?

• 여행자 보험 예약 시점에 대한 데이터 분석 : 평균적으로 여행일로부터 14일 전
• 그래프로 확인해 보니, ‘평균’의 함정
  • 대부분의 여향자들은 여행 직전에 예약, 일부 소수의 여행자들이 여행을 한참 남겨두고 미리 예약

 

[인사이트] 대푯값을 정하기 전에 그 분포를 확인하는 것이 매우 중요!

• 산점도(Scatter Plot), 상자-수염 그램(Box-and-whisker Plot)을 간단히 그려만 봐도 확인 가능
• 데이터 분석을 할 때는 이런저런 분석 기법을 적용하기에 앞서 수집된 데이터의 구조와 형태, 분포 등을 다각도로 확인하는 EDA 과정을 충분히 거쳐야 함

---

생존자 편향(Survivorship Bias) 피하기 

• 데이터 분석 전 꼭 체크해야하는 점 : 수집된 데이터가 분석하려는 목적에 적합한가? → Garbage In Garbage Out 방지!
• (예1) 세계 2차 대전 당시, 귀환에 성공한 전투기의 데이터만 선택적으로 분석하면 잘못된 결론을 낼 수 있었던 사례
  → 분석 대상 데이터들이 편향성을 가진 채 수집되면 분석 결과를 신뢰할 수 없음

 

• (예2) 항공권 예약과 호텔 예약의 크로스셀 분석을 위해서는 둘 중 하나만 예약한 고객이 아니라
  → 둘 다 예약한 고객 데이터만 분석해야함

 

 

 

---

본 포스팅은 도서 <그로스 해킹>을 참고하여 작성했습니다 👍 (도서를 직접 읽어보시는 것을 추천합니다)

https://product.kyobobook.co.kr/detail/S000001766457