지표 구성 시 유의사항 & 서비스에 적용해보기(1)

📍본 포스팅은 [인프런] 카일스쿨의 PM을 위한 데이터 리터러시 강의를 기반으로 요약 / 실습했습니다.

 

지표 : 측정하고 싶은 것을 숫자로 표현한 것

• 해결하고자 하는 문제 → 문제 정의 과정에서 지표를 생각해야 함(무엇을 확인해야 할까?)
• 원하는 결과
• 해당 지표가 어떻게 변할지 🤔 Mental Simulation 하는 것이 중요함 → 불활실성 감소!
  • 지표가 올라간다면 왜 그럴까? → 더 빠르게 올릴 수 있을까?
  • 지표가 내려간다면 왜 그럴까? → 내려가지 않게 하려면 무엇을 해야할까?

 

좋은 지표의 조건

• 업무 목적과 관련이 있음 : Objective
• 측정이 가능함 : Measurable
• 지표를 토대로 '행동'할 수 있음 : Actionable
• 누구나 이해할 수 있음 : Understand
• 정의를 명확하게 함 : Specific

 

지표의 종류

• Input Metric : Output Metic을 구성하는 지표
  • 이 지표의 개선으로 Output Metic도 개선됨
  • 이 지표를 기준으로 Action 할 수 있어야 함
• Output Metic
  • 어떤 것의 '결과'가 되는 지표
  • 대표적으로 매출, DAU 등이 있음
  • 원인을 명확히 파악하기 어려움

 

프로젝트 성공과 관련된 지표

• 성공 지표(Success Metric, Primary Metric) : 프로젝트의 성공을 증명할 수 있는 지표(1~2개가 적당)
• 보조 지표(Sub Metric, Secondary Metric) : 성공 지표를 보조할 수 있는 지표
• 🚨 가드레일 지표(Guardrail Metric) : 떨어지면 안 되는 지표 (서비스에 악영향을 주었는지 파악)
  • 예) 매출 급감, 이탈률 증가는 위험하니까
  • 어떤 기능을 만들어도 떨어지면 안되는 지표로, 당연하게 생각하지 않고 고민해봐야 함!

 

지표의 구성요소

구성 요소	내용	예시
이벤트 행동(Event, Action)	유저가 어떤 행동을 했는가	클릭, 뷰(화면 진입), 스크롤, 백그라운드로 이동(background)
시간축	어떤 시간을 기준으로 데이터를 볼 것인가	일자별, 주차별, 월별, 시간대별  → 항상 명시해야 함 (데이터는 시간의 흐름과 연결되므로) → Flow vs. Stock 지표가 있음
차원(Dimension)	데이터를 보는 관점	데이터의 속성으로, Group by(SQL)에 활용되는 값 → 국가별, 연령대별 등
집계 값(Aggregation)	데이터를 관점에 따라 계산	count, max, avg..
조건(Condition)	지표 구성시 사용할 조건	where(SQL)절의 조건을 생각하면 됨! → 특정 페이지를 하루 n번 이상 접속

 

대표적인 지표

• 클릭률(CTR)
• 리텐션(Retention)
• 수익(예약 건수, 매출, 손익)
• 기능의 배포 성공 여부
• 퍼널 전환율
• 구매 전환율

 

지표 활용 가이드

• 현황 파악 : 서비스의 상황 파악
  • DAU, WAU, MAU
  • Retention 등..
• 지표의 정의 확립 & 지표 저장소(Metric Store) 만들기
• 중요한 지표 파악하기 → Output 지표가 아닌 Input 지표 발굴
• 지표 기반 Action 
  • 지표 회의
  • 지표 기반 액션 및 실험

---

문제1. 기능이 잘 동작하고 있는지 확인하려면?

Q. 예시 배달 서비스의 홈 화면의 4개 영역(배너, 메뉴, 이런 음식 어때요, 동네 맛집 기능)이 잘 동작하는지 확인하기 위해서 어떤 지표를 확인해야 할까? 지표를 정의하고 어떤 식으로 움직이면 잘 작동한다고 볼 수 있을지 생각해보자.

출처 : 카일스쿨(인프런)

 

(1) 배너 영역

* 배너 전제 : 배너 영역을 스와이프하면 다양한 정보/혜택이 노출되는 것으로 가정
* 세션 전제 : 최초 접속 후, 30분 이내(가정) 앱에 접속하여 Active 한 경우

• 서비스의 목적 : 각종 프로모션을 통한 결제(매출 증대) 유도 / 제휴 카드 및 브랜드 노출을 통한 광고 수수료 획득
• 사용자의 목적 : 보통 배너에서 쿠폰과 같은 프로모션 / 브랜드별 제휴 혜택을 확인함 
• 지표1 : (1회 세션 이내) 사용자 별 평균 배너 영역 스와이프 횟수(count)
  • 해석 : 세션 내 전체 배너 개수 중 몇 번의 스와이프가 이루어졌는지를 통해 배너에 대한 사용자의 탐색 액션을 카운트하여 사용성 확인
  • 추가로, 사용자 별로 세션 내 몇 개의 distinct 한 배너에 노출되어 view라는 액션이 일어났는지를 확인
• 지표2 : 배너별 클릭률 ( = 클릭수 /  각 배너 노출수)
  • 각 배너 노출수는 스와이프하여 노출된 횟수 : 여러번 스와이프하여도 모두 count
    • 스와이프 액션이 일어나지 않았다면 홈 화면 진입횟수를 기준으로 함
    • 1회라도 스와이프 액션이 일어났다면, 액션이후 노출된 배너의 수를 count
  • 해석 : 각 배너에 대해 클릭률이 높을수록 해당 프로모션/제휴 브랜드에 관심과 활용할 의향이 있다고 간주

(추가 가정 : 배너에 '쿠폰'과 같이 다운로드가 포함된 경우라면)

• 지표3 : 쿠폰 다운로드 비율( = 쿠폰 다운로드 수 / 배너 클릭 수)
• 지표 4: 쿠폰 사용 및 결제 전환율( = 쿠폰이 사용된 결제 건 수 / 쿠폰 다운로드 수 ) ; 기간은 쿠폰 다운 및 사용가능 기간에 한정 
  • 해석 : 다운로드 가능한 프로모션의 매력도를 확인 가능
  • 추가로, 프로모션 기간의 매출 상승률을 확인하여 프로모션의 단순 성공 여부를 측정

 

(2) 메뉴 영역

• 서비스의 목적 : 사용자가 원하는 카테고리에서 다양한 음식을 탐색하여 선택하고자 할 때, 결정의 기준을 제시
• 사용자의 목적 : 특정 카테고리에서 새로운 메뉴를 탐색하거나 / 익숙한 식당 및 메뉴에 진입하고자 할 때 사용
• 지표1 : 각 메뉴에 대한 클릭률 ( = 메뉴별 클릭수 / 홈화면 노출수)
  
  • 해석 : 각 메뉴에 대한 클릭률을 통해 인기있는 메뉴 카테고리를 고객군별로 파악할 수 있음
• 지표2, 3 : (1회 세션 이내) 각 메뉴에 진입하여 음식점을 조회(클릭)한 횟수(count) & 체류시간(duration time)
  • 해석 : 사용자의 메뉴 탐색 현황을 파악해, 서비스를 활발하게 사용하고 있는 정도를 파악(activation의 일부로 간주)
•  지표4: 결제 전환율 ( = 결제 건 수 / 메뉴를 클릭해서 진입한 건 수) ; customer_id 기준으로 집계하여 메뉴별 평균 결제 전환율 도출
  • 특정 메뉴 카테고리에 진입해서 음식점과 메뉴를 선택하여 결제까지 이어지는 전환율을 통해 사용자가 예상한 범주의 카테고리와 메뉴 매칭이 잘 이루어졌는지 확인할 수 있음

 

(3) 이런 음식은 어때요?

• 전제 : [더보기] 버튼은 따로 없고, 스와이프하여 계속 음식점&메뉴가 노출된다고 가정
• 서비스의 목적 : (고객 주문 내역 기반, 추천 시스템이 베이스일 경우) 원하는 메뉴를 특정하지 못한 고객에게 메뉴를 제안하여 주문을 유도 / (광고 기반, 신규 매장 홍보용일 경우) 새로운 매장을 알리고 해당 매장에 대한 첫주문을 유도
• 사용자의 목적 : 평소 먹던 것과 유사하거나 아예 새로운 메뉴를 탐색하고자 할 때 사용
• 지표 및 해석
  • (1회 세션 내) 스와이프 횟수(count) → 해당 기능 자체의 사용성 체크
  • 클릭률( = 배너 클릭 수 / 스와이프하여 노출된 배너 수) → 기능의 매력도 / 추천 알고리즘이 고객의 관심을 잘 끌고 있는지 확인
  • 결제 전환율( = 결제 건 수 / 배너를 클릭해서 진입한 건 수) → 기능의 성공 여부

 

(4) 동네 맛집

• 전제 : [더보기] 버튼은 따로 없고, 스와이프하여 계속 음식점&메뉴가 노출된다고 가정
• 서비스의 목적 : 사용자 근처의 음식점을 노출하여 추가 주문 유도
• 사용자의 목적 : 자주 먹는 음식 외, 근처에서 빨리 배달해 먹을 수 있는 음식점 탐색을 위함
• 지표 및 해석
  • 클릭률( = 배너 클릭 수 / 스와이프하여 노출된 음식점 수) → 기능의 매력도 / 추천 알고리즘이 고객의 관심을 잘 끌고 있는지 확인
  • 결제 전환율( = 결제 건 수 / 음식점 카드를 클릭해서 진입한 건 수) → 기능의 성공 여부