[Pandas] 파이썬으로 이커머스 데이터 A/B test 결과 해석 (feat. 통계 검정)

데이터 출처 : 케글

https://www.kaggle.com/code/sergylog/ab-test-data-analysis

 

라이브러리 & 데이터 불러오기

import numpy as np
import pandas as pd
from scipy.stats import mannwhitneyu
from scipy.stats import ttest_ind
from scipy.stats import norm
from scipy.stats import pearsonr
from scipy.stats import shapiro
import matplotlib.pyplot as plt
import seaborn as sns
from tqdm.auto import tqdm

df = pd.read_csv('AB_Test_Results.csv')

 

 

데이터 탐색

• 통제집단과 변화(test)를 적용한 실험집단 변수 확인 : VARIANT_NAME

df.head()

df.nunique()

df.describe()

 

• A/B test 그룹 확인

double_variant_count = df.groupby('USER_ID')['VARIANT_NAME'].nunique().value_counts()
double_variant_count

double_variant_count / double_variant_count.sum()
--
1    0.756325
2    0.243675

 

🎯 확인할 사항 : 한 명의 유저가 통제 & 실험집단에 동시에 속하면 결과 해석이 어려워짐 ▶︎ 중복 유저는 제외하기로 한다.

 

# 1개의 테스트 그룹에 속한 유저만 보기
single_variant_users = df.groupby('USER_ID')['VARIANT_NAME'].nunique() == 1
single_variant_users

# 1개 그룹에만 속한 유저 필터링
df = df[df['USER_ID'].isin(single_variant_users.index)]

# 행 개수 확인
df.groupby('USER_ID')['VARIANT_NAME'].nunique().value_counts().iloc[0] == double_variant_count.iloc[0]
--
True

 

데이터 분포 확인

sns.boxplot(x='VARIANT_NAME', y='REVENUE', data=df)

 

• outlier가 많이 보이므로, 추후 매출액을 기준으로 내림차순 하여 확인해 보기로 한다.
• 이상치를 확인해보니, 3342 아이디의 유저의 매출이 유독 높다.

# 이상치 찾기
df.sort_values(by='REVENUE', ascending=False).iloc[:10]

 

• 3342 유저를 확인해보니, 통제 집단에 속해있다.
• 단일 건으로 확인되며, 이 건은 삭제하여 나머지 유저의 매출 분포를 확인해 보기로 한다.

df[df['USER_ID']==3342]

# 해당 이상치 제외
df = df[df['USER_ID']!=3342]

 

• 또한, 매출이 발생하지 않은 건을 제외한 경우와 전체 경우를 비교하여 박스 플롯을 그려본다. 
• 매출이 발생하지 않은 건을 제외했을 때 분포가 더 잘 보인다.

f, axes = plt.subplots(2, sharex=True, figsize = (5, 12))
sns.boxplot(ax=axes[0], x='VARIANT_NAME', y='REVENUE', data=df)
sns.boxplot(ax=axes[1], x='VARIANT_NAME', y='REVENUE', data=df[df['REVENUE']>0])
plt.xticks(np.arange(2), ('control', 'variant'))
plt.show()

• 실제로 매출이 0인 고객이 많은지 확인해본다.
• 매출이 0인데, 0 이상인 것으로도 나타나는 고객이 156명이다. 즉, 고객 데이터가 중복되어 있다.

# 구매가 없는/있는 고객 비교
(df.loc[(df['REVENUE']==0)&(df['USER_ID'].isin(df.loc[df['REVENUE']>0, 'USER_ID'].values)), 'USER_ID']).count()
---
156

 

그룹별로 확인

all_stat = df.groupby(by='VARIANT_NAME').agg({'USER_ID':'nunique',
                                             'REVENUE':['sum', 'mean', 'median', 'count']})

• 각 사용자별로 주문이 얼마나 자주 발생하는지 평가하기 위한 지표를 계산해 보자 
  👉 사용자 1명당 평균 구매 횟수
• 결과를 보면 두 집단에 큰 차이가 없는 것으로 보인다

orders_per_user = all_stat.loc[:, ('REVENUE', 'count')] / all_stat.loc[:, ('USER_ID', 'nunique')]
orders_per_user

• 사용자 1명 당 평균 매출도 계산해본다.

revenue_per_user = all_stat.loc[:, ('REVENUE', 'sum')] / all_stat.loc[:, ('USER_ID', 'nunique')]
revenue_per_user

• 위에서 구한 두 값들을 all_stat에 추가한다.

all_stat.loc[:, ('per_user', 'orders')] = orders_per_user
all_stat.loc[:, ('per_user', 'revenue')] = revenue_per_user

all_stat

 

👉 평균 구매 금액도 통제 집단이 더 높은 것으로 확인할 수 있다.

 

구매 유저들만 분석 

• 위와 동일하게 코드를 작성하되, revenue가 0이 아닌 것만 필터링해 준다.

paid_stat = df.loc[df.REVENUE != 0].groupby('VARIANT_NAME').agg({'USER_ID':'nunique',
                                                                'REVENUE':['sum', 'mean', 'median', 'count']})

 

orders_per_user = paid_stat.loc[:, ('REVENUE', 'count')] / paid_stat.loc[:, ('USER_ID', 'nunique')]
revenue_per_user = paid_stat.loc[:, ('REVENUE', 'sum')] / paid_stat.loc[:, ('USER_ID', 'nunique')]

paid_stat.loc[:, ('per_user', 'orders')] = orders_per_user
paid_stat.loc[:, ('per_user', 'revenue')] = revenue_per_user

 

• 동일하게 시각화한다. 👉 모든 유저와 구매까지 이어진 유저의 수익 분포
• 구매까지 이어진 유저 그래프에서 명확한 차이가 더 보이고, 실험집단의 구매가 많이 발생한 구간도 확인할 수 있다.

f, axes = plt.subplots(2, figsize = (10, 8))
sns.distplot(df.loc[df['VARIANT_NAME']=='control', 'REVENUE'], ax=axes[0], label='control')
sns.distplot(df.loc[df['VARIANT_NAME']=='variant', 'REVENUE'], ax=axes[0], label='variant')
axes[0].set_title('Distribution of revenue of all users')

sns.distplot(df.loc[(df.VARIANT_NAME == 'control') & (df['REVENUE'] > 0), 'REVENUE'], ax=axes[1], label='control')
sns.distplot(df.loc[(df.VARIANT_NAME == 'variant') & (df['REVENUE'] > 0), 'REVENUE'], ax=axes[1], label='variant')
axes[1].set_title('Paying Users revenue Distribution')
plt.legend()
plt.subplots_adjust(hspace=0.3)

---

통계 검정

▶︎ 정규분포 여부 : shapiro-Wilk 검정

• 실험집단의 수익분포는 정규분포가 아님을 확인할 수 있다.

shapiro(df.loc[df.VARIANT_NAME=='variant', 'REVENUE'])
--
ShapiroResult(statistic=0.027033090591430664, pvalue=0.0)

 

▶︎ Mann-Whitney 검정

• 수익이 0인 값과 중복값이 많은 데이터이므로 유의해야 한다.
• 만-위트니 검정(Mann-Whitney U 검정)은 두 개의 독립적인 표본 간의 비모수적인 비교를 수행하기 위해 사용된다.
• 비모수 검정은 데이터가 정규 분포를 따르지 않거나 모집단에 대한 분포에 대한 가정을 만족하지 않을 때 사용한다.

(df['REVENUE']==0).value_counts()
--
True     9848
False     151

 

• 실험집단과 통제집단의 수익에 대한 비모수 검정 결과
  • statistics : 두 집단 간 순위합으로, 집단이 유사하면 값이 작고, 집단 차이가 크면 큰 값이 나옴
  • pvalue : 통계적으로 유의미한 차이가 없음 (0.05보다 큼)
• 즉, 두 집단 간 차이가 통계적으로 유의미하지 않음

mannwhitneyu(df.loc[df.VARIANT_NAME=='variant', 'REVENUE'], df.loc[df.VARIANT_NAME=='control', 'REVENUE'])
--
MannwhitneyuResult(statistic=12478180.0, pvalue=0.5291970335120277)

 

• 수익이 발생한 경우만 다시 한번 수행
  • 결과 : 역시 유의미한 차이 없음

mannwhitneyu(df.loc[(df.VARIANT_NAME=='control')&(df.REVENUE>0), 'REVENUE'],
            df.loc[(df.VARIANT_NAME=='variant')&(df.REVENUE>0), 'REVENUE'])
--
MannwhitneyuResult(statistic=3284.0, pvalue=0.10145877111519161)

---

결론

👉 먼저 살펴보았던 데이터에 대한 탐색을 통해, 두 집단 간 유의미한 매출 차이를 발생하지는 않은 것으로 보인다.

👉 통계 검정으로 재확인해보아도 결과가 같다.