[Kaggle] 이커머스 데이터 분석 2 (CRM Analytics 🛍️🛒)

🚧 이커머스 데이터 분석 1 포스팅과 이어집니다!

지금까지 데이터의 유형과 국가별 분포를 전반적으로 살펴보았다. 또한 함수를 지정하여 결측치와 중복값도 간단히 확인했다.

이제 데이터를 좀 더 구체적으로 들여다보는 '기술 통계'를 시작한다.

---

 

기술 통계 : Descriptive Statistics

desc_stats 함수를 정의하여 기술 통계 값을 불러오도록 한다.

• df.describe(). T를 사용하여 df의 기술통계량을 계산하고, 이를 전치한다.
• 이 통계량을 pd.DataFrame()을 통해 새로운 데이터 프레임인 desc_df로 만든다.
• matplotlib의 f, ax로 Figure, Axes 객체를 생성하고, sns로 히트맵을 그려준다.
  • annot_kws : 표시되는 숫자의 글꼴 크기

def desc_stats(df):
    desc_df = pd.DataFrame(index = df.columns,
                          columns = df.describe().T.columns,
                          data = df.describe().T)
    
    f, ax = plt.subplots(figsize = (10, desc_df.shape[0] * 0.81))
    
    sns.heatmap(desc_df, annot = True, cmap = 'Greens', fmt = '.2f', ax = ax, linecolor = 'white',
               linewidth = 1.1, cbar = False, annot_kws = {'size':12})
    plt.xticks(size = 18)
    plt.yticks(size = 14, rotation = 0)
    plt.title('Descriptive Statistics', size = 14)
    plt.show()

중간 확인용

 

👉 이렇게 숫자형 데이터의 기술 통계량을 시각적으로 확인할 수 있다.

최종 결과

 

👉 결과를 해석하고 여기까지 분석한 내용을 정리해 보자.

📌 제품 판매 수량(Quantity)과 단가(UnitPrice)에 이상치(outliers)가 명확하게 보이며 처리되어야 함.
📌 단가(UnitPrice)에 음수 값이 있음(주문 취소 때문)
📌 고객 ID(Customer ID)와 상품 설명(Description)에 결측값이 있음(앞 포스팅에서 결측치 체크)
📌 총 가격(Total Price)을 생성하기 위해 수량(Quantity)과 단가(Unit Price)를 곱해야 함!

 

---

데이터 전처리 : Data Preprocessing

📌 제품 판매 수량(Quantity)과 단가(UnitPrice)에 이상치(outliers)가 명확하게 보이며 처리되어야 함.

• 이상치를 IQR로 제거하는 함수를 정의해 보자
• 매개변수로 dataframe, 제거하고자 하는 변수, q1, q3 값을 지정한다.
• 데이터 프레임을 복사한 후, quantile() 함수로 q1, q3를 찾는다.
• q3 - q1으로 IQR을 찾고, up_limit, low_limit을 지정한다.
• 마지막으로, 데이터프레임에서 up_limit, low_limit을 벗어난 값을  up_limit, low_limit으로 대체하도록 한다!
  • df_. loc [ 조건, 조건을 만족하는 행의 variable 열 ] = 할당할 새 값

def replace_with_thresholds(df, variable, q1 = 0.25, q3 = 0.75):
        
        df_ = df.copy()
        quartile1 = df_[variable].quantile(q1)
        quartile3 = df_[variable].quantile(q3)
        iqr = quartile3 - quartile1
        
        up_limit = quartile3 + 1.5 * iqr
        low_limit = quartile1 - 1.5 * iqr
        # 중요!! 'variable' 열의 값을 'low_limit'으로 대체
        df_.loc[(df_[variable] < low_limit), variable] = low_limit
        df_.loc[(df_[variable] > up_limit), variable] = up_limit
        
        return df_

 

 

📌 단가(UnitPrice)에 음수 값이 있음(주문 취소 때문)
      & 고객 ID(Customer ID)와 상품 설명(Description)에 결측값이 있음

      & 총 가격(Total Price)을 생성하기 위해 수량(Quantity)과 단가(Unit Price)를 곱해야 함!

• 나머지 전처리를 수행하는 함수를 정의해 보자.
• 데이터를 복사하고, 가장 먼저 결측치는 dropna()로 제거한다.
• 취소된 주문(행) 제거 : InvoiceNo 열에 C 문자열을 포함하는 행을 제거
  • df_['InvoiceNo']. str.contains로 C를 포함하는 것을 True로 반환
  • ~ 를 붙여줌으로써 C를 포함하는 것을 False로 반환
  • C를 포함하지 않는 (True) 값만을 반환하여 df_에 저장
• 주문량은 0 이 아닌 것만 필터링한다.
• 이상치는 앞서 IQR를 활용하는 함수를 이용한다.(여기서는 상하위 0.01%만 제거하는 것으로 지정)
• 판매 총액 칼럼을 추가

# 데이터 전처리 함수
def ecommerce_preprocess(df):
    df_ = df.copy()
    
    # 결측치 제거
    df_ = df_.dropna()
    
    # 취소된 주문과 주문량
    #  'InvoiceNo' 열에 'C' 문자열을 포함하는 행을 제거(nan값은 무시)
    df_ = df_[~df_['InvoiceNo'].str.contains('C', na = False)]
    # 주문량이 0이 아닌 것만 필터링
    df_ = df_[df_['Quantity'] > 0]
    
    # 이상치 제거
    df_ = replace_with_thresholds(df_, 'Quantity', q1 = 0.01, q3 = 0.99)
    df_ = replace_with_thresholds(df_, 'UnitPrice', q1 = 0.01, q3 = 0.99)
    
    # 판매총액 컬럼 추가
    df_['TotalPrice'] = df_['Quantity'] * df_['UnitPrice']
    
    return df_

 

🧑‍💻 전처리 함수 실행 후, 기술 통계량 다시 확인해 보기

• 기술 통계량 확인 함수에서 df.select_dtypes()로 실수형과 정수형 칼럼에 대해서만 기술 통계량을 확인할 수 있도록 한다.
  • df.select_dtypes(include = [float, int])

df = ecommerce_preprocess(df)
desc_stats(df.select_dtypes(include = [float, int]))

전처리 전

 

👉 전처리 후, TotalPrice의 기술 통계량이 추가되었으며 / 단가의 최솟값이 음수가 아니며, 극단적 이상치가 제거됨을 알 수 있다.

 

전처리 후