본문 바로가기

Machine Learning/Case Study 👩🏻‍💻26

[Pandas] 파이썬으로 이커머스 데이터 A/B test 결과 해석 (feat. 통계 검정) 데이터 출처 : 케글 https://www.kaggle.com/code/sergylog/ab-test-data-analysis 라이브러리 & 데이터 불러오기 import numpy as np import pandas as pd from scipy.stats import mannwhitneyu from scipy.stats import ttest_ind from scipy.stats import norm from scipy.stats import pearsonr from scipy.stats import shapiro import matplotlib.pyplot as plt import seaborn as sns from tqdm.auto import tqdm df = pd.read_csv('AB_Test.. 2024. 1. 30.

[Home Credit Default Risk] 5. 이전 대출이력 데이터 EDA, FE 수행(수정중) 📍데이터 설명 : Previous_Application 이 케글 대회는 대출 정보에 따라 연체 여부를 예측할 수 있는 메인 train 데이터 외에, 고객 별로 이전 대출 이력 현황 데이터도 제공하고 있다. 이전 대출이력 데이터를 가공하여, 메인 데이터 셋과 결합하여 예측 결과가 나아지는지 확인해보자. 자세한 데이터셋과 컬럼 설명은 케글에서 확인하세요! 데이터 로딩 prev = pd.read_csv('previous_application.csv') print(prev.shape, apps.shape) 메인 데이터셋과 조인하여 key(ID) 값 기준으로 체크 메인 데이터셋인 apps 데이터와 조인 이때, 키 값인 SK_ID_CURR 기준으로 merge 하되, indicator를 설정하여 두 데이터의 id 차.. 2023. 11. 15.

[Home Credit Default Risk] 4. 이전 대출 이력 데이터 EDA 및 병합 1. 이전 application(메인데이터) 의 Feature Engineering 함수 복사 def get_apps_processed(apps): # EXT_SOURCE_X FEATURE 가공 apps['APPS_EXT_SOURCE_MEAN'] = apps[['EXT_SOURCE_1', 'EXT_SOURCE_2', 'EXT_SOURCE_3']].mean(axis=1) apps['APPS_EXT_SOURCE_STD'] = apps[['EXT_SOURCE_1', 'EXT_SOURCE_2', 'EXT_SOURCE_3']].std(axis=1) apps['APPS_EXT_SOURCE_STD'] = apps['APPS_EXT_SOURCE_STD'].fillna(apps['APPS_EXT_SOURCE_STD']... 2023. 11. 9.

[Home Credit Default Risk] 3.주요 Feature들에 대한 feature engineering 1. 결측치 처리 앞선 EDA와 분포 시각화, 베이스라인 모델링의 feature Importance를 토대로 주요 피쳐를 선정 각 피쳐의 null 값 확인 app_train[['EXT_SOURCE_1', 'EXT_SOURCE_2', 'EXT_SOURCE_3']].isnull().sum() # dropna = false 로 null 값 개수까지 확인 app_train['EXT_SOURCE_1'].value_counts(dropna=False) app_train['EXT_SOURCE_2'].value_counts(dropna=False) app_train['EXT_SOURCE_3'].value_counts(dropna=False) 주요 피쳐들의 평균/최대/최소/표준편차를 확인 # EXT_SOURCE_X 피처.. 2023. 10. 31.

[Home Credit Default Risk] 2. 주요 Feature에 대한 EDA 1. 연속형 피쳐의 분포 시각화(Target 값에 따라) 함수를 이용하여, 컬럼별로 target값이 0, 1일 때 시각화하기 violinplot, distplot 사용 결과를 보며, target 에 따라 유의미한 차이가 나는 피쳐 확인 >> 피쳐 중요도 파악 👉 연령대가 낮은(또는 직장 경력이 적은), 소액 대출 건에서 연체 비중이 높아 보임 def show_hist_by_target(df, columns): # 타겟 값에 따른 조건 지정 cond_1 = (df['TARGET'] == 1) cond_0 = (df['TARGET'] == 0) # 그래프 그리기 for column in columns: print('column name: ', column) #확인용 fig, axs = plt.subplots.. 2023. 10. 30.

[Home Credit Default Risk] 1. 데이터 분포 시각화, 라벨 인코딩 1. 타겟 값 분포 & 주요 컬럼의 분포 확인하기 데이터의 타겟 값(대출 연체 여부)를 확인한다. >> 각 값(0, 1)의 개수와 비율 app_train['TARGET'].value_counts() app_train['TARGET'].value_counts() / 307511 * 100 타겟의 null 값 확인 apps['TARGET'].value_counts(dropna=False) 주요 컬럼의 분포를 히스토그램으로 확인한다 sns.distplot(app_train['AMT_INCOME_TOTAL']) plt.hist(app_train['AMT_INCOME_TOTAL']) 일부 필터도 적용해본다 (예를 들어, 소득이 1,000,000 이하인 선에서 주요 컬럼의 분포) cond_1 = app_train[.. 2023. 10. 30.

[BG/NBD] 고객 거래 행동 예측 모델 BetaGeoFitter란? 고객 이탈 예측 및 구매 확률 모델링에 사용되는 통계 모델 중 하나로, 고객 이탈 및 구매 확률을 예측하기 위해 사용된다. 이 모델은 기존 고객 데이터를 기반으로 작동하며, 특히 구매 횟수와 재구매 간격을 고려한다. BetaGeoFitter 모델을 구현하려면 Python의 lifetimes 라이브러리를 사용할 수 있다. 아래는 BetaGeoFitter 모델의 사용 예시이다. 라이브러리 import lifetimes 라이브러리를 설치하고 가져온다. !pip install lifetimes import pandas as pd from lifetimes import BetaGeoFitter from lifetimes.datasets import load_cdnow_summary 예.. 2023. 10. 10.

[Kaggle] 이커머스 데이터 분석 7 (CRM Analytics 🛍️🛒) Customer Lifetime Value 한 고객이 당신의 브랜드에 전 생애동안 얼마를 가져다줄 것인가? 에 대한 답을 찾는 과정이다. 고객 별로, 총 구매 기간, 최초 구매일로부터 지금까지 흐른 시간, 주문 횟수, 총 주문 금액을 구해 이를 예측해 보자. 먼저 고객 ID를 기준으로 그룹화를 진행한다. 이때, 기간과 관련된 정보를 다루기 위해 InvoiceDate에 두 가지 함수를 적용한다. 이를 통해 고객별 구매 기간과 최초 구매일로부터 현재까지의 시간을 도출한다 InvoiceNo는 nunique로 고유한 구매 번호로 주문 횟수를 카운트한다. TotalPrice 에는 Sum을 적용하여 얼마나 많은 돈을 썼는지 집계한다. 마지막으로 칼럼을 정리해 주는데, droplevel(0)로 그룹화되며 생성된 멀티.. 2023. 10. 10.

[Kaggle] 이커머스 데이터 분석 6 (CRM Analytics 🛍️🛒) 이번 포스팅에서는 5의 고객군 분석에 이어, 코호트 분석을 진행한다. Cohort Analysis 코호트는 어떤 공통점을 공유하는 사람들의 그룹을 의미한다. 이러한 공통점은 앱 가입 날짜, 처음 구매한 달, 지리적 위치, 획득 채널 (일반 사용자, 마케팅 유입자 등) 등이 될 수 있다. 코호트 분석에서는 이러한 사용자 그룹을 시간에 따라 추적하여 일반적인 패턴이나 행동을 식별하기 위해 사용된다. 본 예제에서는 코호트 분석 함수를 정의했으며, 함수가 긴 관계로 끊어서 설명하고 마지막에 최종 함수를 기록할 것이다. cohort(최초 주문일과 고객 당 주문 건의 날짜 추출) 데이터 프레임을 복사 고객 ID, 송장번호, 주문날짜만 추출하고, 중복된 행 제거 날짜를 월 단위의 기간(Period)으로 변환 : 각 .. 2023. 10. 8.

이전 1 2 3 다음

728x90

티스토리툴바