[중고차 가격 예측(2)] EDA

 

가장 먼저 분석을 시작하려고, 데이터를 로드한 다음엔 무엇을 해야할까?

지난 시간에 pandas_profiling에서 살펴본 바와 같이 각 피쳐와 피쳐간 관계를 기반으로 분석을 시작해야한다.

전체적인 EDA의 흐름을 거듭 익혀보자.

 

🚕 EDA의 시작은 피쳐 이해

✔ 1. Feature 체크

- id : 샘플 아이디 | title : 제조사 모델명 | odometer : 주행 거리
- location : 판매처(나이지리아 도시) | isimported : 현지 사용 여부
- engine : 엔진 종류 | transmission : 트랜스미션 종류
- fuel : 연료 종류 | paint : 페인트 색상 | year : 제조년도 | target : 자동차 가격

• 피쳐의 구성과 각 항목의 의미를 잘 파악해야 다음 단계의 분석이 수월하다(당연한 이야기)
• 특히, 가장 처음에는 데이터 타입을 기준으로 수치형 / 범주형 데이터를 나누는 것이 중요하다

 

✔ 2. 데이터 타입 체크

• numeric(4): id, odometer, year, target
• categorical(7):title, location, isimported, engine, transmission, fuel, paint

 

✔ 3. 결측치 체크

 

✔ 4. 이상치(outlier) 체크 : 시각화

• 여기서는 이상치 파악을 위해 Skewness(비대칭도, 왜도)를 살펴본다.
• Skewness는 확률 분포의 비대칭성을 나타내는 통계적 측도이다.
• 데이터 분포가 어떻게 왼쪽이나 오른쪽으로 치우쳐져 있는지를 설명하는 데 사용된다.
• Skewness는 데이터 분포의 대칭성을 평가하고, 분포가 어떻게 치우쳐져 있는지를 수량적으로 측정하는 것으로,
• 0일 경우, 대칭이며, 양수면 오른쪽으로 치우치고, 음수면 왼쪽으로 치우친다

df_train = train.copy()
df_test = test.copy()

fig, ax = plt.subplots(1, 2, figsize = (18, 5))

g = sns.histplot(df_train['odometer'], color = 'b', label = 'Skewness:{:.2f}'.format(df_train['odometer'].skew()), ax = ax[0])
g.legend(loc = 'best', prop={'size':16})
g.set_xlabel('Odometer', fontsize = 16)
g.set_ylabel('Count', fontsize = 16)

g = sns.histplot(df_train['year'], color = 'b', label='Skewness:{:.2f}'.format(df_train['year'].skew()), ax=ax[1])
g.legend(loc='best', prop={'size':16})
g.set_xlabel('Year', fontsize = 16)
g.set_ylabel('Count', fontsize = 16)

plt.show()

👉 여기서는 두 개였던 수치형 데이터의 분포를 시각화하고, skewness를 수치로 확인한다.

 

👉 왜도가 큰 위의 두 피쳐의 이상치를 제거해보자.

numeric_fts = ['odometer', 'year']
outlier_ind = []

for i in numeric_fts:
    Q1 = np.percentile(df_train[i], 25)
    Q3 = np.percentile(df_train[i], 75)
    IQR = Q3 - Q1
    outlier_list = df_train[(df_train[i]<Q1-1.5*IQR) | (df_train[i]>Q3+1.5*IQR)].index
    outlier_ind.extend(outlier_list)

• 수치형 컬럼을 리스트에 따로 저장해둔다.
• 이상치 인덱스만 저장할 빈 리스트를 저장한다.
• 수치형 컬럼 각각에 대해, IQR을 계산(Numpy 이용)
• 이상치에 해당하는 인덱스를 outlier_list에 저장하고, 
• outlier_ind.extend() 하면 이상치가 있는 row의 인덱스 값이 이어서 저장된다

 

train_df = df_train.drop(outlier_ind, axis = 0).reset_index(drop=True)
train_df

• 위에서 저장된 최종 이상값의 인덱스가 저장된 리스트를 이용하여 이상값이 있는 행을 전부 삭제한다
• 결과 확인

 

 

👉 히스토그램을 다시 한 번 그려, 결과를 확인해본다 ==>>> 확실히 왜도가 개선되었다

 

 

✔ 5. 범주형 컬럼간 상관관계 확인 & 인코딩(LabelEncoder)

👉 범주형 컬럼을 각각 라벨인코딩

# 범주형 컬럼 체크
cat_fts = ['title', 'location', 'isimported', 'engine', 'transmission', 'fuel', 'paint']

# 라벨인코딩
la_train = train_df.copy()

for i in range(len(cat_fts)):
    encoder = LabelEncoder()
    la_train[cat_fts[i]] = encoder.fit_transform(la_train[cat_fts[i]])

👉 히트맵으로 시각화

plt.figure(figsize = (10, 8))
sns.heatmap(la_train[['odometer', 'year', 'paint', 'fuel', 'transmission', 'engine', 'target']].corr(), annot=True)
plt.show()

 

 

여기까지 기본적인 EDA를 통해, 컬럼의 특징과 현황을 확인하고 
이상치 제거, 컬럼 인코딩 등을 수행했다. 다음 포스팅에서는 구체적인 피쳐 엔지니어링으로 들어가보자!