[Mini Project] 10. 매출의 분포 확인 (+ 이상치 제거 후 모델 성능 체크)

 

🌿 매출 분포 확인

• 모델링 진행 중, 종속변수인 매출의 분포를 체크해보았다.
• 가장 중요한 이 변수의 분포에 따라 모델 성능을 RMSE로 할지, MAE로 할지가 정해지기 때문이다.
• 만약 왜도가 높아 분포가 고르지 않다면, RMSE를 써야하고 그 반대의 경우는 MAE를 쓰는 것이 보다 직관적인 결과해석이 가능하다.

 

✔ 골목상권 매출 분포

• 왜도 값까지 출력할 수 있도록 코드를 작성하여 골목상권의 매출 분포를 히스토그램으로 그려보았다.

fig, ax = plt.subplots(1, 1, figsize=(18,10))
g = sns.histplot(df_gol['매출'], color='b', label='Skewness : {:.2f}'.format(df_gol['매출'].skew()), ax=ax)
g.legend(loc='best', prop={'size': 16})
g.set_xlabel("골목상권 매출분포(이상치제거 전)", fontsize = 16)
g.set_ylabel("Count", fontsize = 16)

plt.show()

 

# 박스 플랏
fig, ax = plt.subplots(figsize = (18,10))

g = sns.boxplot(df_gol['매출'], color='b', ax=ax)
g.set_xlabel("골목상권 매출분포(이상치제거 전)", fontsize = 16)
g.set_ylabel("Count", fontsize = 16)
plt.show()

 

• 여기까지 진행한 결과 다음과 같은 의문이 들었다.
• 그래서 이상치 제거를 간단히 진행해보고 모델링을 시도해보기로 했다.

 

이상치를 제거하면 모델 성능이 얼마나 좋아질까?

---

✔ 골목상권 이상치 제거(사분위수 이용)

• 사분위수를 파악해, 수염 바깥으로 벗어난 값을 이상치로 판단하고 제거하는 것을 시도해보았다.

outlier_ind = []

Q1 = np.percentile(df_gol['매출'], 25)
Q3 = np.percentile(df_gol['매출'], 75)

IQR = Q3 - Q1
outlier_ind = df_gol[(df_gol['매출'] < Q1 - 1.5*IQR) | (df_gol['매출'] > Q3 + 1.5*IQR)].index

upper = Q3 + 1.5*IQR
lower = Q1 - 1.5*IQR

print('upper: ', upper)
print('lower: ', lower)

 

• 이상치 제거 후, 골목상권 매출 분포 ->> 왜도는 확실히 나아진 것이 보인다.

 

 

• 박스 플랏 ->> 매출 최댓값이 많이 낮아져 이상치를 단순 제거하는 것은 위험이 있을 것이라 판단했다.
• 이 상황에서의 모델링 결과가 단순히 궁금하여 일단 모델링을 시도했다.

 

 

🌿 이상치 제거 후, 모델링 결과

• 컬럼은 13개(파생변수 탐구 이후) 포함
• k = 10으로 상향 조정

평균 RMSE: 26238.05105698613
평균 MAE: 18370.828031660763

 

👉 RMSE가 반 정도로 낮아졌지만 위에서 고민한대로, 제거된 이상치에 속하는 상권코드와 매출 값을 좀 더 구체적으로 확인할 필요를 느꼈다.

---

🌿 제거된 이상치 분석

• 제거된 이상치 데이터만 뽑아서 csv 파일로 저장하고 간단한 EDA와 시각화를 진행했다.
• 아래와 같이 삭제된 상권코드 11개에 대한 매출 평균 / 삭제된 행의 개수를 정리했다.

# 참고용 코드 일부(그룹바이 사용 체크)
merged = merged.groupby('상권_코드').agg({'매출': 'mean', 'count': 'max'}).reset_index()

 

 

• 이를 시각화하면 다음과 같다

fig = go.Figure()

# count 최댓값을 선 그래프로 추가
fig.add_trace(go.Scatter(x=merged['상권_코드'], y=merged['count'], mode='lines+markers', name='제거된 상권 개수', line=dict(color='red'), yaxis='y2'))

# 그래프 레이아웃 설정
fig.update_layout(title='상권코드별 삭제된 개수',
                  xaxis_title='상권 코드',
                  yaxis_title='값',
                  height=600)

# 그래프 표시
fig.show()

 

 

fig = go.Figure()

# 매출 평균을 막대 그래프로 추가
fig.add_trace(go.Bar(x=merged['상권_코드'], y=merged['매출'], name='제거된 상권의 평균매출', marker_color='blue', yaxis='y'))

# 그래프 레이아웃 설정
fig.update_layout(title='상권코드별 매출 평균',
                  xaxis_title='상권 코드',
                  yaxis_title='값',
                  height=600)

# 그래프 표시
fig.show()

 

 

 

🌿 이상치 제거 기준 정하기

• 높은 값을 가지는 데이터를 위 이상치 제거에서 모두 삭제해버렸기 때문에, 사분위수를 단순 활용한 이상치 제거는 본 프로젝트에 적합하지 않다고 판단했다.
• 따라서 다시 한번 전체 매출 데이터를 확인하고, 오히려 0과 같이 너무 낮은 값을 가지는 매출 데이터의 행을 삭제하는 방향을 삭제하기로 했다.
• 이에 대한 판단 및 결과는 다음 포스팅에서 정리하기로 한다.

---