[Mini Project] 8. Feature Engineering (이상치와 분포 탐색)

 

🥑 오늘의 목표_Featrue Engineering

• 최종데이터의 주요 컬럼을 면적으로 나누어서, 면적당 n의 수의 개념으로 스케일링 시도
• 전체 컬럼을 3개 파트로 나누어서 각자 피쳐 엔지니어링을 간단히 시도해보기로 했다.
• 또한, 상권을 골목상권과 비골목상권(발달상권 등)으로 나누어 분석을 진행하기로 했다.
• 나는 아파트 단지수와 세대수, 배후지 아파트 단지수와 세대수를 담당했다.
• 아파트 관련 컬럼은 다음과 같으며, 배후지 데이터는 골목상권에만 존재한다.

cols_gol = ['아파트_단지_수', '아파트_가격_1_억_미만_세대_수',
       '아파트_가격_1_억_세대_수', '아파트_가격_2_억_세대_수', '아파트_가격_3_억_세대_수',
       '아파트_가격_4_억_세대_수', '아파트_가격_5_억_세대_수', '아파트_가격_6_억_이상_세대_수', '배후지_아파트_단지_수',
       '배후지_아파트_가격_1_억_미만_세대_수', '배후지_아파트_가격_1_억_세대_수', '배후지_아파트_가격_2_억_세대_수',
       '배후지_아파트_가격_3_억_세대_수', '배후지_아파트_가격_4_억_세대_수', '배후지_아파트_가격_5_억_세대_수',
       '배후지_아파트_가격_6_억_이상_세대_수']

 

 

🥑 이상치 탐색

👉  골목상권의 아파트/세대 수 분포 시각화 (박스플롯)

nrows = 4
ncols = 4
fig, axes = plt.subplots(nrows = nrows, ncols = ncols, figsize = (20, 10))

for i, col in enumerate(cols_gol):
    row_idx = i // ncols
    col_idx = i % ncols
    axes[row_idx, col_idx].boxplot(df_gol[col])
    axes[row_idx, col_idx].set_title(f'{col} Box Plot')
    axes[row_idx, col_idx].set_ylabel('Value(값)')
    
plt.tight_layout()
plt.show()

 

👉  비골목상권의 아파트/세대 수 분포 시각화 (박스플롯)

 

---

 

🥑 분포 파악

👉  골목상권의 아파트/세대 수 분포 (히스토그램)

nrows = 2
ncols = 4
fig, axes = plt.subplots(nrows = nrows, ncols = ncols, figsize = (20,10))

for i, col in enumerate(cols_etc):
    row_idx = i // ncols
    col_idx = i % ncols
    axes[row_idx, col_idx].boxplot(df_etc[col])
    axes[row_idx, col_idx].set_title(f'{col} Box Plot')
    axes[row_idx, col_idx].set_ylabel('Value(값)')
    
plt.tight_layout()
plt.show()

 

👉  비골목상권의 아파트/세대 수 분포 (히스토그램)

코드는 위와 동일

---

🥑  이상치 추가 탐색(IQR 이용)

👉  골목상권 데이터셋 피처의 이상치 개수와 비율

• 비골목상권도 동일하게 진행
• 피처별 이상치 비율이 5% 내외이며, 반드시 제거할 이유를 찾지 못해 이상값 제거는 안하기로 함

def outlier_iqr(data, column): 

    # lower, upper 글로벌 변수 선언하기     
    global lower, upper    
    
    # 4분위수 기준 지정하기     
    q25, q75 = np.quantile(data[column], 0.25), np.quantile(data[column], 0.75)          
    
    # IQR 계산하기     
    iqr = q75 - q25    
    
    # outlier cutoff 계산하기     
    cut_off = iqr * 1.5          
    
    # lower와 upper bound 값 구하기     
    lower, upper = q25 - cut_off, q75 + cut_off     
    
    # print('IQR은',iqr, '이다.')     
    # print('lower bound 값은', lower, '이다.')     
    # print('upper bound 값은', upper, '이다.')    
    
    # 1사 분위와 4사 분위에 속해있는 데이터 각각 저장하기     
    data1 = data[data[column] > upper]     
    data2 = data[data[column] < lower]   
    
    num_outliers = data1.shape[0] + data2.shape[0]
    
    # 이상치 총 개수 구하기
    return num_outliers

for i in cols_gol:
    print(f'col:{i}')
    result = outlier_iqr(df_gol, i)
    result_ratio = round(result/df_gol[i].shape[0] * 100, 2)
    print(f'이상치 개수: {result}')
    print(f'이상치 비율: {result_ratio}%')
    print('\n')

 

 

 

🥑  간단한 상관관계 분석

👉  골목상권 데이터셋 피처의 상관관계 시각화(히트맵)

correlation_matrix = df_gol.corr()
mask = np.triu(np.ones_like(correlation_matrix, dtype=bool))
mask |= correlation_matrix < 0.4

plt.figure(figsize=(10, 6))  
sns.heatmap(correlation_matrix, annot=True, cmap='coolwarm', vmin=-1, vmax=1, mask = mask, annot_kws={"size": 8})
plt.title('상관 계수 히트맵')
plt.show()

---

🤾 Issue Today

• 통합 데이터 프레임에서의 결측치 문제
• 컬럼별 박스플롯 시각화 과정에서 골목상권에만 존재하는 배후지 아파트 데이터에 결측치가 존재하였음을 뒤늦게 확인
• 해당 데이터는 특정 상권의 배후지(반경 200m라고 함)의 아파트 가격대별 세대수를 수집한 것
  👉 직접 데이터를 추가하거나 제공받은 RawData에서 결측치가 존재한 것이었음
  👉 결측치를 “대체”하는 것으로 의결
• 대체 데이터 선정에서는 컬럼별 mean VS median 으로 이견이 있었으나, 분포(히스토그램은 그려짐)를 확인해본 결과 이상치 비율이 높지 않아서, mean으로 결측치를 채움

for col in cols_bae:
    col_mean = df_gol[col].mean()
    df_gol[col].fillna(col_mean, inplace = True)

 

---

🤾 To Do List

• 파생변수 생성 및 평가
• 로그 변환 고려(분포에 따른 정규화)
• 피처 드랍 여부 판단
• 모델링 코드 확정(강사님께 피드백 받기)