[해외 부동산 월세 예측(2)] One-Hot Encoding & Ridge Regression

 

Library Import

import os
import numpy as np
import random

from sklearn.preprocessing import OneHotEncoder
from sklearn.linear_model import Ridge

 

Data pre-processing : One-Hot Encoding

• 명목형 변수의 경우 값들 각각을 새로운 컬럼으로 만들고 👉 원래 해당하던 값에는 1을, 아닐 경우 0을 부여
• 이중 For 문을 쓴 이유 : One Hot Encoder가 Test 데이터로부터 Fitting되는 것은 Data Leakage이므로, 
  Test 데이터에는 Train 데이터로 Fitting된 One Hot Encoder로부터 transform만 수행되어야 한다!

# 질적 컬럼 원핫인코딩

qual_col = ['propertyType','suburbName']
ohe = OneHotEncoder(sparse=False)

for i in qual_col :
    train_x = pd.concat([train_x, pd.DataFrame(ohe.fit_transform(train_x[[i]]), columns = ohe.categories_[0])], axis = 1)
    
    for qual_value in np.unique(test_x[i]):
        if qual_value not in np.unique(ohe.categories_):
            ohe.categories_ = np.append(ohe.categories_, qual_value)
            
    # One Hot Encoder가 Test 데이터로부터 Fitting되는 것은 Data Leakage이므로, 
    # Test 데이터에는 Train 데이터로 Fitting된 One Hot Encoder로부터 transform만 수행되어야 한다!!
    test_x = pd.concat([test_x, pd.DataFrame(ohe.transform(test_x[[i]]), columns = ohe.categories_[0])], axis = 1)

train_x = train_x.drop(qual_col, axis = 1)
test_x = test_x.drop(qual_col, axis=1)
print('Done')

결과 확인

 

Model Hyperparameter Setting

• Ridge Regression 모델에서는 alpha를 Hyperparameter로 제공하고 있다
• alpha는 모델의 규제항으로, 모델의 오버피팅을 방지하는 역할을 한다

Model = Ridge(alpha = 1.0)

Model.fit(train_x, train_y)
preds = Model.predict(test_x)

submit['monthlyRent(us_dollar)'] = preds
submit.head()