[🦀 게 나이 예측(2)] Baseline Modeling(Gradient Boosting)

 

🚀 Gradient Boosting 이란?

• 머신 러닝에서 사용되는 강력한 앙상블 학습 알고리즘 중 하나로, 회귀 & 분류 문제 모두 적용 가능하며 높은 예측 성능을 제공
• 앙상블 학습 : 여러 개의 약한 모델을 결합하여 하나의 강력한 모델을 만드는 기법
• 부스팅 : 부스팅(이전 모델의 오류를 보완하는 새로운 모델을 학습하는 방식으로 작동) 기법 중 하나로, 순차적으로 모델을 추가하며 이전 모델이 잘못 예측한 샘플에 가중치를 부여하여 모델의 오류를 보완함
• 그라디언트 : 그라디언트(기울기)를 활용하여 모델 학습. 손실 함수(MSE, MAE 등)의 기울기를 계산하여 이전 모델이 예측을 잘못한 샘플에 더 큰 가중치를 주고, 이를 모정하는 새로운 모델을 학습함
• 모델의 결합 : 약한 학습자(모델)의 예측에 가중치를 부여하여 중요 모델의 예측에 높은 가중치를 주고, 덜 중요한 모델의 예측에는 낮은 가중치를 줌

 

---

 

LabelEncoding (성별 라벨 인코딩)

• Sex 컬럼 값인 I, M, F 에 대해 라벨인코딩 진행
• 0, 1, 2의 값으로 결과 나오는 것 확인 후
• Test 데이터도 동일하게 진행하되 train 데이터셋에서 fit 한 라벨인코더로 transform 하는 것을 유의한다

le = LabelEncoder()

train['generated'] = 1
original['generated'] = 0
test['generated'] = 1

train.drop(columns = 'id', axis = 1, inplace = True)
train = pd.concat([train, original], axis = 0).reset_index(drop = True)

train['Sex'] = le.fit_transform(train['Sex'])
train.head()

 

• X, Y 변수 분리

X = train.drop(columns = 'Age', axis = 1)
Y = train['Age']

 

• test 데이터 라벨 인코딩

test_baseline = test.drop(columns = ['id'], axis = 1)
test_baseline['Sex'] = le.transform(test_baseline['Sex'])

 

 

K-폴드 교차 검증 & Gradient Boosting (베이스 코드 작성)

• K-폴드 교차 검증을 사용하여 Gradient Boosting 회귀 모델을 여러번 학습하고 평가하는 작업을 수행
• skf = KFold(n_splits=10, random_state=42, shuffle=True)
  • 10개의 폴드로 데이터를 나눔
  • 무작위 시드를 설정하여 결과를 재현 가능하게 만듦
  • 각 폴드의 데이터를 섞을 것인지 여부(True = 데이터가 무작위로 섞임)
• K-폴드 교차 검증을 반복
  • skf.split(X, Y) : 데이터를 나누고 훈련 및 테스트 인덱스를 생성
  • enumerate 함수로 반복 번호 i 와 훈련 및 테스트 인덱스 train_ix, test_ix 를 얻음
  • 현재 폴드(i번째) 에 대한 훈련 및 테스트 데이터를 추출
• Gradient Boosting 모델 설정 및 학습
  • gb_md 을 설정하고 특정 매개변수로 초기화 함
  • gb_md.fit(X_train, Y_train)으로 모델 학습
  • 테스트 데이터로 예측 및 평가 : gb_pred_1 과 gb_pred_2 를 사용하여 테스트 데이터에 대한 예측 생성
• gb_score_fold 로 현재 폴드에서 모델 성능을 나타내는 평균 절대 오차(MAE)를 계산
• gb_preds 리스트에 gb_score_fold 값 저장
• 결과 출력 : 각 폴드마다 Gradient Boosting 모델의 성능과 현재 폴드 번호를 출력

# 평가 지표를 빈 리스트 값으로 생성
gb_cv_scores, gb_preds = list(), list()

# k폴드 + gradient Boosting 진행
skf = KFold(n_splits = 10, random_state = 42, shuffle = True)

for i, (train_ix, test_ix) in enumerate(skf.split(X, Y)):
    X_train, X_test = X.iloc[train_ix], X.iloc[test_ix]
    Y_train, Y_test = Y.iloc[train_ix], Y.iloc[test_ix]
    
    print(f'----------------------------------------------------------------')
    
    #Gradient Boosting
    gb_md = GradientBoostingRegressor(loss = 'absolute_error',
                                     n_estimators = 100,
                                     max_depth = 8,
                                     learning_rate = 0.01,
                                     min_samples_split = 10,
                                     min_samples_leaf = 20)
                                     
    gb_md.fit(X_train, Y_train)
    gb_pred_1 = gb_md.predict(X_test[X_test['generated'] == 1])
    gb_pred_2 = gb_md.predict(test_baseline)
    
    gb_score_fold = mean_absolute_error(Y_test[X_test['generated'] == 1], gb_pred_1)
    gb_preds.append(gb_score_fold)
    gb_preds.append(gb_pred_2)
    
    print('Fold', i, '-->> GradientBoosting of MAE is ---->>', gb_score_fold)