[🦀 게 나이 예측(5)] 모델 성능 개선을 위한 Feature Engineering

 

🚀 Feature Engineering

(4) 번 포스팅에서, 1차 베이스라인 모델링 결과를 비교해 보았다.

해당 분석을 수행한 분석가는 Feature Engineering을 수행하여 유의미한 파생변수를 생성하고, 다시 한번 모델링한 결과가 더 좋았다고 한다. 본 포스팅에서는 Feature Engineering에서 검토하고 만들 수 있는 파생변수의 종류를 알아보고 그 과정을 짚어본다.

---

🧑‍💻 비율 특성 (Ratio Features)

• 이번 케이스는 게의 껍질 무게, 몸의 길이 등 게의 신체적 특징을 가지고 '나이'를 예측하는 것이었다. 
• 여기서 기본적으로 주어진 변수를 토대로 전체 중에 특정 변수를 나누어, 특정 '비율'을 도출하여 파생변수를 생성할 수 있다.
• Ratio Features 라고하며, 서로 다른 요소 간 상대적 크기 비교를 용이하게 해준다.
• 예시는 다음과 같다
  • Viscera Ratio = Viscera Weight / Total Weight
  • Shell Ratio = Shell Weight / Total Weight
  • Shell-to-Body Ratio = Shell Weight / (Total Weight + Shell Weight)
  • Meat Yield = Shucked Weight / (Total Weight + Shell Weight)
  • Length-to-Diameter Ratio = Length / Diameter
  • Weight-to-VisceraWeight Ratio = Total Weight / Viscera Weight
  • Weight-to-ShellWeight Ratio = Total Weight / Shell Weight
  • Weight-to-ShuckedWeight Ratio = Total Weight / Shucked Weight

 

🧑‍💻 기하학적 특성 (Geometric Features)

• Geometric Features은, 이번 스터디인 게의 '신체적' 특징을 이해하는데 도움을 준다. 데이터 셋에 따라 해당 피쳐 생성이 도움이 될 수도 있고 아닐 수도 있는 것이다.
• 대표적으로는 밀도, BMI 지수, 표면적, 부피 등을 생성할 수 있다.
• 예시는 다음과 같다
  
  • Surface Area = 2 * (Length * Diameter + Length * Height + Diameter * Height)
  • Volume = Length * Diameter * Height
  • Density = Total Weight / Volume
  • Pseudo BMI = Total Weight / (Height ^ 2)

 

 

🧑‍💻 다항 특성 (Polynomial Features)

• Polynomial Features는 주어진 데이터를 확장하여 다항식 형태로 변환하는 전처리를 거쳐 생성한다.
• 특히, 선형 모델에서 변수 사이의 비선형 관계를 포착하는데 도움을 준다.
• 주어진 데이터의 차원을 확장하여 모델이 더 복잡한 관계를 학습하도록 도와준다.
• 다항식 특성을 만들 때는 입력 변수의 거듭제곱을 사용하는 것이 일반적이다
• 주로 다항 회귀나 다항 분류 문제에서 사용된다.
• 예시는 다음과 같다(수학적으로 항상 참인 등식)
  • Length^2 = Length ^ 2
  • Diameter^2 = Diameter ^ 2

 

🧑‍💻 로그 변환 (Logarithmic Transformations)

• 왜도를 줄이고, 극단 값을 조정하는데 도움이 되는 로그 변환이다. 
• 왜도 조정, 분산 안정화(데이터 변동성 축소), 상대적 크기 조정(데이터가 다양한 범위/스케일을 가지고 있을 때)에 사용된다.
• 주로 양수 값을 가지는 데이터에 적용되며, 로그 함수(base 10 또는 자연 로그)를 사용하여 데이터를 변환한다.
• 예시는 다음과 같다
  
  • Log Weight = log(Total Weight + 1)

 

🧑‍💻 피쳐 범주화 (Binned Features)

• 입력 변수의 값을 범주 형태로 나누어 처리하여, 타겟 변수와의 관계를 더 잘 이해하기 위해 사용된다.
• 입력 변수의 값을 구간으로 나누어 이산화할 수 있다. 이후, 범주별로 통계치(평균, 중앙값, 표준편차)를 계산하여 범주의 대표값으로 사용하기도 한다.
• 이산화된 범주와 타겟 변수 사이의 관계를 시각화하거나 통계분석을 통해 더 쉽게 타겟 변수와의 관계 파악을 할 수 있다.
• 데이터 복잡성을 줄이고 모델 해석을 용이하게 하며, 특히 선형 모델 및 트리 기반 모델과 같은 일부 머신러닝 모델에 유용하다.
• 하지만, 구간을 어떻게 선택하느냐에 따라 모델 성능과 해석이 달라질 수 있으므로 신중하게 결정해야 한다.
• 예시는 다음과 같다.
  • Length Bins = Binned version of Length (e.g., quartiles)

 

🧑‍💻 참고 : 데이터에 맞는 새로운 파생변수 생성

• 데이터 셋이 가지고 있는 변수별 특성을 파악하여 새로운 변수를 생성하는 경우이다.
• 이 예시에서는 게의 체질량 지수와 점액 중량을 제외한 무게 등을 생성했다. (Derived Weight Features 아래 예시)
  • Weight_wo_Viscera = Shucked Weight - Viscera Weight
  • Body Condition Index = sqrt(Length * Total Weight * Shucked Weight)

---

실제로 본 분석가는 새로운 변수를 생성하여 더 나은 모델링 결과를 얻었다고 한다.

데이터 셋 자체와 배경에 대한 충분한 이해와 조사가 필요하며, 이를 바탕으로 적극적인 피쳐 엔지니어링의 필요성을 느꼈다!

 

 

스터디 출처

https://www.kaggle.com/competitions/playground-series-s3e16/discussion/415721