[프로젝트 스터디] Feature Engineering

 

Feature Engineering 이란?

• 모델을 학습시키기 위해 데이터에서 유용한 특징(피쳐, 변수)을 추출하거나 변형하는 과정
• 제대로 수행하면 모델의 성능을 향상시키고, 예측 또는 분류 작업을 더 정확하게 수행할 수 있음!
• 일반적으로 Feature Engineering은 데이터 전처리의 일부로 고려됨
• 문제의 성격과 데이터 종류에 따라 다양한 기술과 전략을 사용하며, 경험과 도메인 지식이 중요한 역할을 한다

 

🥑 Feature Engineering 종류

✔ 의미있는 정보 추출

• 데이터에서 의미있는 정보를 추출하거나, 도메인 지식을 활용하여 새로운 피쳐를 생성
• 예를 들어, 날짜에서 요일이나 시간대를 추출하거나 / 텍스트 데이터에서 중요한 키워드를 추출

 

✔ 차원 축소

• 데이터의 차원을 줄이거나 중요한 피처만 선택하여 모델 복잡성을 줄임
• 차원 축소 기술에는 주성분분석(PCA) 등이 있음

 

✔ 상호작용 피처 생성

• 두 개 이상의 피처를 조합하여 새로운 피처를 생성
• 예를 들어, 키와 몸무게를 조합하여 BMI 지수를 생성할 수 있음

 

✔ 이상치(outlier) 처리

• 이상치를 식별하고 모델의 안정성 향상
• 표준편차에서 예외적으로 나타내는 값들을 삭제
• 특정 percent 외에 있는 값을 삭제(상, 하위 5% 등)

🧐 이상치는 반드시 제거해야할까?
- outlier가 머신러닝/딥러닝 모델이 학습하는 과정에 입력되면 weight가 급격하게 커지거나 작아질 수 있다
- 아래 이미지의 오른쪽과 같은 경우, 이상치가 의미있는 데이터에 속한다면 제거하는 것이 모델 테스트 과정에서 큰 오차를 발생시킬 수 있다.

 

🧐 Outlier를 탐지하는 방법은?
* 가장 널리 사용되는 방법은 IQR Rule이라고 한다
* 이 방법은 이사분범위를 바탕으로 Q3 + 1.5*IQR 이상, Q1–1.5*IQR 이하의 값을 outlier로 정의한다

➡ 이번 프로젝트에도 이상치 확인은 IQR과 박스플롯을 활용했다

 

 

✔ 누락된 데이터 처리

• 누락된 데이터를 채우거나 처리하여 데이터의 완전성을 유지
  • 숫자형 데이터 : default 값으로 어울릴만한 숫자를 채우기
  • 범주형 데이터 : 가장 빈번히 나타나는 값(최빈수)로 채우기
  • 랜덤 : 랜덤하게 채우기
• 위와 같은 기본적인 방법이 있으나, 시간이 오래 걸려도 KNN 등을 통해 다른 컬럼의 데이터와의 유사도를 갖고 빈 데이터를 채워 넣는 것이 합리적이라고 한다
  (🧐 더 알아봐야할 부분)

 

✔ 범주형 데이터 인코딩

• 범주형 데이터를 수치형 데이터로 변환하여 모델이 이해할 수 있도록 함
• 원-핫 인코딩, 레이블 인코딩 등의 기법을 사용

원핫 인코딩 예시

 

✔ 스케일링

• 피처의 스케일을 조정하여 모델 성능을 개선, 수렴 속도를 높임
• 서로 다른 범위의 데이터들을 같은 범위로 묶어 학습을 용이하게 해줌
• Min-Max 정규화: 이용할 데이터의 범위를 0~1로 만들어준다.
  • ⚠ 데이터 분포도 변하지 않고 표준 편차가 줄어들어 outlier의 영향이 커질 수 있음
  • 따라서 outlier를 미리 제거해 주어야 함!
• z-score 정규화: Outlier를 효과적으로 제거하지만, 정확히 동일한 척도로 데이터를 만들어주지는 않음

 

✔ 데이터 분포 변환

• 왜도와 첨도가 높은 데이터로는 상관성 파악이 어려울 수 있음
• 예를 들어, 아래와 같은 경우 : 데이터를 정규분포에 맞게 변형 시켜줄 수 있다(로그 변환 이용)

로그 변환 전

 

로그 변환 후

 

✔ 시계열 데이터 처리

• 시간에 따른 특성을 활용하여 시계열 데이터에서 추세, 계절성 및 주기성을 식별하고 피처로 활용

 

 

 

 

🌍 참고 블로그

https://velog.io/@chaliechu117/Feature-Engineering