회귀 트리와 선형 회귀

회귀 트리와 선형 회귀

 

회귀트리와 선형회귀는 둘 다 회귀 분석을 수행하는데 사용되는 머신러닝 알고리즘이다

두 알고리즘의 주요한 차이점에 대해 알아보자.

 

회귀트리

선형 회귀

모델의 형태

 

• 선형 회귀 : 종속 변수와 독립 변수간 선형 관계를 모델링
  • 모델은 입력 변수들의 가중치와 상수항으로 이루어진 선형 식을 학습하여 예측 수행
• 회귀 트리 : 의사 결정 트리의 한 종류
  • 입력 변수를 기반으로 데이터를 분할하고 종속 변수의 값을 예측
  • 각 분할 영역마다 특정 값(평균 또는 중앙값 등)을 예측값으로 사용하여 회귀 문제를 해결

 

모델 구조

 

• 선형 회귀 : 하나의 선형 방정식으로 표현됨
  • 입력 변수의 가중치를 학습
  • 특성들의 선형 결합으로 예측값 생성
• 회귀 트리 : 모델은 트리 구조
  • 데이터를 분할하는 조건문들의 연속을 통해 예측값을 만듦
  • 각 분할 마다 서브 그룹의 평균 등을 사용하여 예측값을 계산

 

특성 상호작용 모델링

 

• 선형 회귀 : 선형 모델은 특성 간 비선형 상호작용을 직접적으로 모델링하기 어렵다
• 회귀 트리 : 특성 간 비선형 상호작용을 더 잘 포착할 수 있다. 

 

이상치 및 노이즈 처리

 

• 선형 회귀 : 이상치나 노이즈가 모델에 큰 영향을 미칠 수 있음
  • 전체 데이터에 대해 민감하게 반응함
• 회귀 트리 : 데이터를 분할하여 예측하므로, 이상치나 노이즈에 상대적으로 덜 민감

 

해석성

 

• 선형 회귀 : 모델의 가중치는 각 특성의 영향을 직접적으로 나타내므로 상대적으로 해석하기 쉬움
• 회귀 트리 : 트리 구조가 복잡해지면 해석이 어려울 수 있음
  • 하지만, 몇몇 트리 기반 모델은 특성의 중요도를 평가하는 기능을 제공하여 해석을 도와줌