[분류_성능 평가 지표] 정확도와 오차 행렬(이진 분류)

 

💜 분류의 성능평가 지표

• 정확도
• 오차행렬
• 정밀도
• 재현율
• F1 스코어
• ROC AUC

👉 분류는 결정 클래스 값 종류의 유형에 따라
- 긍정/부정과 같이 2개 결괏값만 가지는 '이진 분류'와
- 여러 개의 결정 클래스 값을 가지는 '멀티 분류'가 있다.

👉 위 지표들은 특히 '이진 분류'에서 중요한 지표이다.

 

💜 가장 직관적인 '정확도'

• 실제 데이터에서 예측 데이터가 얼마나 같은지를 판단하는 지표
• 전체 예측 데이터 건 수 중 예측 결과가 동일한 데이터 건수 비율
• 단, 불균형한 레이블 데이터 세트에서는 성능 수치로 사용할 수 없음
  • 데이터 분포도가 균일하지 않은 경우, 대충 예측해도 정확도가 높아져버리는 현상 발생
  • 이러한 문제를 극복하기 위해 여러 가지 분류지표와 함께 적용하여 ML 모델 성능을 평가해야 한다!

 

💜 오차행렬(혼동행렬; Confusion Matrix)

• 예측 오류가 얼마인지와 어떠한 유형의 예측 오류가 발생하고 있는지를 함께 나타냄

 

오차 행렬

• TN, FP, FN, TP 값을 다양하게 결합해 분류 모델 예측 성능의 오류가 어떠한 모습으로 발생하는지 알 수 있음
  • True : 예측값과 실제값이 같음
  • False : 예측값과 실제값이 다름
  • Positive : 예측 결과 값이 긍정/양성
  • Negative : 예측 결과 값이 부정/음성

 

🧑‍💻 사이킷런에서 사용 예시

• metrics의 confusion_matrix API 활용
• 실제값과 예측값을 넣으면, 배열 형태로 결과를 출력

from sklearn.metrics import confusion_matrix

confusion_matrix(y_test, y_pred)

 

• TN, FP, FN, TP 값으로 정확도, 정밀도, 재현율 값을 알 수 있음
• 결과 행렬 값은 (위 이미지의) 오차행렬 위치와 동일하게 나타남
• 불균형한 이진 분류 데이터 세트에서는 Positive 데이터 건수가 매우 작기 때문에, 데이터에 기반한 ML 알고리즘은 Negative로 예측하여 정확도가 높아지는 경향이 발생
  • 👉 Negative에 대한 예측 정확도만으로 분류의 정확도가 매우 높게 나타나는 수치적 판단 오류 일으킴
• 이를 보완하기 위해, 정확도보다 더 선호되는 평가 지표인 '정밀도'와 '재현율'이 있다!

 

 

다음 포스팅에 정밀도와 재현율이 이어집니다