[Mini Project] 9. 모델링 및 피쳐(파생변수) 선택

 

🌿 모델링 진행사항

• 모델링 협업 팀원이 간략히 골목/비골목 상권을 나누어서 모델링을 진행한 결과가 RMSE가 낮음을 확인했다.
• 따라서 골목/비골목 상권별로 모델을 각각 진행하기로 했다.
• 현재 모든 피쳐를 살려 모델링하면 RMSE(시작점)는 약 49906.78 이다.
• 여기서 피쳐 엔지니어링을 거쳐 모델 성능을 개선하여 RMSE를 낮춰보기로 했다.

 

1. 파생변수 브레인스토밍

• 의사결정트리 기반 앙상블 모델인 LGBM을 쓸 예정이라, 정규화(로그변환, 표준화 변환), 스케일링(min-max등)은 필요하지 않다고 한단했다.
• 다음 스텝으로 피쳐를 하나씩 살펴보며 어떤 의미를 가진 데이터인지, 결합하여 의미있는 파생변수를 도출할 여지가 있는지를 살피고 아래와 같이 브레인스토밍 과정을 기록했다.

 

 

2. 각 파생변수가 모델 성능에 미치는 영향 판단하기

• 위의 브레인 스토밍을 바탕으로 약 10여개의 파생변수를 생성했다.
• 그리고 각각의 파생변수를 적용했을 때와 적용하지 않았을 때(초기 상태) 를 비교하여 각 파생변수가 모델 성능에 긍정적 영향을 미치는지 확인했다.
• 이를 통해 유의미한 파생변수 리스트를 추릴 수 있었다.

 

3. 필터를 거친 파생변수 추려, 모델링 다시 진행

• 위 단계에서 의미있었던 파생변수를 기준으로 모델링을 진행하여 최적의 파생변수 조합을 찾기로 했다.
• 여기서 2번 단계에서 유의미하다고 판단한 변수는 고정값으로 모델링에 넣고, 나머지 파생변수들의 영향을 파악하며 피쳐 제거 여부를 판단했다.
• 이를 통해 의미있는 피쳐 13개를 추렸다.

 

4. 중간 점검

• 13개의 피쳐를 선택해서 모델링한 결과는 다음과 같다 : RMSE  = 45023
• 약 5000정도 RMSE 하락을 확인했고, 이 상태에서의 피쳐 중요도를 확인해보았다.

• 여기서 피쳐 중요도 하위 3개의 컬럼(면적당 버스정류장 수, 시간대별 지하철 승하차승객수, 숙박시설 수)를 제거하고 모델링한 결과는 다음과 같다.
• RMSE : 43434 =>>> 초기 RMSE 값에서 약 7000정도를 줄인 것을 확인할 수 있다.
• 여기서 상위 10개의 피쳐들 중 한 두개를 제거하면 오히려 RMSE가 높아져 일단 여기서 피쳐 엔지니어링 및 모델링을 마무리했다.

---