[Mini Project] 전처리 후, 중간점검 (23.09.11)

🚀 전처리 완료된 데이터

TTTFinal_df.csv

0.59MB

• 상권별로 편의점 매출에 영향을 미칠 요인과 관련된 데이터를 찾고, 이를 연도/분기/상권코드(상권)를 기반으로 전처리와 데이터 통합을 마쳤다.
• 추가로, 상권 데이터에는 상권 배후지 데이터의 아파트 데이터 추가하여 병합했다.(배후지 데이터는 골목상권만 해당)
  • 골목상권(상권+상권배후지 데이터) 로 상관분석 진행시, 상권배후지 데이터 중 아파트 데이터에서 0.6~0.7 의 높은 상관관계 확인했기 때문이다.

 

🚀 인코딩 완료된 데이터

20230911_인코딩완료.csv

1.36MB

• 분기/시간대별 인코딩 완료 : 원핫 인코딩
• 파생변수는 baseline Model 이 나온 후 추가하기로 결정

 

 

🧐 이제 어떻게 해야할까?

모든 데이터를 통합하고 나서 든 의문은,

• 이 변수들을 어떤 구조로 조합해야 상권/시간대별 편의점 매출액을 예측할 수 있을 것인가이다.
• 또한, 컬럼마다 나타내는 값의 기준이나 의미가 달라서 이를 하나씩 손봐야하는건가 하는 의문도 들었다.
• 조언을 구한 결과, 변수 변경이나 삭제 없이 일단 모델링을 다양하게 시도해보며 최적의 모델을 찾아보기로 했다.

 

---

▶︎ Lesson Learned

• 모델링 시, 모델이 여러개 나오는게 좋다
  
  • 하나의 모델을 일관성 있게 적용하는 것이 어려움 👉 분류 및 범주를 분리하여 구분, 모델링 진행해야함
  • 분리 모델링이 정확도가 높아짐
• 러프하게 모델을 잡아서 테스트하며 모델 성능 개선할 것
  • 모델도 너무 다양한 것을 사용하기 보다 LightGBM 등 하나만 선정하여 좁혀나가는 것을 추천!

 

▶︎ Status Review

[ 상권팀 ] 🏚️

• 결측치 처리
  • 이슈 : 아파트 데이터, 집객시설 데이터에서 결측치 발생
  • 해결 : 개별 결측치를 확인 후 각각 다르게 처리
    • 전체 기간 데이터가 결측치인 경우 =>  0 으로 처리
    • 전체 기간 데이터 중에 존재하는 경우 => 해당 값으로 대체
• 상권 분류
  • 방법 : K-Means-Clustering
    • 여러 가설을 통한 변수 설정
    • 2가지 변수에 대해 반복문 설정 후 분포파악
  • 결과 : 유의하게 grouping이 되는 변수를 찾을 수 없었음
    • 따라서 기존 상권분류에서 지정한 분류(골목상권/발달상권)을 활용하여 상권별로 다른 변수 설정 결정

 

[ 대중교통팀 ] 🚋

• geopandas를 이용, 상권 영역 내 존재하는 지하철의 개수와 종류, 버스정류장의 개수와 종류를 도출
• 상권 중간 좌표 기준 반경 vs 상권 영역에 포함 두 기준 중에서 “상권 영역에 포함” 기준으로 사용
  • 기존 선행연구들은 각 편의점 점포마다의 상권분석을 실시하였으나, 우리 프로젝트에서 확보한 데이터로는 위와 같은 연구가 불가능
  • 또한, 현행 상권분석서비스는 반경으로 정한 상권 영역에서 =>> 현재의 다각형 모양으로 기준을 바꾸었음.
    그 취지가 있음을 이해하고 기존의 상권분석서비스의 상권(폴리곤 데이터)을 이용하여 해당 상권을 기준으로 사용하기로 결정
• 위 데이터를 기준으로 (연도, 분기, 상권 기준) 시간대별 총 지하철 승하차 승객수와 총 버스정류장 승객 수를 도출
• 결과물을 상권 데이터와 결합

---

▶︎ To do

[ Baseline Modeing Code 작성을 위한 ]

• LightGBM, RandomSearchCV 파라미터 스터디
  • 참고) 결정트리 모델 기반의 하이퍼파라미터
• 평가지표 종류와 특징 스터디
  • neg_MSE, MSE, RMSE 등..