본문 바로가기

Projects/🏪 Convenience Store Location Analysis18

[선박 대기시간 예측] 2차 전처리 : 중복 행 정리 호출부호(선박ID) 별로 입항일시가 여러개 찍히는 경우가 있다. 사용목적(양하, 적하, 접안, 수리 등)에 따라 각각의 케이스를 구분해서 별도 Record로 데이터가 수집되어 있기 때문이다. 중복 행 확인 먼저 호출부호와 입항일시 기준으로 중복 컬럼을 먼저 확인한다. duplicate = df.duplicated(subset=['호출부호', '입항일시']).sum() duplicate -- 결과 : 71439 중복 행 확인 '호출부호'와 '입항일시' 열을 기준으로 중복된 모든 행을 원본 데이터프레임에서 선택하고, 이를 duplicated_rows에 저장 👉 duplicated_rows에는 중복된 행들만 포함되어 있는 상태 # 모든 중복 행을 선택(keep=False) duplicated_rows = df.. 2023. 11. 15.

[Mini Project] 11. Baseline Modeling (LightGBM + K-fold CV + RandomSearch) ✔ Process Check 지금까지 이상치와 결측치 등을 점검하는 EDA를 마친 후, 파생변수를 생성했다. 이제 모델링을 통해 유의미한 파생변수를 선택하고, 최종 모델링에 필요한 변수를 채택하는 과정이 남았다. 이를 위해 아래와 같이 LightGBM + K-fold CV + RandomSearch 을 활용한 모델링 베이스라인 코드가 완성되었다. 1. 라이브러리 불러오기 import numpy as np import pandas as pd import lightgbm as lgb from lightgbm import LGBMRegressor from sklearn.model_selection import KFold, train_test_split, RandomizedSearchCV from sklearn.. 2023. 9. 26.

[Mini Project] 10. 매출의 분포 확인 (+ 이상치 제거 후 모델 성능 체크) 🌿 매출 분포 확인 모델링 진행 중, 종속변수인 매출의 분포를 체크해보았다. 가장 중요한 이 변수의 분포에 따라 모델 성능을 RMSE로 할지, MAE로 할지가 정해지기 때문이다. 만약 왜도가 높아 분포가 고르지 않다면, RMSE를 써야하고 그 반대의 경우는 MAE를 쓰는 것이 보다 직관적인 결과해석이 가능하다. ✔ 골목상권 매출 분포 왜도 값까지 출력할 수 있도록 코드를 작성하여 골목상권의 매출 분포를 히스토그램으로 그려보았다. fig, ax = plt.subplots(1, 1, figsize=(18,10)) g = sns.histplot(df_gol['매출'], color='b', label='Skewness : {:.2f}'.format(df_gol['매출'].skew()), ax=ax) g.lege.. 2023. 9. 18.

[Mini Project] 9. 모델링 및 피쳐(파생변수) 선택 🌿 모델링 진행사항 모델링 협업 팀원이 간략히 골목/비골목 상권을 나누어서 모델링을 진행한 결과가 RMSE가 낮음을 확인했다. 따라서 골목/비골목 상권별로 모델을 각각 진행하기로 했다. 현재 모든 피쳐를 살려 모델링하면 RMSE(시작점)는 약 49906.78 이다. 여기서 피쳐 엔지니어링을 거쳐 모델 성능을 개선하여 RMSE를 낮춰보기로 했다. 1. 파생변수 브레인스토밍 의사결정트리 기반 앙상블 모델인 LGBM을 쓸 예정이라, 정규화(로그변환, 표준화 변환), 스케일링(min-max등)은 필요하지 않다고 한단했다. 다음 스텝으로 피쳐를 하나씩 살펴보며 어떤 의미를 가진 데이터인지, 결합하여 의미있는 파생변수를 도출할 여지가 있는지를 살피고 아래와 같이 브레인스토밍 과정을 기록했다. 2. 각 파생변수가 모.. 2023. 9. 18.

[프로젝트 스터디] 회귀 문제 평가 지표 LightGBM은 효율적인 부스팅 알고리즘을 사용하는 머신러닝 라이브러리이다. 본 세미 프로젝트는 회귀 문제에 해당하니 LightGBM으로 모델 학습하고, 평가 지표를 설정하는 방법을 찾아보기로 했다. LightGBM의 평가 지표 종류(회귀문제) LightGBM은 LightGBMRegressor 클래스를 사용하여 회귀 모델을 학습한다. 회귀 문제에서 사용되는 평가지표는 데이터 특성에 따라 선택할 수 있으니, 적절한 평가 지표로 모델 성능을 평가, 비교하여 최적의 모델을 선택해야 한다. 🥑 평균 제곱 오차 (MSE) 예시 from lightgbm import LGBMRegressor from sklearn.metrics import mean_squared_error # LightGBM 회귀 모델 생성 및 .. 2023. 9. 14.

[프로젝트 스터디] Feature Scaling (Min-Max scaling) 👉 이 포스팅에서는.. 프로젝트를 진행하며, 다양한 데이터로 피처를 생성하다보니, 서로 다른 범위와 척도를 가졌다는 부분이 걱정이 되었다. 이와 관련하여 스케일링에 대해 스케일링하고, 프로젝트에 적용할 방안을 고민해보기로 했다 - 해당 포스팅에서는 피처 스케일링의 기본적인 개념과 예제를 통해 다양한 스케일링 법을 익혀본다. 라이브러리는 사이킷런을 사용한다. 🧐 Feature Scaling이란? 값들을 동일한 범위와 척도내에 넣는 것으로, 하나의 변수가 다른 변수에 의해 영향력을 발휘하지 못하는 것을 막는 방법이다 🧐 Scaling이 왜 필요할까? 대부분의 경우 데이터 셋은 각각의 규모(magnitude), 단위, 범위가 매우 다를 것이다 대부분의 머신러닝 알고리즘은 두 데이터 간 거리를 측정시, 유클리디.. 2023. 9. 14.

[Mini Project] 8. Feature Engineering (이상치와 분포 탐색) 🥑 오늘의 목표_Featrue Engineering 최종데이터의 주요 컬럼을 면적으로 나누어서, 면적당 n의 수의 개념으로 스케일링 시도 전체 컬럼을 3개 파트로 나누어서 각자 피쳐 엔지니어링을 간단히 시도해보기로 했다. 또한, 상권을 골목상권과 비골목상권(발달상권 등)으로 나누어 분석을 진행하기로 했다. 나는 아파트 단지수와 세대수, 배후지 아파트 단지수와 세대수를 담당했다. 아파트 관련 컬럼은 다음과 같으며, 배후지 데이터는 골목상권에만 존재한다. cols_gol = ['아파트_단지_수', '아파트_가격_1_억_미만_세대_수', '아파트_가격_1_억_세대_수', '아파트_가격_2_억_세대_수', '아파트_가격_3_억_세대_수', '아파트_가격_4_억_세대_수', '아파트_가격_5_억_세대_수', '아.. 2023. 9. 13.

[프로젝트 스터디] Feature Engineering Feature Engineering 이란? 모델을 학습시키기 위해 데이터에서 유용한 특징(피쳐, 변수)을 추출하거나 변형하는 과정 제대로 수행하면 모델의 성능을 향상시키고, 예측 또는 분류 작업을 더 정확하게 수행할 수 있음! 일반적으로 Feature Engineering은 데이터 전처리의 일부로 고려됨 문제의 성격과 데이터 종류에 따라 다양한 기술과 전략을 사용하며, 경험과 도메인 지식이 중요한 역할을 한다 🥑 Feature Engineering 종류 ✔ 의미있는 정보 추출 데이터에서 의미있는 정보를 추출하거나, 도메인 지식을 활용하여 새로운 피쳐를 생성 예를 들어, 날짜에서 요일이나 시간대를 추출하거나 / 텍스트 데이터에서 중요한 키워드를 추출 ✔ 차원 축소 데이터의 차원을 줄이거나 중요한 피처만 선.. 2023. 9. 13.

[Mini Project] 7. 모델링 Baseline Code (feat. Trouble Shooting 🤨) 🚀 회귀 예측을 위한 모델 선정 : LightGBM 이론적으로 적은 데이터 셋(통상 행 개수 10,000개 이하)에 대한 과적합 우려가 있는 모델이지만, 현재 널리 사용되고 있는 인기있는 모델이기도 하며 성능이 뛰어나 LightGBM을 기본적으로 채택 이후, 가능하면 다른 알고리즘을 선택하여 예측 성능을 비교해 볼 예정 ▶︎ LightGBM의 하이퍼 파라미터 선택 Gradient Boosting 프레임워크로 트리 기반 학습 알고리즘으로, 결정트리 모델과 개념이 이어지는 하이퍼 파라미터들이 다수 존재한다 모델 최적화를 위해 주요 하이퍼 파라미터를 탐색, 선정하기로 했다 (✔ 된 것이 잠정 채택된 하이퍼 파라미터!) 선정된 하이퍼 파라미터는 RandomSearchCV를 이용해, 최적의 파라미터를 도출할 것이.. 2023. 9. 12.

이전 1 2 다음

728x90

티스토리툴바