[선박 대기시간 예측] 2차 전처리 : 중복 행 정리

호출부호(선박ID) 별로 입항일시가 여러개 찍히는 경우가 있다.

사용목적(양하, 적하, 접안, 수리 등)에 따라 각각의 케이스를 구분해서 별도 Record로 데이터가 수집되어 있기 때문이다.

 

중복 행 확인

먼저 호출부호와 입항일시 기준으로 중복 컬럼을 먼저 확인한다.

duplicate = df.duplicated(subset=['호출부호', '입항일시']).sum()
duplicate

-- 결과 : 71439

 

중복 행 확인

'호출부호'와 '입항일시' 열을 기준으로 중복된 모든 행을 원본 데이터프레임에서 선택하고, 이를 duplicated_rows에 저장

👉 duplicated_rows에는 중복된 행들만 포함되어 있는 상태

# 모든 중복 행을 선택(keep=False)
duplicated_rows = df[df.duplicated(subset=['호출부호', '입항일시'], keep=False)]
duplicated_rows

 

 

 

출항대기시간(분) 계산

(1) 출항대기가 사용목적명인 경우, '출항대기시간_분' 컬럼 값에 다음을 할당

>> 출항대기가 발생한 시간을 지정일시(FROM ~ TO)를 이용하여 계산

>> dt.total_seconds() 를 사용하여 시간간격을 '초' 변환

>> 다시 이를 60으로 나누어 '분'으로 변환

temp.loc[temp['사용목적명'] == '출항 대기', '출항대기시간_분'] 
	= (pd.to_datetime(temp['지정일시(TO)']) - pd.to_datetime(temp['지정일시(FROM)'])).dt.total_seconds() / 60

 

 

(2) 출항대기시간(분)이 발생하지 않은 경우는 결측치로 처리되어, 이를 0으로 대체

temp['출항대기시간_분'].fillna(0, inplace = True)

 

'호출부호' & '입항일시'가 중복된 행의 대푯값만 남기기 ▶︎ groupby.agg()

• 가공 컬럼 : 호출부호, 입항일시, 출항일시, 접안_대기시간_분, service_Time_분
• 호출부호, 입항일시, 출항일시는 중복행들 중에 첫번째 값만 입력
• '호출부호','입항일시'가 중복된 행중에 '접안_대기시간_분' 값중 가장 큰 값을 new 의 '접안_대기시간_분'값에 입력
• '호출부호','입항일시'가 중복된 행중에 'Service_Time_Start' 값이 제일 큰 값을 new 'Service_Time_Start'값에 입력
• '호출부호','입항일시'가 중복된 행중에 'Service_Time_End' 값이 제일 작은 값을 new 'Service_Time_End'값에 입력

import pandas as pd

grouped_df = df.groupby(['호출부호', '입항일시']).agg({
    '출항일시': 'first',
    '접안_대기시간_분': 'max',
    '출항_대기시간_분': 'max',
    'Service_Time_Start': 'max',
    'Service_Time_End': 'min',
    '계선장소_코드': 'first',  # 추가한 컬럼(필수는 아니지만 있으면 좋은)
    '계선장소_숫자': 'first',  
    '계선장소명': 'first'     
}).reset_index()

new_df = pd.DataFrame(grouped_df, columns=['호출부호', '입항일시', '출항일시', '접안_대기시간_분', '출항_대기시간_분', 'Service_Time_Start', 'Service_Time_End', '계선장소_코드', '계선장소_숫자', '계선장소명'])
df = new_df.copy()

 

 

서비스 시간과 대기율 구하기

df['Service_Time_End'] = pd.to_datetime(df['Service_Time_End'])
df['Service_Time_Start'] = pd.to_datetime(df['Service_Time_Start'])

#서비스 시간
df['Service_Time_분'] = (df['Service_Time_End'] - df['Service_Time_Start']).dt.total_seconds() / 60

#대기율
df['대기율'] = df['접안_대기시간_분']/df['Service_Time_분']*100