[API 다루기] XML > JSON > dataframe 변환하기

👾 공공데이터 포털의 부동산 실거래가 자료를 가져와보자.

• requests, pandas 두 개의 라이브러리를 import
• 인증키와 페이지번호, 페이지당 결과수, 지역코드, 계약 월은 format 문자열로 처리하여 유동적으로 선택할 수 있게 한다.
• url 기본형을 문자열로 입력하고, 위의 항목들을 { } 안에 넣어 포맷팅한다.
• req 에 url로부터 xml 데이터 요청하고, req.text로 이를 확인한다.

import requests
import pandas as pd 

serviceKey = "인증키"
pageNo = 1 # 페이지 번호
numOfRows = 1000 # 한 페이지 결과수
LAWD_CD = 11560 # 지역코드
DEAL_YMD = 202307 # 계약월
url = f'http://openapi.molit.go.kr/OpenAPI_ToolInstallPackage/service/rest/RTMSOBJSvc/getRTMSDataSvcAptTradeDev?serviceKey={serviceKey}&pageNo={pageNo}&numOfRows=10&LAWD_CD={LAWD_CD}&DEAL_YMD={DEAL_YMD}'
req = requests.get(url)
req.text

결과는 다음과 같다

 

XML -> JSON 으로

좀 더 보기 쉽게 이를 가공하기 위해 json 형식으로 만든다음, pandas dataframe으로 만들것이다.

먼저, json으로 만들기 위해 다음을 작성한다.

• xmltodict 라는 라이브러리를 설치한 다음
• xmldict를 Import

!pip install xmltodict
import xmltodict

• xmldict를 사용하여 앞서 받아온 req.text라는 XML 데이터를 파싱한다 >> data_dict 에 저장

data_dict = xmltodict.parse(req.text)
data_dict

이렇게 json 형식으로 친근한(?) 딕셔너리 형태가 나타난다.

 

JSON -> DataFrame 으로

• 마지막으로 json데이터를 dataframe으로 바꾸어보자.
• 위의 결과값에서 구체적으로 확인하고 싶은 데이터를 가져오기 위해, 다음과 같이 딕셔너리의 구조를 따라 원하는 키 값을 설정한다

pd.DataFrame(data_dict['response']['body']['items']['item'])

⭑ 이렇게 표 모양으로 깔끔한 데이터프레임이 나타나면 완성이다