Programming Basics32 [크롤링] 웹 쇼핑몰에서 상품의 재고 여부 확인하기(python) 🧑🏻💻 옥션 이베이에서 주기적으로 직구하는 상품이 있는데.. 이게 재고가 있을 때가 있고 없을 때가 있어서 매번 확인하기가 귀찮았다.ㅎ 간단히 다음 코드를 실행시켜 원하는 상품명을 입력했을 때, 재고가 있으면(상품리스트가 존재하면) '검색 결과가 있습니다.'라고 프린트하는 크롤링 코드를 작성했다. 코드 구성은 다음과 같다 쇼핑몰은 옥션 이베이를 기준으로 작성 웹 사이트를 오픈한 후, 광고 팝업이 뜨면 닫는 과정을 추가 search_box 변수에 검색어 창의 xpath를 입력 search_box.send_keys() 에 재고를 확인하고자 하는 상품명(또는 키워드) 입력 검색 결과에 상품의 리스트의 존재 여부에 따라 결과를 print from selenium import webdriver from sele.. 2024. 2. 28. [Python] 티스토리 제목 썸네일 자동화 코드 위와 같이 간단하게 티스토리 포스팅 타이틀만 입력하면 썸네일을 만들어주는 코드를 공유합니다 ▶︎ PIL(Pillow) 라이브러리를 사용하여 이미지를 생성하는 함수 제목은 특정 길이를 초과할 경우, 자동으로 줄바꿈되어 표시된다 from PIL import Image, ImageDraw, ImageFont import textwrap def make_thumb(save_path, var_title): var_max_w = 500 # 이미지 폭 var_max_h = 500 # 이미지 높이 var_anchor = "mm" # middle, middle var_font_path = "....../NotoSansKR-Bold.otf" # 폰트 경로 var_font_size = 50 var_font_color = ".. 2024. 2. 21. [Google Cloud Platform] Colab 과 BigQuery 연동 초기 세팅 코랩에 접속하여 다음 코드를 입력 사용자 인증에 관련된 것 from google.colab import auth auth.authenticate_user() 데이터 가져오기 공식문서 참조 : https://pandas.pydata.org/docs/reference/api/pandas.read_gbq.html 프로젝트 아이디 확인하여 복사 위에서 복사한 프로젝트 아이디를 아래 코드와 함께 작성 GCP에 로드한 데이터셋과 쿼리 결과가 잘 나오는지 확인 import pandas as pd project_id = 'mulcamp2310-402300' sql = ''' SELECT * FROM `mulcamp2310-402300.project_dataset.iris` LIMIT 1000 ''' df =.. 2024. 1. 14. [Google Cloud Platform] github 연동, 가상환경 복제(예정) 깃허브에서 파일 생성 GCP와 연동된 깃허브 저장소 >> 파일 생성 >> 다음 파일을 입력하고 >> Commit changes.. 라이브러리를 설치할 requirementx.txt를 만든다 GCP 접속, git pull 위에서 만든 파일로 라이브러리 설치 $ pip install -r requirements.txt 파일을 수정하고 싶다면, vi 편집기로 수정 $ vi requirements.txt 주피터 노트북 접속 $ jupyter notebook 👉 IP:8888(포트번호) 과 같은 방식으로 주소 입력하여 주피터 노트북 접속 👉 다음 코드를 입력하고 간단히 결과를 확인해 본다 import pandas as pd import pyspark import streamlit as st import matpl.. 2023. 10. 18. [Google Cloud Platform] BigQuery & Looker Studio 시작하기 구글 클라우드 플랫폼에서 빅쿼리를 만들고, Looker Studio로 데이터 시각화를 해보자. GCP에서 BigQuery 접속 빅쿼리에 처음 접속하면 이런 화면이 나온다. 기존 데이터 추가는 이미지에 표시된 곳에서 한다. 데이터세트 만들기도 할 수 있다. 일종의 스키마 만들기라고 생각할 수 있다. 생성된 스키마(데이터세트)에서 테이블 생성도 할 수 있다. 테이블 만들기에서 로컬 데이터를 불러온다. 불러오면 다음과 같은 화면이 나타난다. 스키마 밑에 불러온 데이터가 불러온 것을 확인할 수 있다. 쿼리를 작성하기 위해 다음 과정을 진행한다. 상단의 '실행'을 누르면 쿼리가 실행된다. 이미지에 표시된 테이블 경로를 유의한다. GCP 에서 Looker Studio 접속 마케팅에서 많이 쓰이는 데이터 스튜디오에.. 2023. 10. 18. 구글 클라우드 플랫폼과 깃허브 연동하기 Git 설치 (base) ~$ sudo apt-get update -y (base) ~$ sudo apt-get upgrade -y (base) ~$ sudo apt install git (base) ~$ git --version Git hub 접속 ▶︎ private repository 생성 ▶︎ 깃 인증키 생성 $ ssh-keygen -t rsa -b 4096 -C "이메일" >>>> 엔터, 패스워드 입력 후, 다음 명령어 입력 >> 인증키 복사 $ cat .ssh/id_rsa.pub ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAACAQDE9jhqsnCDvdfJHu3eY7TfUcAo2136F8henHOwANqxiSwDGHwsum6uKBdwAVqlkRWj9junuerGafeBeRoFpK.. 2023. 10. 17. [Google Cloud Platform] 구글 클라우드 플랫폼 시작하기 ☁️ 구글 클라우드 플랫폼에서 가상환경을 만들고, 방화벽을 설정한 다음 자바, 스칼라, 스파크 3가지의 기본적인 환경을 설정하는 과정 https://console.cloud.google.com/welcome/new?hl=nl&project=lateral-goods-402208 로그인 후, 콘솔 클릭 프로젝트 확인 프로젝트 이름 누르면 현재 생성된 프로젝트 나타남 프로젝트 메뉴 >> New Project VM instances 생성하기 메뉴 : Compute Engine > VM instances Create Instance instance ; 기본 서버 만들기 Machine Configuration(기본 설정) : E2, e2-medium (4GB 메모리) Boot disk(부팅 디스트) 설정 : change.. 2023. 10. 17. spark 원하는 버전으로 설치하기 (설치 경로따기) 스파크 다운로드 공홈 접속 이 중 원하는 버전 클릭 아래와 같이 용량이 좀 큰 것 위주로 살펴보고, 마우스 우클릭 >> 링크주소 복사 아래와 같이 복사된 링크를 확인한다 https://archive.apache.org/dist/spark/spark-3.2.3/spark-3.2.3-bin-hadoop2.7.tgz 👉 이제 터미널에서 설치를 진행 (첫 줄 주소를 위에 복사된 주소로 바꾸어 준다) (base) /opt$ sudo wget https://archive.apache.org/dist/spark/spark-3.1.1/spark-3.1.1-bin-hadoop2.7.tgz (base) /opt$ sudo tar xvf spark-3.1.1-bin-hadoop2.7.tgz (base) /opt$ sudo .. 2023. 10. 17. VS Code 로 AWS EC2 접속 VSCode - Remote SSH 설치 1. Remote SSH Extension 확장팩 설치 설치가 완료가 되면 SSH 연결할 호스트를 입력 ssh [계정]@[ip주소] 아래와 같이 config가 나타나는지 확인 > 클릭 2. config 파일 작성 / 수정 Host : 주소 이름 (띄어쓰기 금지) 변경 가능 HostName : IP/DNS 부여받은 IP User : 계정 이름 Port : 연결할 포트 번호를 말하며, 기본포트는 22 IdentityFile : 키 파일(.pem 확장자) 위치 여기에서 파일명은 .pem을 명명 Host mulcamp_lab01 HostName 1.1.1.1 User lab01 Port 22 IdentityFile ~/.ssh/Q-team01.pem 3. pem 파일 이.. 2023. 10. 16. 이전 1 2 3 4 다음 728x90
