본문 바로가기

분류 전체보기339

[Spark] Databricks로 시작하기 Databricks 접속 & 가입 databricks community edition 으로 검색해서 Sign up >> Sign in 해주면 다음과 같은 화면이 나타난다 무료 이용은 2주라, 2주마다 구글 이메일 계정만들어서, 크롬에 로그인 후 접속해주면 계속 이용할 수 있다. 👉 나중에 재접속 할 때는 Databricks Commuity 로 접속하도록 한다! Cluster 생성 cluster_name : 직접 입력 Databricks Runtime Version : Runtime 10.0 ML(Scala 2.12 Spark 3.2.0) 선택 현재 버전에서는 아래를 선택 2시간이 지나면 클러스터가 Terminate 가 된다. 그럴 땐 기존 것을 삭제하고 동일 세팅으로 다시 만들어서 노트북과 연결해준다... 2023. 10. 23.
[Google Cloud Platform] github 연동, 가상환경 복제(예정) 깃허브에서 파일 생성 GCP와 연동된 깃허브 저장소 >> 파일 생성 >> 다음 파일을 입력하고 >> Commit changes.. 라이브러리를 설치할 requirementx.txt를 만든다 GCP 접속, git pull 위에서 만든 파일로 라이브러리 설치 $ pip install -r requirements.txt 파일을 수정하고 싶다면, vi 편집기로 수정 $ vi requirements.txt 주피터 노트북 접속 $ jupyter notebook 👉 IP:8888(포트번호) 과 같은 방식으로 주소 입력하여 주피터 노트북 접속 👉 다음 코드를 입력하고 간단히 결과를 확인해 본다 import pandas as pd import pyspark import streamlit as st import matpl.. 2023. 10. 18.
[Google Cloud Platform] BigQuery & Looker Studio 시작하기 구글 클라우드 플랫폼에서 빅쿼리를 만들고, Looker Studio로 데이터 시각화를 해보자. GCP에서 BigQuery 접속 빅쿼리에 처음 접속하면 이런 화면이 나온다. 기존 데이터 추가는 이미지에 표시된 곳에서 한다. 데이터세트 만들기도 할 수 있다. 일종의 스키마 만들기라고 생각할 수 있다. 생성된 스키마(데이터세트)에서 테이블 생성도 할 수 있다. 테이블 만들기에서 로컬 데이터를 불러온다. 불러오면 다음과 같은 화면이 나타난다. 스키마 밑에 불러온 데이터가 불러온 것을 확인할 수 있다. 쿼리를 작성하기 위해 다음 과정을 진행한다. 상단의 '실행'을 누르면 쿼리가 실행된다. 이미지에 표시된 테이블 경로를 유의한다. GCP 에서 Looker Studio 접속 마케팅에서 많이 쓰이는 데이터 스튜디오에.. 2023. 10. 18.
구글 클라우드 플랫폼과 깃허브 연동하기 Git 설치 (base) ~$ sudo apt-get update -y (base) ~$ sudo apt-get upgrade -y (base) ~$ sudo apt install git (base) ~$ git --version Git hub 접속 ▶︎ private repository 생성 ▶︎ 깃 인증키 생성 $ ssh-keygen -t rsa -b 4096 -C "이메일" >>>> 엔터, 패스워드 입력 후, 다음 명령어 입력 >> 인증키 복사 $ cat .ssh/id_rsa.pub ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAACAQDE9jhqsnCDvdfJHu3eY7TfUcAo2136F8henHOwANqxiSwDGHwsum6uKBdwAVqlkRWj9junuerGafeBeRoFpK.. 2023. 10. 17.
[Google Cloud Platform] 구글 클라우드 플랫폼 시작하기 ☁️ 구글 클라우드 플랫폼에서 가상환경을 만들고, 방화벽을 설정한 다음 자바, 스칼라, 스파크 3가지의 기본적인 환경을 설정하는 과정 https://console.cloud.google.com/welcome/new?hl=nl&project=lateral-goods-402208 로그인 후, 콘솔 클릭 프로젝트 확인 프로젝트 이름 누르면 현재 생성된 프로젝트 나타남 프로젝트 메뉴 >> New Project VM instances 생성하기 메뉴 : Compute Engine > VM instances Create Instance instance ; 기본 서버 만들기 Machine Configuration(기본 설정) : E2, e2-medium (4GB 메모리) Boot disk(부팅 디스트) 설정 : change.. 2023. 10. 17.
spark 원하는 버전으로 설치하기 (설치 경로따기) 스파크 다운로드 공홈 접속 이 중 원하는 버전 클릭 아래와 같이 용량이 좀 큰 것 위주로 살펴보고, 마우스 우클릭 >> 링크주소 복사 아래와 같이 복사된 링크를 확인한다 https://archive.apache.org/dist/spark/spark-3.2.3/spark-3.2.3-bin-hadoop2.7.tgz 👉 이제 터미널에서 설치를 진행 (첫 줄 주소를 위에 복사된 주소로 바꾸어 준다) (base) /opt$ sudo wget https://archive.apache.org/dist/spark/spark-3.1.1/spark-3.1.1-bin-hadoop2.7.tgz (base) /opt$ sudo tar xvf spark-3.1.1-bin-hadoop2.7.tgz (base) /opt$ sudo .. 2023. 10. 17.
VS Code 로 AWS EC2 접속 VSCode - Remote SSH 설치 1. Remote SSH Extension 확장팩 설치 설치가 완료가 되면 SSH 연결할 호스트를 입력 ssh [계정]@[ip주소] 아래와 같이 config가 나타나는지 확인 > 클릭 2. config 파일 작성 / 수정 Host : 주소 이름 (띄어쓰기 금지) 변경 가능 HostName : IP/DNS 부여받은 IP User : 계정 이름 Port : 연결할 포트 번호를 말하며, 기본포트는 22 IdentityFile : 키 파일(.pem 확장자) 위치 여기에서 파일명은 .pem을 명명 Host mulcamp_lab01 HostName 1.1.1.1 User lab01 Port 22 IdentityFile ~/.ssh/Q-team01.pem 3. pem 파일 이.. 2023. 10. 16.
👩🏻‍💻 AWS 시작 & mac 원격 서버 접속 & 가상환경 설치 콘솔 홈 화면 I AM 으로 로그인 한 후, 비밀번호를 변경하면 아래 화면이 나타난다. (로그인 : 계정 ID(12자리) 또는 계정 별칭) 지역 변경 : 오사카 우측 상단 지역명 메뉴를 클릭하고, 오사카를 선택 서비스 : EC2 접속 팀 서버로 접속 위 화면에서 인스턴스를 클릭하면, 예시로 사용할 수 있는 팀 서버가 나타난다 해당 서버에 마우스 올리고 우클릭하면 인스턴스 시작 클릭 맥 원격 서버 접속하기 👩🏻‍💻 터미널 접속 chmod 400 뒤에 pem 파일이 있는 저장 위치를 입력 chmod 400 저장위치/*.pem 터미널창에서 AWS 서버 접속 : 터미널 접속 아이디와 서버 IP 기입 ssh -i 저장위치/*.pem 터미널접속ID@서버IP -p 22 conda 가상환경 설치 버전 확인 $ cond.. 2023. 10. 16.
[프로그래머스] 자동차 대여 기록 별 대여 금액 구하기 문제 CAR_RENTAL_COMPANY_CAR 테이블과 CAR_RENTAL_COMPANY_RENTAL_HISTORY 테이블과 CAR_RENTAL_COMPANY_DISCOUNT_PLAN 테이블에서 자동차 종류가 '트럭'인 자동차의 대여 기록에 대해서 대여 기록 별로 대여 금액(칼럼명:FEE)을 구하여 대여 기록 ID와 대여 금액 리스트를 출력하는 SQL문을 작성해 주세요. 결과는 대여 금액을 기준으로 내림차순 정렬하고, 대여 금액이 같은 경우 대여 기록 ID를 기준으로 내림차순 정렬해 주세요. CAR_RENTAL_COMPANY_CAR CAR_RENTAL_COMPANY_RENTAL_HISTORY CAR_RENTAL_COMPANY_DISCOUNT_PLAN 풀이 1. 자동차 종류 : 트럭인 경우만 조건 입력(w.. 2023. 10. 13.
728x90

티스토리툴바