들어가며 2022년 6월 12일 GCP를 이용하여 데이터 적재 파이프라인을 만들어보는 튜토리얼 글을 적었으나.. GCP는 90일 동안만 무료로 쓸 수 있고 그 90일이 거의 다 되가는 지금... 나는 하이애나 마냥 새로운 무료 클라우드를 찾아보고 있다. https://gibles-deepmind.tistory.com/133 [Airflow] 데이터 적재 파이프라인 튜토리얼 - 서울시 지하철호선별 역별 승하차 인원 정보 적재하 핵심 내용 안녕하세요. Airflow로 데이터 적재 파이프라인을 만드는 튜토리얼을 만들어봤습니다. 사이드 프로젝트로 데이터를 수집하고, 수집한 내용을 DB에 저장하고 활용해보려는 분들께 도움 gibles-deepmind.tistory.com 우선, 첫번째 후보 - AWS! 하지만. ..

https://www.oreilly.com/library/view/monitoring-with-ganglia/9781449330637/ch04.html Monitoring with Ganglia Chapter 4. The Ganglia Web Interface Vladimir Vuksan Alex Dean So far, this book has dealt with the collection of data. Now we will discuss visualizing it. Visualization of these … - Selection from Monitoring with Ganglia [Book] www.oreilly.com https://www.youtube.com/watch?v=y3VCWVbzAKA&..

핵심 내용 안녕하세요. Airflow로 데이터 적재 파이프라인을 만드는 튜토리얼을 만들어봤습니다. 사이드 프로젝트로 데이터를 수집하고, 수집한 내용을 DB에 저장하고 활용해보려는 분들께 도움이 될 것 같습니다. 본격적으로 시작하기 전에 몇 가지 재료가 필요합니다. 우선, 서버는 GCP를 이용하여 구축했습니다. IDE는 GCP에서 구축한 Jupyter lab서버를 이용했고, MySQL서버, Airflow서버 모두 GCP 우분투 서버에 설치했습니다. https://gibles-deepmind.tistory.com/116?category=954919 [GCP] VM Instance 생성하기 1. 무료로 시작하기 무료로 시작하기를 클릭해준다. 적당한 걸 클릭해주고 계좌 유형은 귀찮으니, 개인을 선택해준다. 그리..

핵심 내용 ubuntu에서 MySQL Server 원격 접속 허용 후, Python과 연동하는 과정을 다룹니다. 본 글은 아래의 내용들을 포함합니다. 1. ubuntu MySQL설치법 2. MySQL 원격 접속 허용하는 방법 3. Workbench 연결방법 4. Python mysql.connector 사용법 5. pandas의 to_sql메서드를 이용하여 pandas 데이터프레임을 mysql로 적재하기 ubuntu MySQL설치하기 ubuntu 버젼은 20.04이며 GCP를 이용했습니다. VM Instance를 생성하는 방법은 아래 글을 참고 부탁드립니다. https://gibles-deepmind.tistory.com/116?category=954919 [GCP] VM Instance 생성하기 1. ..

주요 내용 ubunutu에서 jupyterlab background server를 구축하는 내용을 다룹니다. ubuntu는 gcp clound vm instance를 이용하여 설치했습니다. 관련된 내용은 아래 글에서 살펴 보실 수 있습니다. https://gibles-deepmind.tistory.com/116?category=954919 [GCP] VM Instance 생성하기 1. 무료로 시작하기 무료로 시작하기를 클릭해준다. 적당한 걸 클릭해주고 계좌 유형은 귀찮으니, 개인을 선택해준다. 그리고, 이름 및 주소를 적당히 입력. 참고로 우편번호는 시/군/구에 맞게 gibles-deepmind.tistory.com 본 글의 목표는 두 가지 입니다. 1. 어디서든 접속할 수 있는 jupyterlab 서버..

가짜연구소 내 Python - Data Engineering 스터디를 위해 작성했습니다. https://www.notion.so/chanrankim/PseudoLab-c42db6652c1b45c3ba4bfe157c70cf09 (가짜연구소 링크) https://www.notion.so/chanrankim/Data-Engineer-Python-83c206a662004120a8211a800581e124 (스터디상세 링크) 핵심 내용 리눅스는 GCP를 이용하여 설치했습니다. 관련해서는 아래 블로그 글을 참고하실 수 있습니다. 스크롤이 긴데, 설치 과정에서 있었던 삽질기를 다루는 글입니다. 저처럼 엔지니어링도 클라우드도 잘 모르지만, Airflow를 설치하고 간단한 Dag파일을 생성해보고 싶은 분들께 참고가 될 ..

가짜연구소 내 Python - Data Engineering 스터디를 위해 작성했습니다. https://www.notion.so/chanrankim/PseudoLab-c42db6652c1b45c3ba4bfe157c70cf09 (가짜연구소 링크) https://www.notion.so/chanrankim/Data-Engineer-Python-83c206a662004120a8211a800581e124 (스터디상세 링크) 0. DAG란? Directed Acyclic Graph의 약자이다. 여기서, 가장 중요한 단어는 acyclic = 비순환이 아닐까 생각한다. It defines four Tasks - A, B, C, and D - and dictates the order in which they have ..

가짜연구소 내 Python - Data Engineering 스터디를 위해 작성했습니다. https://www.notion.so/chanrankim/PseudoLab-c42db6652c1b45c3ba4bfe157c70cf09 (가짜연구소 링크) https://www.notion.so/chanrankim/Data-Engineer-Python-83c206a662004120a8211a800581e124 (스터디상세 링크) 0. 들어가며 제목은 거창하지만, 메시지 내용은 간단하다. 리눅스에서 크론탭과 파이썬을 이용해서 매 시간마다 나에게 메시지를 보내볼 것이다. https://gibles-deepmind.tistory.com/117 [Linux] Python 가상환경 세팅하기 (bdist_wheel 에러 해결)..

0. 들어가며 https://gibles-deepmind.tistory.com/116 [GCP] VM Instance 생성하기 1. 무료로 시작하기 무료로 시작하기를 클릭해준다. 적당한 걸 클릭해주고 계좌 유형은 귀찮으니, 개인을 선택해준다. 그리고, 이름 및 주소를 적당히 입력. 참고로 우편번호는 시/군/구에 맞게 gibles-deepmind.tistory.com GCP VM Instance를 이용하여 우분투 환경을 구축했다. 필요하신 분은 참고 1. 파이썬 버젼 체크 따로 Jupyter notebook과 같은 IDE는 설치하지 않고 Script 형식으로만 파일을 만들어볼 것이다. 우선, python 버젼을 먼저 체크해보자. python3 -V >>> 3.7.3 파이썬은 잘 설치되어 있으나, pip가 ..

1. 무료로 시작하기 무료로 시작하기를 클릭해준다. 적당한 걸 클릭해주고 계좌 유형은 귀찮으니, 개인을 선택해준다. 그리고, 이름 및 주소를 적당히 입력. 참고로 우편번호는 시/군/구에 맞게 입력해주어야 한다. 따로 체킹시스템이 있는듯 마지막으로 안내에 따라 고객 정보를 입력해준다. 결제 설정까지 완료해야지 다음 단계로 넘어갈 수 있다. 근데, 기분탓인지는 모르겠는데 지금까지 GCP 계정을 9개 가량 만들었는데 결제 정보를 설정한 적은 몇번 없는것 같다? 사람마다 개인차가 있을듯. 2. 콘솔로 이동하기 콘솔로 들어가면 무료평가판 기간이 91일 남아 있다는 것을 확인할 수 있다. 3. Compute Engine 클릭 Computer Engine에서 VM 인스턴스를 클릭해준다. 그러면 API 사용 화면으로 ..