들어가며 ubuntu에서 docker를 설치하면 docker에 권한을 부여한 후, 터미널을 재실행 한다. systemctl reboot 그런데, 시스템만 리부트하고나면 아래와 같이 Connection timed out 에러가 계속 발생했다. 오늘은 그 원인과 해결법에 대해서 간단히 정리하고자 한다. 해결법 ssh user@ipv4 "nohup sudo reboot &>/dev/null & exit" 나의 경우 위 코드를 입력하니까 정상적으로 ubuntu 서버에 접속할 수 있었다. 원인 systemctl reboot 위 명령어를 실행하게 되면 우분투 서버내에 있는 모든 서비스 및 프로세스가 종료된다. 이로 인해 우분투 서버와 클라이언트간 네트워크 연결이 끊어지며, 접속 불가능 상태가 된다. 이때, 해결법의..

들어가며 최근 들어, fast api 실습을 진행했었다. 실습을 진행하며, api 서버가 열리지 않는? 경험을 했었다. 그 이유는 내가 host라는 개념에 대해서 명확히 인지하지 못하고 있었기 때문! 관련해서, fast api 앱을 실행하는 예제와 host개념에 대해서 간단히 정리하려고 한다. fast-api 예제 우선, fast api와 uvicorn을 설치해준다. pip install fastapi pip install uvicorn 다음으로, 간단한 main.py를 만들어준다. https://fastapi.tiangolo.com/ko/tutorial/first-steps/ 첫걸음 - FastAPI 첫걸음 가장 단순한 FastAPI 파일은 다음과 같이 보일 겁니다: from fastapi import..

핵심 내용 이틀간의 고군 분투 끝에 오라클 클라우드 프리티어 계정을 생성했다👇👇👇. 오늘은 VM을 만들어볼 예정. https://gibles-deepmind.tistory.com/140 오라클 클라우드(1) 계정 생성기 - 공짜를 누리려는 자, 그 무게를 견뎌라 들어가며 때는 바야흐르, 2022년 6월 12일 GCP를 이용하여 데이터 적재 파이프라인을 만들어보는 튜토리얼 글을 적었으나.. GCP는 90일 동안만 무료로 쓸 수 있고 그 90일이 거의 다 되가는 지금... 나 gibles-deepmind.tistory.com 본 글에서 다루는 내용 1. Tenancy와 Compartment 2. VCN 3. VM 생성 3-1. ssh-key 생성 (feat. git bash) 3-2. vm 생성 3-3. 원..

들어가며 2022년 6월 12일 GCP를 이용하여 데이터 적재 파이프라인을 만들어보는 튜토리얼 글을 적었으나.. GCP는 90일 동안만 무료로 쓸 수 있고 그 90일이 거의 다 되가는 지금... 나는 하이애나 마냥 새로운 무료 클라우드를 찾아보고 있다. https://gibles-deepmind.tistory.com/133 [Airflow] 데이터 적재 파이프라인 튜토리얼 - 서울시 지하철호선별 역별 승하차 인원 정보 적재하 핵심 내용 안녕하세요. Airflow로 데이터 적재 파이프라인을 만드는 튜토리얼을 만들어봤습니다. 사이드 프로젝트로 데이터를 수집하고, 수집한 내용을 DB에 저장하고 활용해보려는 분들께 도움 gibles-deepmind.tistory.com 우선, 첫번째 후보 - AWS! 하지만. ..

https://www.oreilly.com/library/view/monitoring-with-ganglia/9781449330637/ch04.html Monitoring with Ganglia Chapter 4. The Ganglia Web Interface Vladimir Vuksan Alex Dean So far, this book has dealt with the collection of data. Now we will discuss visualizing it. Visualization of these … - Selection from Monitoring with Ganglia [Book] www.oreilly.com https://www.youtube.com/watch?v=y3VCWVbzAKA&..

1. 핵심내용 판다스에서 수치형 변수와 범주형 변수를 구분하는 방법을 다루어봅니다. - _get_numeric_data - select_dtypes() 데이터는 아래와 같이 타이타닉 데이터 셋을 불러왔습니다. import pandas as pd import numpy as np data = pd.read_csv("https://raw.githubusercontent.com/datasciencedojo/datasets/master/titanic.csv") 2. _get_numeric_data 첫 번째 방법은 _get_numeric_data메서드를 이용하는 것입니다. all_columns = data.columns.tolist() num_columns = data._get_numeric_data().colu..

Docstring - Google Syle 함수 내용 - 판다스 Indexing 메서드와 그 에 따라 컬럼 순서가 어떻게 바뀌는지 확인 고려 내용 - np.intersect1d를 이용하여 df안에 있는 컬럼인지 체크 - iloc의 경우 dict를 이용하여 원본 df의 컬럼 순서를 저장 def change_col_order(method_type: str, col_list: list, df: pd.DataFrame): """change the col order using iloc/loc/concat/column_indexing change the col order using python method Args: method_type (str): method_name col_list (list): column_..

핵심내용 스파크의 고유한 자료 구조와 연산 특징에 대해서 다루어보고자 합니다. ※스파크 설치 방법에 대해서는 다루지 않습니다. 대신 간단한 데이터브릭스 샘플 코드를 포함합니다. 본 글에서 다루는 내용 1. 데이터브릭스 커뮤니티에디션 이용 방법 2. Map reduce vs Spark 3. Driver와 Executor 4. RDD 5. Transformation 6. DataFrame 데이터브릭스 커뮤니티에디션 1. Try Databricks에 접속한다. https://databricks.com/try-databricks Try Databricks - Unified Data Analytics Platform for Data Engineering Discover why businesses are turni..

예! 내 데이터는 정규 분포를 따르지롱 보통 실험의 목적은 어떤 처치를 가했을 때, 정상에서 크게 벗어난 결과를 보이는 것입니다. 예를 들어서, 다이어트 약 실험을 한다고 가정합시다. 만약, 다이어트 약을 먹은 사람과 안먹은 사람의 체중 변화 차이가 없다면? 당장 문 닫아야겠죠? 그렇지만, 다이어트 약을 먹은 사람이 안먹은 사람보다 10kg더 많이 감량했다면? CEO: 당장 IPO 들어가자! 이러한 사고는 일상의 문제에도 똑같이 적용됩니다. 예를 들어서, 본인이 직접 다이어트를 한다고 가정합시다. 그리고, 지금까지 살아왔던 날들 동안 매일 매일 체중을 기록한 분포가 있다고 가정합시다. 아마 아래 그림과 같이 될텐데요. 당연히, 지금까지 살아왔던 날들의 평균 체중보다는 훨씬 낮은 체중을 가지고 싶을 겁니다..

핵심 내용 SQL 윈도우 함수가 가진 여러 특성들을 이해해보고 간단한 퍼널 분석 로직을 짜봅시다. 1. partition by 2. order by 3. window frame 범위 체계 4. 간단한 퍼널 분석 로직 윈도우 함수를 사용하는 이유 윈도우 함수를 이해하기 위해서는 GroupBy와 비교해보는 것이 좋습니다. 우선, Group By에 대해서 생각해봅시다. Group By를 하면 행 수가 줄어듭니다. 그룹의 수만큼요. 하지만, 윈도우 함수는 그렇지 않습니다. 그룹의 수가 그대로 보존되는데요. 이 지점이 윈도우 함수와 Group By의 가장 큰 차이라고 할 수 있습니다. 공통점은 둘다 집계 함수를 사용할 수 있다는 점입니다. 그렇다면, 윈도우 함수는 언제 사용해야 할까? 당연히 원래 행을 보존해야 ..