[Pandas] 이것만은 알고가자 - 0.파일 불러오기
딥상어동의 딥한 데이터 처리/전처리2021. 6. 5. 00:54[Pandas] 이것만은 알고가자 - 0.파일 불러오기

1. 예시 import pandas as pd data = pd.read_csv("C:/Users/blarblar/aug_train.csv") #read_csv #pd.read_csv 2. CSV. 파일에 대한 이해 Comma Seperated Values 이름, 직업, 나이 철수, 개발자, 30 미희, 분석가, 29 ,로 값을 구분한다. 이것이 CSV파일에 대한 정의이다. 위이미지에서 .jpg를 extension이라고 한다. csv 파일은 구글 스프레드 시트 형태를 보이지만, 파일 이름 끝에 .csv가 붙는다. 즉, csv라는 확장자를 가진다는 의미이다. 3. 왜 사용하는가? txt와 같은 확장자를 plain-text라고 한다. 여기에는 글자 크기 등 다른 옵션은 없고 말 그대로 "텍스트"만 있다고 생..

시계열 | 이동 평균(Moving Average) 기초
딥상어동의 딥한 데이터 처리/전처리2021. 5. 2. 23:16시계열 | 이동 평균(Moving Average) 기초

왜 사용하는가? 왜냐하면, 장기적인 트렌드를 보기 위해서이다. 위 그림을 한번 살펴보자. 파란색 라인에 비해 주황색 라인이 좀 더 완만하지 않은가? 하지만, 두 라인을 그린 데이터 원본은 동일하다. 파란색 -> 주황색과 같이 라인을 완만하게 만드는 작업을 Smoothing이라고 한다. 그리고, 그 Smoothing을 하는 방법 중 하나가 이동 평균선이다. (Moving Average) 왜 완만하게(Smoothing) 만드는가? 가장 기본적인 사고의 발상은 날 것 그대로의 데이터에 Noise가 끼어있을 수 있다는 것이다. 예를 들어, 철수가 다음과 같이 물건을 팔았다고 생각해보자. 05/01 100개 05/02 1000개 05/03 200개 5월 2일, 철수한테는 무슨 일이 있었을까? 큰 손이라도 나타난 ..

Pandas | Melt
딥상어동의 딥한 데이터 처리/전처리2021. 3. 2. 18:33Pandas | Melt

목차 1. melt의 의미(wide to long) 2. 실사용 예제 3. melt 함수 파라미터 1. Melt의 의미(wide to long) 아이스크림이 녹는 이미지를 생각해봅시다. 왼쪽에서 오른쪽으로 혹은 오른쪽에서 왼쪽으로 녹는 아이스크림을 본 적이 있으신가요? 혹은 아래에서 위로 녹는 아이스크림을 본 적 있으신가요?(이건 좀 무섭다...) 아이스크림은 위쪽에서 아래로 녹아내립니다. pandas melt 함수는 위와 같은 철학이 담겨있는 함수라고 할 수 있습니다. 즉, 아이스크림이 녹아내리는 것처럼 데이터 프레임을 위에서 아래로 길게 만드는 함수입니다. 2. 실사용 예제 #패키지 설치 import pandas as pd from gapminder import gapminder #데이터 불러오기 d..

Pandas | Stack VS Unstack
딥상어동의 딥한 데이터 처리/전처리2021. 1. 28. 22:22Pandas | Stack VS Unstack

안녕하세요 신입 초보 분석가입니다. 데이터 분석을 공부하면서 고민이 됐던 내용들을 포스팅합니다. github.com/GiblesDeepMind/deepPythonAnalysis GiblesDeepMind/deepPythonAnalysis I'm JDM! The man who will be the Analysis King! . Contribute to GiblesDeepMind/deepPythonAnalysis development by creating an account on GitHub. github.com 개인 깃허브 페이지입니다. 목차 1. stack 2. unstack 오늘의 한마디 : stack은 위 아래로 키가 크고 unstack은 옆으로 뚱뚱해진다! 1. stack stack과 unstack..

PYTHON | JSON 파일 DataFrame 변환(json_normalize)
딥상어동의 딥한 데이터 처리/전처리2020. 12. 6. 23:47PYTHON | JSON 파일 DataFrame 변환(json_normalize)

안녕하세요 신입 초보 분석가입니다. 데이터 분석을 공부하면서 고민이 됐던 내용들을 포스팅합니다. github.com/GiblesDeepMind/deepPythonAnalysis GiblesDeepMind/deepPythonAnalysis I'm JDM! The man who will be the Analysis King! . Contribute to GiblesDeepMind/deepPythonAnalysis development by creating an account on GitHub. github.com 개인 깃허브 페이지입니다(이거 하시는 분들 멋있어 보여서 따라해봤습니다.) 초록 [코드 페이지] https://github.com/GiblesDeepMind/deepPythonAnalysis/tre..

딥상어동의 딥한 데이터 처리/전처리2020. 12. 6. 14:39아카이브 페이지

임시로 페이지만 작성

image