딥상어동의 딥한 데이터 처리

들어가며 에빙하우스의 망각곡선 (Ebbinghaus forgetting curve) - 살면 한번쯤은 들어봤을 에빙하우스의 망각곡선, 학습법/기억 관련된 분야에서는 월드 스타라고 할 수 있다. - 물론, 에빙하우스의 실험에 대해 비판이 없는 것은 아니다. - 하지만, 데이터 시각화의 관점에서 에빙하우스의 망각곡선은 상당히 유용한 지표라고 생각한다. - 이번 글에서는 에빙하우스의 망각곡선을 이용하여 유저 리텐션에 대해 생각해보려 한다. 에빙하우스의 망각곡선이란? https://web.archive.org/web/20051219184857/http://psy.ed.asu.edu/~classics/Ebbinghaus/memory7.htm Classics in the History of Psychology --..

세상이 허락한 유일한 마약... 퇴근....! 그렇다. 나는 출근을 코앞에 둔 K-직장인이다. 점차 다가오는 출근 시간에 잠시 정신을 잃었나보다. 그렇지만, 항상 행복한 퇴근. 나의 퇴근 루트는 아래와 같다. 1. 셔틀을 타고 판교역으로 간다. 그리고, 정자역에서 분당선으로 갈아타서 죽전역에서 내린다. 2. 셔틀을 타고 서현역으로 간다. 그리고, 서현에서 죽전역으로 쭈욱~ 간다. 가장 활발하게 이용하는 루트는 1번이다. 그래서, 정자역에서 분당선으로 갈아타는 길을 자주 지나가게 된다. 정자역 -> 분당선 하행 선로에는 사각지대가 있다. "앞쪽으로 이동하여 주시기 바랍니다" 왜 이걸 보고 사각지대라고 하는거지? 라고 생각할 수 있다. 뜻 먼저 이해해보자. 한 마디로, 여기서 타지 말라는거다. 그런데, 간혹..

핵심내용 1.Pandas에서 데이터프레임을 이미지로 저장하는 방법에 대해서 정리해봅니다. 2.한글과 관련된 이슈를 해결해봅니다. 3.약간의 pandas style을 붙여봅니다. 1~3의 과정을 통해 위와 같은 이미지를 telegram 챗봇으로 보내봅시다. (데이터야놀자 발표를 준비 하는 중에 관련된 내용을 글로 정리하였습니다.) 1.Pandas 데이터프레임을 PNG로 저장하는 방법들 Pandas에서 데이터프레임을 PNG로 저장하는 방법에는 크게 3가지가 있다. (적어도 지금까지 내가 알아본 바로는) 1-1. dataframe-image라이브러리 이용하기 https://pypi.org/project/dataframe-image/ dataframe-image Embed pandas DataFrames as ..

1. 핵심내용 판다스에서 수치형 변수와 범주형 변수를 구분하는 방법을 다루어봅니다. - _get_numeric_data - select_dtypes() 데이터는 아래와 같이 타이타닉 데이터 셋을 불러왔습니다. import pandas as pd import numpy as np data = pd.read_csv("https://raw.githubusercontent.com/datasciencedojo/datasets/master/titanic.csv") 2. _get_numeric_data 첫 번째 방법은 _get_numeric_data메서드를 이용하는 것입니다. all_columns = data.columns.tolist() num_columns = data._get_numeric_data().colu..

가짜연구소 내 Python - Data Engineering 스터디를 위해 작성했습니다. https://www.notion.so/chanrankim/PseudoLab-c42db6652c1b45c3ba4bfe157c70cf09 (가짜연구소 링크) https://www.notion.so/chanrankim/Data-Engineer-Python-83c206a662004120a8211a800581e124 (스터디상세 링크) 0. 판다스를 사용하는 이유 왜 판다스를 사용할까? 내가 쉽사리 정의할 수는 없어서 관련된 글을 찾아봤다. Less writing and more work done https://data-flair.training/blogs/advantages-of-python-pandas/ 나는 위 문구가..

0. 비교 조건 1. 데이터 프레임 전체 원소들을 비교할 것 2. 벡터 연산을 사용할 것 3. 두 데이터 프레임의 Shape과 행/열 인덱스읠 배열 순서는 동일하다고 가정할 것 1. 비교 목표 두 개의 데이터프레임 전체를 비교하고 각 원소별로 minimum한 값을 리턴한다. 2. 코드 설명 1. 우선, 동일한 shape의 두 데이터 프레임 객체를 만들어 준다. import pandas as pd import numpy as np d1 = pd.DataFrame() d2 = pd.DataFrame() d1['a1'] = np.random.randint(1, 100, 10) d1['a2'] = np.random.randint(1, 100, 10) d1['a3'] = np.random.randint(1, 10..

0. 들어가며 2019.11.17 코로나19가 우리의 일상을 덮쳤다. 하지만, 한동안은 코로나19 이슈에도 불구하고 비교적 잠잠했었는데 그 이유는 2020년 3월 이후 한동안은 확진자 수가 100명 아래였기 때문이다. http://www.dt.co.kr/contents.html?article_no=2020052902109919607024&ref=naver "절대 K방역 못따라간다"...영국의학저널의 `절규` ˝영국은 한국의 코로나19 접근법을 따라가기 어려울 것이다. 앞으로도.˝1840년에 창.. www.dt.co.kr (위풍당당했던 K방역) 한국의 코로나 방역을 극찬하는 2020년 5월의 기사다. 물론, 지금도 영국에 비해서는 훨씬 적은 편이다. (영국은 작년 연말 이후 확진자가 10만명 이상으로 늘어..

0. SQL 윈도우 함수란? Window functions operate on a range of rows, defined by the OVER clause. It is like you are looking through the window, you see sky, star, moon. You are not seeing the whole sky, you see part of the sky. Window 함수 이름의 유래에 대해 찾아봤습니다. "창 을 통해 밖을 바라보면 하늘의 부분만을 볼 수 있다". 윈도우 함수의 기본적인 개념입니다. 여기서 창 = 한 행 이라고 생각하시면 됩니다. 즉, 윈도우 함수는 Group By의 결과를 한 행(각 Window)마다 뿌려주는 함수라고 할 수 있습니다. GroupBy..

최근 글에서 박스플롯을 사용하여 분석 결과를 설명한 적이 있습니다. https://gibles-deepmind.tistory.com/95 [데이터로 보는 주식] 물타기 도대체 언제 할것이냐, 그것이 문제로다. 0. 들어가며 안녕하십니까 파란불 달인 딥상어동입니다. 왜 파란불이라는 말을 썼을까요? 그것은 바로바로. 제 주식 포트 폴리오에 "음봉"이 가득~ 하기 때문인데요. 제 손으로 적기는 정말 슬픕 gibles-deepmind.tistory.com 일단은 시간은 없고.. 글은 빨리 마무리해야하니 박스플롯으로 결과를 설명했었는데요. 결과를 직관적으로 전달하지 못한다는 생각이 들었었습니다. 그리고, 이후 박스 플롯의 어떤 측면 때문에 정보를 직관적으로 전달하기 어려운지에 대해 고민해봤습니다. 1. 장점 - ..

https://gibles-deepmind.tistory.com/88 정규표현식 뽀개기 (2) - 메타 문자 이해하기 https://gibles-deepmind.tistory.com/87 정규표현식 뽀개기 (1) - 정규표현식을 배우는 이유 0. 들어가며 1. 정규표현식이란? 2. 정규표현식을 배우는 이유 3. 어떻게 공부할 것인가? 0. 들어가며 1992.09.14.. gibles-deepmind.tistory.com 지난 시간에는 메타 문자에 대해서 다루어 봤습니다. 이번 시간에는 문자의 반복에 대해서 다루어 보겠습니다. 0. 들어가며 1. 반복 메타 문자: +와 *의 차이 2. 반복 메타 문자는 탐욕적이다? 2-1. 의미적인 관점에서 2-2. 정규표현식 관점에서 3. 반복 메타 문자의 활용 3-1...

https://gibles-deepmind.tistory.com/87 정규표현식 뽀개기 (1) - 정규표현식을 배우는 이유 0. 들어가며 1. 정규표현식이란? 2. 정규표현식을 배우는 이유 3. 어떻게 공부할 것인가? 0. 들어가며 1992.09.14 네. 제 생일입니다. 올해로 계란 한판이죠. 아무도 궁금해하지 않으셨다구요? (ㅜ) 아 gibles-deepmind.tistory.com 지난 시간에 정규표현식을 공부하는 이유에 대해서 다뤄봤습니다. 본 글에서는 정규표현식의 규칙에 대해서 본격적으로 다뤄보겠습니다. 0. 들어가며 1. 가장 단순한 규칙 2. 메타문자란 무엇인가? 3. 메타문자 확장하기 3-1. 마침표와 하이픈 3-2. 범위지정 0. 들어가며 구글 방문 기록에서 접속했던 웹 페이지 기록을 검..

0. 들어가며 1. 정규표현식이란? 2. 정규표현식을 배우는 이유 3. 어떻게 공부할 것인가? 0. 들어가며 다음과 같은 상황을 생각해봅시다. 1이9것9은2훼.이0크9닷.훼1이4크 누가 장난을 쳐서 제 생일에다가 이런 글자를 적어놨다고 생각해봅시다. 이럴 때 제 생일만 찾으려면 어떻게 해야할까요? 네. 이럴 때 필요한 것이 정규표현식 입니다. https://regex101.com/ regex101: build, test, and debug regex Regular expression tester with syntax highlighting, explanation, cheat sheet for PHP/PCRE, Python, GO, JavaScript, Java. Features a regex quiz &..