[Pandas] str.contains를 사용하는 이유 - 정규표현식
딥상어동의 딥한 데이터 처리/전처리2021. 9. 26. 23:36[Pandas] str.contains를 사용하는 이유 - 정규표현식

Pandas의 기본 인덱싱 인덱싱이란? index를 기반으로 값의 위치를 찾는 행위를 말합니다. Pandas에서는 보통 loc를 많이 사용합니다. import pandas as pd sampleData = pd.DataFrame() sampleData['val1'] = ['M', 'F', 'M', 'M', 'F'] 위와 같은 샘플 데이터가 있다고 가정해보겠습니다. 만약, M만 추출하려면 아래와 같이 조건을 설정하면 됩니다. sampleData.loc[(sampleData.val1 == 'M'), 'val1'] https://gibles-deepmind.tistory.com/65?category=892466#head3 [Pandas] 이것만은 알고가자 - 1.Indexing(iloc, loc) 1. 예시 ..

[Jupyter Notebook] 셀 넓이 설정, 다크 모드
딥상어동의 딥한 프로그래밍/Python2021. 9. 26. 22:18[Jupyter Notebook] 셀 넓이 설정, 다크 모드

셀 넓이 설정 from IPython.core.display import display, HTML display(HTML("")) 본인의 해상도에 맞게 width를 임의적으로 조절해주면 된다. 다크 모드 설정 pip3 install jupyterthemes jupyterthems를 우선 설정해준다. jt -l #jupyter name 리스트 확인 설치 후 위와 같이 명령어를 입력하면 아래와 같이 테마 이름을 확인할 수 있다. 여기서 chesterish를 jt -t chesterish 위와 같이 입력해주면 다크모드를 적용할 수 있다. 하지만! 따로 색상 보정을 하게 되면 기존에 튜닝했던 레이아웃들이 깨질 수 있다. 예를 들어, 나의 경우 Jupyter extention을 쓰고 있었는데, 확장 아이콘들이 모..

[커뮤니케이션] 데이터 분석가와 클라이언트 간의 눈높이 맞추기
분석 논리|전략2021. 9. 12. 23:51[커뮤니케이션] 데이터 분석가와 클라이언트 간의 눈높이 맞추기

Intro 데이터 분석가로 일하면서 느낀점은 생각보다 "말할 일이 많다." 였습니다. 수다맨(갑자기 세대차이?) 만큼은 아닙니다만 데이터 분석가도 말할 일이 많습니다. 그리고, 그만큼 대화를 하면서 실수를 하는 측면도 있는데요. 사실, 실수는 말을 하면서 발생하기 보다는 말을 하지 않아서 발생하는 경우가 더 많은 것 같습니다. 본디 데이터 분석가는 비즈니스 단에서 실제 액션을 실행하기 보다는 실제 액션을 실행하는 타 직군들과 "협업"을 많이 합니다. 그렇기 때문에 타 직군 분들과 얘기할 일이 많습니다. 본 글에서는 타 직군 분들을 편의상 클라이언트라고 하겠습니다. 일의 형태 분석가 - 분석한 내용 바탕으로 클라이언트에 제안 클라이언트 - 실행 내용/계획 바탕으로 분석 요청 다음은 위와 같은 일을 할 때,..

[MSSQL] 이전 값으로 NULL 값 대체하기
딥상어동의 딥한 SQL/LV2.중급쿼리2021. 8. 31. 11:09[MSSQL] 이전 값으로 NULL 값 대체하기

0. 문제SQL을 하다보면 문득 이런 고민에 빠질때가 있습니다.  저기 NULL값을 이전 값으로 대체하고 싶은데... 어떻게 하지? 왜냐하면, SQL에는 Pandas fillna 함수의 ffill과 같은 메서드가 없기 때문인데요.https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.fillna.html pandas.DataFrame.fillna — pandas 1.3.2 documentationIf method is specified, this is the maximum number of consecutive NaN values to forward/backward fill. In other words, if there is a gap with mo..

[Git] Token authentication Error (Mac)
딥상어동의 딥한 프로그래밍/개발도구(git등)2021. 8. 18. 00:39[Git] Token authentication Error (Mac)

https://github.blog/2020-12-15-token-authentication-requirements-for-git-operations/ Token authentication requirements for Git operations | The GitHub Blog Beginning August 13th, 2021, we will no longer accept account passwords when authenticating Git operations on GitHub.com. github.blog 8/13일 부로 git 인증 방식이 "토큰 인증"으로 바뀌면서 push/pull 등의 작업을 위해 추가 인증이 필요하게 되었습니다. 아래는 토큰 발급 및 키체인 비밀번호 변경 방법입니다(Mac기..

[Pandas] 퍼널차트 데이터프레임으로 표현해보기
딥상어동의 딥한 데이터 처리/시각화2021. 8. 15. 01:31[Pandas] 퍼널차트 데이터프레임으로 표현해보기

0. 퍼널 차트몇 명이나 깔때기를 통과할까?  좌측 퍼널 차트는 얼마나 많은 방문자를 구매자로 전환시킬 수 있을까?에 대한 고민을 담고 있습니다. 이처럼, 퍼널 차트는 "서비스의 목표"와 관련이 있습니다. 대표적인 예로 AARRR 모형(우측)이 있습니다. 1. Acquisition : 유저 유입2. Activation : 첫 활동 (회원가입)3. Retention : 재방문4. Revenue : 서비스 구매5. Referral: 주변인에게 추천 직관적으로, 퍼널 단계가 아래로 갈수록 (= 깔때기가 좁아질수록) 통과 난이도가 어려워진다는 것을 알 수 있습니다. 예를 들어, 현재 서비스의 목표가 "회원가입"이라고 가정합시다. 당연히 유입 유저수 != 회원가입 유저수일 텐데요. 이때, 회원가입까지 이루어지는 ..

글또 6기를 시작하며 - 왜 나는 글또를 신청했는가?
나라는 존재/생각2021. 7. 22. 23:51글또 6기를 시작하며 - 왜 나는 글또를 신청했는가?

0. 회상 나의 블로그에도 분명 풋풋한 시절이 있었다. 때는, 바야흐르 2018년 12월 6일 블로그에 처음 글을 작성했다. 내 의지는 아니었고, 같이 동아리를 하던 친구들이 하자고 해서 강제로? 시작하게 됐다. 이렇게 오그라드는 글을 적어보기도 했고, 판다스 관련된 글을 쓸때면 귀여운 판다 사진을 넣어보기도 하고 https://gibles-deepmind.tistory.com/33 지금 당장 블로그를 시작해야하는 이유 원문 - 네이버 본인 블로그 https://blog.naver.com/tjdrud1323/221413557150 처음, 설렘과 두려움의 교집합 초등학교 때 좋아했던 친구가 있었다. 정말 좋아했지만, 그때는 그 마음을 표현하는 방법을 몰라 짓 gibles-deepmind.tistory.co..

딥상어동의 딥한 프로그래밍/Spark2021. 7. 21. 13:29[PySpark] Python 내장 함수 사용시 발생하는 오류

TypeError : Invalid argument, not a string or column PySpark에서 Python 내장 함수를 사용하던 도중 위와 같은 에러를 겪었다. 원인은 spark.sql 내장 함수로 덮어씌어졌기 때문! 스파크의 내장 함수는 str이나 column형태의 자료형을 파라미터로 받는다. import builtins abs = getattr(builtins, "abs") 이럴때는 위와 같이 python의 원래 내장 함수를 다시 선언해주면 된다!

딥상어동의 딥한 프로그래밍/자료구조&알고리즘2021. 7. 13. 22:34LeetCode07 - Reverse Integer

class Solution(object): def reverse(self, x): if x = (-2)**31 and x_int >> 4321 print(inst1.reverse(-123)) >>> -321 정수를 받아 Reverse 역으로 변환시키는 문제, 자료의 출력 범위를 맞춰줘야 한다. integer type을 str로 변환시키는 꼼수 discussion을 참조했다.

딥상어동의 딥한 프로그래밍/자료구조&알고리즘2021. 6. 30. 22:43Hash Algorithm (1) 기본 개념

https://www.youtube.com/watch?v=Vi0hauJemxA 본 영상을 참고 했습니다. ------------------------------------------------------------------- 0. 비잔틴 장군의 문제 넷플릭스의 익스플레인 - 세계를 해설하다 시즌1을 보면 "암호화폐"에 대한 얘기가 나온다. 그 영상에서는 암호화폐의 순기능에 대해 "비잔틴 제국의 장군들이 한 성을 포위"한 상황에 빗대어 설명한다. 만약, A/B/C 세 명의 장군이 협동하여 성을 포위했다고 가정하자. 이때, A가 갑자기 배신을 한다면? B와 C는 난감할 것이다. 그런데, 암호화폐의 장부 기능은 이러한 상황을 방지한다. 어떻게? 장부의 "전투 계획"이 모든 장군들에게 공유 되었기 때문이다. ..

image