왜 로그 스케일을 사용하는가?
딥상어동의 딥한 데이터 처리/해석2021. 2. 24. 21:14왜 로그 스케일을 사용하는가?

목차 1. 지진 강도(로그 스케일 예시) 2. 왜 그래프를 그리는가? 3. 우리가 거리를 지각하는 방식 4. 지도에서 거리를 지각하는 방식 5. 로그 스케일이 더 멀리 볼 수 있는 이유 1. 지진 강도(로그 스케일 예시) 흔히, 지진 강도가 1이다, 2이다, 3이다와 같은 얘기를 들어보셨을 겁니다. 1과2, 4와5 절대적인 숫자 차이는 같습니다. 하지만, 두 차이가 실제로 같지 않다는 건 누구나 알고 계실겁니다. 1과2의 차이보다 4와5의 차이가 더 큽니다. 그럼에도, 이렇게 표기하는 이유는 무엇일까요? 2. 왜 그래프를 그리는가? 여기서 잠깐, 우리가 그래프를 그리는 이유에 대해서 생각해봅시다. 그래프를 그리는 이유는 차이를 드러내기 위해서 입니다. x_values = np.arange(5) y_val..

정보의 출처 - 누가 옳고 누가 그른가.
나라는 존재/생각2021. 2. 21. 23:35정보의 출처 - 누가 옳고 누가 그른가.

우리가 받아 들이는 정보는 어디로 부터 오는가? 뉴스, Facebook, 카카오톡, 트위터, 인스타그램, 그리고 지금 이 블로그까지 우리는 수많은 정보들을 받아들이며 살아간다. 그런데, 혹시 이런 생각을 해본적이 있는가? 1. 지금 내가 받아들이는 정보는 어디서 오는가? 2. 그리고, 얼마나 진실한가? 유튜브를 안 보는 사람이 있는가? 혹시 있을 수도 있지만... 유튜브를 안보는 사람은 거의 없을 것이다. 유튜브를 보다보면 종종 이런 댓글을 봤을 것이다. "유튜브 고마워 나를 이 영상으로 이끌어줘서" "알고리즘이 나를 여기로 이끌었어" 일종의 추천 시스템이다. 여기서 중요한 건 왜 당신에게 "추천"을 했느냐이다. 왜 추천을 했을까? 혹시 고민해본적 있는가? 추천을 받은 당신의 행동을 보면 쉽게 추론할 수..

일일아이티 일일데분2021. 2. 21. 23:33[API] 에러 함수에 대한 예외 처리

1. 에러를 로깅 후 직접 확인 try: r = requests.get("url", params=params, headers=headers) except: logging.error(r.text) sys.exit(1) 첫 번째로 에러를 직접 확인후 해결하도록 에러 기록을 로깅하는 방법이 있다. 2. 예외 처리 로직을 직접 작성 if r.status_code != 200: logging.error(r.text) if r.status_code == 429: time.sleep(3) r = requests.get("url", params=params, headers=headers) elif r.status_code == 401: headers = get_headers(p1, p2) r = requests.get..

일일아이티 일일데분2021. 2. 16. 21:40[API] 기본적인 용어 정리

API란? API의 목적은 "상호작용"이다. 크게 Request와 Respond 두 가지로 나누어진다. 우리가 사이트에 로그인 하기 위해 id와 비밀번호를 입력하고 그 대가로 로그인을 하는 것 이 모든 것들이 API라고 할 수 있다. API 접근 기본적으로 사용자를 확인하는 과정이 있고 API KEY를 통해 구체적인 요청 액션을 하는 행위가 있다. Oauth2.0이라는 시스템이 있는데 최종 사용자에게 권한(동의)를 받아 그 권한을 바탕으로 앱에 데이터를 요청하는 시스템이다. Endpoint & Method endpoint란 정보를 얻어오는 위치이다. 웹 api를 예로들면, 우리가 흔히 입력하는 URL이 된다. 이때, 이 URL에 접근할 수 있는 방법들이 정해져있는데 그 방법들을 Method라고 한다. 보..

[분석가의 전략] 문제 정의
분석 논리|전략2021. 2. 14. 20:57[분석가의 전략] 문제 정의

www.yes24.com/Product/Goods/96640030 케이스 인 포인트 이 책은 경영 컨설팅 펌에서 면접시에 진행하는 케이스 인터뷰를 준비하는 학생, 직장인들을 위해서 만들어 졌습니다. 하버드 출신의 저자가 자신의 경험을 토대로 쓴 책으로 지금까지 컨설팅 www.yes24.com 참조 : 4장 아이비 케이스 시스템 어떻게 출발할 것인가? 책에서는 5단계 출발법이라고 해서 5가지 내용을 다룹니다. 1. 문제 요약 2. 목표 확인, 다른 목표? 3. 모호함 해결 본 글에서는 그 중 3가지만을 추려 분석가의 입장에서 제 생각을 적어봤습니다. 1. 정말 문제인가? 시작하기전에 "정말로 문제인가"를 따져봐야합니다. 1번과 2번을 아우를 수 있는 질문이라고 생각합니다. 문제는 두 가지 관점에서 정의될 ..

[케이스 인 포인트(CASE IN POINT)] 를 구매하며
분석 논리|전략2021. 2. 14. 20:18[케이스 인 포인트(CASE IN POINT)] 를 구매하며

www.yes24.com/Product/Goods/96640030 케이스 인 포인트 이 책은 경영 컨설팅 펌에서 면접시에 진행하는 케이스 인터뷰를 준비하는 학생, 직장인들을 위해서 만들어 졌습니다. 하버드 출신의 저자가 자신의 경험을 토대로 쓴 책으로 지금까지 컨설팅 www.yes24.com CASE IN POINT 컨설팅 펌 면접 필독서라고 한다. 한국어로 번역되어 나왔다는 소식을 알고 부리나케 오늘 강남 교보문고를 들러 구매했다. 케이스라는 단어가 생소할 수도 있는데, 컨설팅 펌에서 컨설팅을 하는 행위 대상 자체를 "케이스"라고 한다. 즉, 컨설팅 시 어떤 포인트를 짚어야하느냐와 관련된 책이다. 왜 이책을 읽어보는가? 데이터 분석을 하든, 서비스 기획을 하든, 영업을 하든, 우리가 하는 모든 일은 "..

[서평] 원씽 (the ONE thing)
나라는 존재/책2021. 2. 12. 14:47[서평] 원씽 (the ONE thing)

http://www.yes24.com/Product/Goods/9349031?OzSrank=1 원씽 THE ONE THING 아마존 종합 베스트셀러 1위!아마존 자기계발 분야 260주 연속 스테디셀러!「월스트리트 저널」 종합 베스트셀러 1위! 「뉴욕 타임스」「USA 투데이」「워싱턴 포스트」 베스트셀러!전 세계 독자 www.yes24.com 복잡한 세상을 이기는 단순함의 힘, "한 가지에 집중하라!" 나는 성격이 급하고 지루한 것을 못견디는 편이다. 그래서, 한번 본 책을 단 한번도 다시 읽어본 적이 없다. 왜냐하면, 알고있던 내용은 지루하기 때문이다. 이 책은 내가 성인이 되고 나서 2회독한 유일한 책이다. 그리고, 다시 읽기를 정말 잘했다는 생각이 든다. 첫 만남 군인도 매달 월급을 받는다. 나는 딱히..

[서평] C의 유전자
나라는 존재/책2021. 2. 12. 12:15[서평] C의 유전자

http://www.yes24.com/Product/Goods/96546346 C의 유전자 삼성, LG, SK, 현대차그룹 임직원 강의대기업 인사담당자 32명이 즉시 도입한 ‘C의 지수’ 수록2021년 CEO들이 선택한 책“사다리를 걷어차고 ‘C레벨’로 도약한 자들, 그들은 무엇을 하고 있는가? www.yes24.com "회사 위에 존재하는 자들의 비밀" 강렬한 부재다. 과연, 회사 위에 존재한다는 것이 옳은 것일까? 그리고, 그럴 수 있는 것일까? 부제에 담긴 의미 책 초반에 '진급' 이 아닌 '진화'하라라는 소제목이 있다. 나는 이 소제목이 저자가 하고자하는 말을 가장 직접적으로 대변한다고 생각한다. 남을 짓밞고 올라서라는 것도 아니며, 회사위에 올라서서 창업을 하라는 의미도 아니다. 책 제목에서 가..

딥상어동의 딥한 프로그래밍/Spark2021. 2. 6. 10:02[scalaSpark] pivot과 unpivot

초록 1. pivot 2. unpivot pivot val pv_dataframe = df_dataframe .groupBy("col0") .pivot("col1") .agg(countDistinct("col2").as("colname")) groupBy와 pivot에 컬럼을 여러개 넣을 수 있다. agg에도 마찬가지 unpivot val unpv_dataframe = df_dataframe .selectExpr("group", "stack(2, 'col1', col1, 'col2', col2)") 여기서 중요한 것은 stack에 "1. 들어갈 열의 숫자를 정한다"와 col1과 col2 stack시길 열을 'col1', col1 이렇게 각각 두번씩 적어줘야 한다는 것이다. 이외에 where로 조건을 붙이..

Pandas | Stack VS Unstack
딥상어동의 딥한 데이터 처리/전처리2021. 1. 28. 22:22Pandas | Stack VS Unstack

안녕하세요 신입 초보 분석가입니다. 데이터 분석을 공부하면서 고민이 됐던 내용들을 포스팅합니다. github.com/GiblesDeepMind/deepPythonAnalysis GiblesDeepMind/deepPythonAnalysis I'm JDM! The man who will be the Analysis King! . Contribute to GiblesDeepMind/deepPythonAnalysis development by creating an account on GitHub. github.com 개인 깃허브 페이지입니다. 목차 1. stack 2. unstack 오늘의 한마디 : stack은 위 아래로 키가 크고 unstack은 옆으로 뚱뚱해진다! 1. stack stack과 unstack..

image