들어가며지난 2월 13일 글쓰기 커뮤니티 글또에서 데이터 채널 반상회가 진행되어 참여했었고 참여한 후기를 작성해보고자 한다. 지난 반상회들나는 지금까지 총 3번, 데이터 반상회를 참여했다. 첫번째 참여는 행사 주최 운영진으로 참석했었다.당시, 미리캔버스로 포스터를 만들었었고 90분 정도 되는 참석자 분들에게 DM을 드렸던 기억이 새록새록난다.지금과는 다르게 직무 구분(데이터, 프론트, 백엔드 등)을 하지 않았었고 발표가 조금 더 많은 포맷이었다. 두번째 참여는 발표자로 참여했었다. 글또 내에서 발생하는 슬랙 데이터를 수집하고 분석한 내용물을 공유했었다. 운이 좋게 해당 발표를 가지고 데이터야놀자에서도 발표를 할 수 있었다. 세번째는 티켓팅에 실패해 참석하지 못했었다 🥹🥹🥹 네번째 반상회옆자리에 앉..

들어가며- 간단하게 Pyspark를 테스트할 수 있는 환경을 구성하고, 조금 더 나아가 여러 개의 컨테이너를 만들어 Master노드와 Worker노드를 연결 해보고자 함- ubuntu이미지 위에서 별도로 spark를 세팅하기 보다는 이미 만들어져 있는 spark이미지를 최대한 활용해보고자 함- 컨테이너 실행은 총 4가지 방법으로 실행해 볼 것임1.bitnami, Apache 이미지로2.Jupyter Notebook에서 Pyspark 실행3.Master & Worker 노드 클러스터 만들기 - docker run 4.Master & Worker 노드 클러스터 만들기 - docker compose- 필자는 M1 맥북을 쓰고 있고, docker desktop Apple Silicon 버전을 깔아놨음~그럼 ..

Writer`s BlockWriter`s Block, Esens형님의 노래 제목이다.Writer`s Block은 작가들이 글감이 떠오르지 않을 때 사용하는 단어라고 한다. 일종의 슬럼프라고 볼 수도 있을 것 같다. 센스 형님도 영 가사가 안써지셨는지, 그런 순간들을 가사로 녹여내셨다.  작년 12월 처음 이 노래를 유튜브 추천으로 들었는데, 한동안 이 노래만 들었다. 나 역시 비슷한 시기를 겪어서 일까.작년 상반기는 정말로, 정말로 정말 정말! 아무것도 하기 싫었다. 재작년 하려던 일들이 대체로 잘 되지 않았고, 특히나 연말에 전 집주인과 전세 보증금 문제로 피로도가 극에 달했었다. (3년 리텐션 휴가를 이 일로 거의 다썼다..😇😇😇) 작년 상반기에는 정말로 기억에 남는 일이 없었다. 그나마 기억에..

들어가며취업을 준비하는 많은 대학생들이 으레 하듯, 나도 "공모전"포스터 앞에 삼삼오오 모여있던 시절이 있었다. 다만, 나는 수상은 한번도 한적이 없었다. 그리고 어떨 때는 함께 했던 사람들과 아쉽게 공모전을 끝낸적도 있었다. 왜 그렇게 끝이 나버린걸까. 수년이 지난 지금에서야 이 생각을 다시 하는 이유는 최근 한 권의 책을 읽었기 때문이다. 하지만, 그 책의 내용에 대해 당장 설명하지는 않을 것이다. 왜냐하면, 책의 말미에 아래와 같은 권고 사항들이 있기 때문이다. 1. 변화하려고 하는 자기 자신에게 집중하기2. 책을 접하지 않은 사람들에게 책에서 설명하는 어려운 용어에 대해 언급하지 않기 그래서, 나름 모범생 코스프레를 해보고자. 책의 내용을 직접 언급하기 보다는 책을 읽으며 들었던 몇 가지 생각..

들어가며데이터 업무하다 보면 마주하는 케이스 (1) A님 갑자기 제 배치가 안돌아요- 아 alpha_omega 테이블 참조하셨죠? 그거 오늘부터 alpha_beta로 적재됩니다~(2) 뭐야 휴지는 없어도 휴지심은 있어야 되는데? (갑작스러운 null 출현) dbt공홈 문서를 보다보면 유독 자주 등장하는 단어가 있다. “software engineering” 한발 더 나아가서data analysts should adapt similar practices and tools to software developoers 이렇게 까지..! 얘기를 한다. 물론, 분석하기도 바쁜 상황이지만.. dbt를 사용하면Version Control - Analytic code는 반드시 버전 관리를 해야 함, 비즈니스 요구 ..

들어가며최근 들어, 팀 내에서도 그리고 글또에서도 새로운 환경에서 ETL 파이프라인을 구축해 볼 기회가 생김에 따라 Airflow를 이전보다는 조금 더 깊게 알아야 할 필요성이 생겼다. 이에 따라, Airflow를 공부하며 관련된 내용들을 정리해보는 중인데, 오늘은 나와 같은 초보자의 관점에서 Airflow를 테스트 환경을 구성하고 DAG을 만들고 실행하는 과정에서 몇 가지 기본적인 개념들을 다루어보고자 한다.DAG란?Airflow is a platform that lets you build and run workflows. A workflow is represented as a DAG (a Directed Acyclic Graph), and contains individual pieces ..

- 최근, 인스타 광고(데이터 분석 광고)를 통해 우연찮게 제가 예전에 썼던 "파이썬으로 퍼널 분석 하는 글"과 유사한 이미지를 발견하였습니다.- 처음에는 반가운 마음이 들었습니다. 어? 나도 비슷한 내용으로 글썼었는데..!https://gibles-deepmind.tistory.com/entry/Pandas-%ED%8D%BC%EB%84%90%EC%B0%A8%ED%8A%B8-%EB%8D%B0%EC%9D%B4%ED%84%B0%ED%94%84%EB%A0%88%EC%9E%84%EC%9C%BC%EB%A1%9C-%ED%91%9C%ED%98%84%ED%95%B4%EB%B3%B4%EA%B8%B0 [Pandas] 퍼널차트 데이터프레임으로 표현해보기0. 퍼널 차트몇 명이나 깔때기를 통과할까?  좌측 퍼널 차트는 얼마나 ..

지난주 주말, 인사이드 아웃2 영화를 봤다. 원작의 경우, 기쁨/화남/슬픔/까칠/소심 5가지의 감정만 있었지만 주인공인 '라일리'가 고등학교 진학을 앞두며 다루는 문제들이 복잡해지고 이에 따라 불안/질투/당황 등의 감정이 추가됐다. 새로 등장한 감정들이 라일리의 문제 해결에 있어어떤 역할을 하는지 관찰하는 것이 인사이드 아웃2의 묘미라고 할 수 있다. 영화 초반 라일리는 친구들과 하키 캠프를 떠난다. 하지만, 친구 2명은 이미 다른 고등학교에 배정을 받은 상황.다른 고등학교에 가게 된 라일리는 친구들을 못 사귈까봐 전전 긍긍하는 상황. 여기서 "불안" 이라는 감정이 등장한다. 딱 봐도 정신 없어 보이는 "불안"은 모든 상황을 통제하고, 예측할 수 없는 상황에 대비하고자 한다."기쁨이"가 라일리의 유년시절..

- 가짜연구소에서 "온라인 통제 실험 연구자로 거듭나기"라는 이름의 A/B테스트 스터디에 참여하고 있다. 현재 까지, 온라인 통제 실험 소개 및 분석 기초 Chapter2 실험의 실행과 분석 - 엔드 투 엔드 예제 Chapter6 조직 운영을 위한 지표 Chapter7 실험을 위한 지표와 종합 평가 기준 (OEC) - 위 주제들로 총 4번의 스터디를 진행하였고, Chapter17 온라인 종합 대조 실험에 사용되는 통계 이론 챕터를 내가 맡게 되어 오늘은 겸사 겸사 책에 대한 내용을 블로그에 적어보려 한다. 흡연은 통계의 필요성을 알려주는 주요 요인 중 하나이다. - 플레처 네벨 - Chapter의 첫 장에 나오는 문장이다. 플레처 네벨씨는 왜 저런 말씀을 남기셨을까? 궁금해서 찾아봤더니, 이분 꽤 유명한..

들어가며 https://sports.khan.co.kr/entertainment/sk_index.html?art_id=202403310920003&sec_id=540401&pt=nv ‘파묘’ 끝나지 않는 1위 영화 ‘파묘’(감독 장재현)가 끝없는 1위 행진을 이어가고 있다. 31일 영화진흥위원회 영화관입장권 통합전산망 집계결과 ‘파묘’는 전날 18만3474명이 관람해 박스오피스 정상을... sports.khan.co.kr - 어제부로 나도 1,000만 파묘 관람객 대열에 합류했다. - 영화 중 가장 인상 깊었던 장면은 김고은 배우님의 대살굿 장면 - 이 분 예전에 진짜 대살굿을 해보신 적이 있나?라는 생각이 들정도로 상당히 자연스러운 연기였다. 당연히, 김고은 배우님은 대살굿은 커녕 그 근처에 ..