[Pandas] 이것만은 알고가자 - 0.파일 불러오기
딥상어동의 딥한 데이터 처리/전처리2021. 6. 5. 00:54[Pandas] 이것만은 알고가자 - 0.파일 불러오기

1. 예시 import pandas as pd data = pd.read_csv("C:/Users/blarblar/aug_train.csv") #read_csv #pd.read_csv 2. CSV. 파일에 대한 이해 Comma Seperated Values 이름, 직업, 나이 철수, 개발자, 30 미희, 분석가, 29 ,로 값을 구분한다. 이것이 CSV파일에 대한 정의이다. 위이미지에서 .jpg를 extension이라고 한다. csv 파일은 구글 스프레드 시트 형태를 보이지만, 파일 이름 끝에 .csv가 붙는다. 즉, csv라는 확장자를 가진다는 의미이다. 3. 왜 사용하는가? txt와 같은 확장자를 plain-text라고 한다. 여기에는 글자 크기 등 다른 옵션은 없고 말 그대로 "텍스트"만 있다고 생..

SSH(Secure Shell Protocol) 개념 도식화
일일아이티 일일데분2021. 6. 2. 22:48SSH(Secure Shell Protocol) 개념 도식화

도식화 그림 목적 컴퓨터가 공용 네트워크를 통해 통신할 때, 안전성을 담보하기 위함 기본개념 - 클라이언트 컴퓨터에 Public Key와 Private Key 한 쌍이 존재 - Public Key 복사 가능 - 외부로 복사 - Public Key를 기준으로 클라이언트 단의 Private Key와 일치하는지 확인 = 인증 과정 - 인증이 되면 통신

시계열 | 이동 평균(Moving Average) 기초
딥상어동의 딥한 데이터 처리/전처리2021. 5. 2. 23:16시계열 | 이동 평균(Moving Average) 기초

왜 사용하는가? 왜냐하면, 장기적인 트렌드를 보기 위해서이다. 위 그림을 한번 살펴보자. 파란색 라인에 비해 주황색 라인이 좀 더 완만하지 않은가? 하지만, 두 라인을 그린 데이터 원본은 동일하다. 파란색 -> 주황색과 같이 라인을 완만하게 만드는 작업을 Smoothing이라고 한다. 그리고, 그 Smoothing을 하는 방법 중 하나가 이동 평균선이다. (Moving Average) 왜 완만하게(Smoothing) 만드는가? 가장 기본적인 사고의 발상은 날 것 그대로의 데이터에 Noise가 끼어있을 수 있다는 것이다. 예를 들어, 철수가 다음과 같이 물건을 팔았다고 생각해보자. 05/01 100개 05/02 1000개 05/03 200개 5월 2일, 철수한테는 무슨 일이 있었을까? 큰 손이라도 나타난 ..

스파크의 실행 계획
딥상어동의 딥한 프로그래밍/Spark2021. 4. 21. 00:56스파크의 실행 계획

www.yes24.com/Product/Goods/67116641 스파크 완벽 가이드 스파크 창시자가 알려주는 스파크 활용과 배포, 유지 보수의 모든 것 오픈소스 클러스터 컴퓨팅 프레임워크인 스파크의 창시자가 쓴 스파크에 대한 종합 안내서이다. 스파크 사용법부터 배포, www.yes24.com 스파크 완벽 가이드를 참조하여 작성하였습니다. 트랜스포메이션 - 스파크의 데이터 구조는 "불변성"을 가짐 - 즉, 한번 생성하면 변경 불가 - 따라서, 변경을 하기 위해서는 변경하는 방법을 스파크에 알려주어야 함 - 여기서 중요한 포인트 알려주는 행동과 / 실제 행동은 별개이다. - 즉, 알려주기만 한다면 "변경 방법만 알고 있는채로" 액션은 하지 않고 대기를 하고 있게 된다. 액션 - 트랜스포메이션은 곧 "논리적..

분석 논리|전략2021. 4. 15. 21:40분석이란 무엇인가? - 신입 분석가의 고찰

blog.naver.com/tjdrud1323/222311356255 분석이란 무엇인가? - 신입 분석가의 고찰 11번째 월급날이 얼마 남지 않았다. 11개월 동안 짧은 시간이었지만, 회사를 다니며 많은 것들을 배울 수 ... blog.naver.com 11개월 간 분석가로서 일을 하며, 분석에 대하여 개인적으로 느꼈던 생각들을 네이버 블로그에 정리했습니다.

[MSSQL] while (1) 기본 사용법 - declare, set, while, begin, end, print
딥상어동의 딥한 SQL/LV2.중급쿼리2021. 3. 29. 03:14[MSSQL] while (1) 기본 사용법 - declare, set, while, begin, end, print

MSSQL 에는 파이썬/R에서 사용되는 for 문법 대신 while 문법을 사용합니다. 오늘은 while 문법을 응용하기전에 기본적인 사용법에 대해서 다루어 보려고 합니다. 목차 1. 구성 요소 2. 예제1 - 숫자 업데이트 3. 예제2 - 숫자와 문자를 결합하여 업데이트 4. 예제3 - 날짜 변수 업데이트 4-1. select 구문을 이용한 변수 할당 1. 구성 요소 while문을 사용하기 위해서는 다음과 같은 재료들이 필요합니다. declare : 변수 선언 set : 선언한 변수에 값 할당 while : 종료 조건 지정 begin : 실행 구문 입력 print : 결과 출력 end : 실행 구문 종료 2. 예제1 - 숫자 업데이트 declare @i as int; set @i = 1; while @i

[MSSQL] With (Nolock)을 사용하는 이유
딥상어동의 딥한 SQL/LV2.중급쿼리2021. 3. 27. 19:54[MSSQL] With (Nolock)을 사용하는 이유

데이터베이스의 데이터프레임을 "테이블"이라고 합니다. 테이블의 데이터를 업데이트 하는 경우, 기본적으로 해당 테이블은 잠겨있게 됩니다. 이러한 상태를 Lock이라고 하는데요. Lock이 걸리는 이유는 MSSQL의 기본 격리수준이 Read Committed 이기 때문입니다. 즉, 완전히 commit이 된 데이터만 읽으라는 뜻입니다. 따라서, lock이 걸려있는 동안 테이블 조회(select)를 진행하게 되면, select 작업이 후순위로 밀리고 db의 성능이 떨어질 수 있습니다. 특히, "데드락(dead lock)"이라고해서 아예 lock이 풀려버릴 수도 있습니다. 데드락은 락이 풀리는것이 아니라 교착상태로 서로의 락이 풀리길 무한정 기다리면서, 오히려 락이 계속 풀리지 못하는 상태입니다. (흠님 댓글 감..

[오늘의 지식] 허영 지표
일일아이티 일일데분2021. 3. 24. 20:55[오늘의 지식] 허영 지표

다른 링크들을 참조하여 그날 그날 지식들을 간단하게 한~두 줄 정도로만 정리합니다. 허무 지표 | 출처 : http://wiki.hash.kr/index.php/%EC%83%A4%EB%94%A9www.tableau.com/ko-kr/learn/articles/vanity-metrics 성과에 대한 판단을 과장시킬 수 있는 "허무 지표". 예를 들어, 네이버 블로그 이웃 수가 1,000명 인걸 보고 와! 하고 놀랠 수도 있지만, 어떤 과정을 통해 1,000명을 얻었는지는 모른다. 매크로를 돌렸을지도, 혹은 이웃 수는 1,000명 이지만 일 평균 블로그 방문자 수는 그에 미치지 못할 수도 있다.

딥상어동의 딥한 SQL/LV2.중급쿼리2021. 3. 23. 22:47MSSQL | 윈도우 함수 사용시 주의 사항

distinct를 사용할 경우 반드시, 윈도우 함수 적용전에 사용해야 한다. 윈도우 함수는 distinct 처리가 되지 않는다. 조만간, 사례를 첨부하여 다시 자세하게 적을 예정.

[책 속 한마디] 여덟 단어
나라는 존재/책2021. 3. 22. 20:43[책 속 한마디] 여덟 단어

www.yes24.com/Product/Goods/8840624?OzSrank=8 여덟 단어 『책은 도끼다』의 저자 박웅현이 던지는 삶을 위한 여덟 가지 질문 & 인문학적인 삶의 태도『책은 도끼다』 의 저자이자 대한민국을 대표하는 광고인 박웅현이 인생을 살아가면서 한 번쯤 생 www.yes24.com 책 속에 정말 좋은 말 들이 많아, 기록을 남기고자 합니다. 자존 "당신 안의 별을 찾으셨나요?" 첫 번째 단어는 "자존"이다. 우리는 항상 "내 안에 무엇을 채워넣어야 할까"를 고민한다. 하지만, 책에서는 "네 안에 있는 것은 무엇인가"를 얘기한다. 자신의 길을 무시하지 않는 것 그 자체가 "자존"이라고 할 수 있다. 다른 사람이 되려고 하지 말고 너 자신이 되라 남의 답이 아니라, 나의 답을 찾는 사람 ..

image