셀 넓이 설정 from IPython.core.display import display, HTML display(HTML("")) 본인의 해상도에 맞게 width를 임의적으로 조절해주면 된다. 다크 모드 설정 pip3 install jupyterthemes jupyterthems를 우선 설정해준다. jt -l #jupyter name 리스트 확인 설치 후 위와 같이 명령어를 입력하면 아래와 같이 테마 이름을 확인할 수 있다. 여기서 chesterish를 jt -t chesterish 위와 같이 입력해주면 다크모드를 적용할 수 있다. 하지만! 따로 색상 보정을 하게 되면 기존에 튜닝했던 레이아웃들이 깨질 수 있다. 예를 들어, 나의 경우 Jupyter extention을 쓰고 있었는데, 확장 아이콘들이 모..

https://github.blog/2020-12-15-token-authentication-requirements-for-git-operations/ Token authentication requirements for Git operations | The GitHub Blog Beginning August 13th, 2021, we will no longer accept account passwords when authenticating Git operations on GitHub.com. github.blog 8/13일 부로 git 인증 방식이 "토큰 인증"으로 바뀌면서 push/pull 등의 작업을 위해 추가 인증이 필요하게 되었습니다. 아래는 토큰 발급 및 키체인 비밀번호 변경 방법입니다(Mac기..

TypeError : Invalid argument, not a string or column PySpark에서 Python 내장 함수를 사용하던 도중 위와 같은 에러를 겪었다. 원인은 spark.sql 내장 함수로 덮어씌어졌기 때문! 스파크의 내장 함수는 str이나 column형태의 자료형을 파라미터로 받는다. import builtins abs = getattr(builtins, "abs") 이럴때는 위와 같이 python의 원래 내장 함수를 다시 선언해주면 된다!

class Solution(object): def reverse(self, x): if x = (-2)**31 and x_int >> 4321 print(inst1.reverse(-123)) >>> -321 정수를 받아 Reverse 역으로 변환시키는 문제, 자료의 출력 범위를 맞춰줘야 한다. integer type을 str로 변환시키는 꼼수 discussion을 참조했다.

https://www.youtube.com/watch?v=Vi0hauJemxA 본 영상을 참고 했습니다. ------------------------------------------------------------------- 0. 비잔틴 장군의 문제 넷플릭스의 익스플레인 - 세계를 해설하다 시즌1을 보면 "암호화폐"에 대한 얘기가 나온다. 그 영상에서는 암호화폐의 순기능에 대해 "비잔틴 제국의 장군들이 한 성을 포위"한 상황에 빗대어 설명한다. 만약, A/B/C 세 명의 장군이 협동하여 성을 포위했다고 가정하자. 이때, A가 갑자기 배신을 한다면? B와 C는 난감할 것이다. 그런데, 암호화폐의 장부 기능은 이러한 상황을 방지한다. 어떻게? 장부의 "전투 계획"이 모든 장군들에게 공유 되었기 때문이다. ..

0. 기본 소개 - 데이터베이스에 널리 사용되는 트리 형태의 자료 구조 - 하나의 노드가 가질 수 있는 자식 노드의 최대 숫자가 2보다 큼(이진트리 = 최대2) - 예를 들어, n개의 키를 가지고 있다면 자식 노드는 n + 1개가 될 수 있음 1. B-tree가 이진 트리 대비 가지는 이점 - 노드의 가지수가 더 많고 - 트리의 높이가 더 낮음 - 그래서 접근 비용이 낮아지고 - 이에 따라, 디스크에 자료가 저장되어 있는 상황에서 사용 2. Ref https://techdifferences.com/difference-between-b-tree-and-binary-tree.html

www.yes24.com/Product/Goods/67116641 스파크 완벽 가이드 스파크 창시자가 알려주는 스파크 활용과 배포, 유지 보수의 모든 것 오픈소스 클러스터 컴퓨팅 프레임워크인 스파크의 창시자가 쓴 스파크에 대한 종합 안내서이다. 스파크 사용법부터 배포, www.yes24.com 스파크 완벽 가이드를 참조하여 작성하였습니다. 트랜스포메이션 - 스파크의 데이터 구조는 "불변성"을 가짐 - 즉, 한번 생성하면 변경 불가 - 따라서, 변경을 하기 위해서는 변경하는 방법을 스파크에 알려주어야 함 - 여기서 중요한 포인트 알려주는 행동과 / 실제 행동은 별개이다. - 즉, 알려주기만 한다면 "변경 방법만 알고 있는채로" 액션은 하지 않고 대기를 하고 있게 된다. 액션 - 트랜스포메이션은 곧 "논리적..

초록 1. pivot 2. unpivot pivot val pv_dataframe = df_dataframe .groupBy("col0") .pivot("col1") .agg(countDistinct("col2").as("colname")) groupBy와 pivot에 컬럼을 여러개 넣을 수 있다. agg에도 마찬가지 unpivot val unpv_dataframe = df_dataframe .selectExpr("group", "stack(2, 'col1', col1, 'col2', col2)") 여기서 중요한 것은 stack에 "1. 들어갈 열의 숫자를 정한다"와 col1과 col2 stack시길 열을 'col1', col1 이렇게 각각 두번씩 적어줘야 한다는 것이다. 이외에 where로 조건을 붙이..