오늘의 지식 - [샤딩, Parquet, 하둡 맵리듀스, 스타스키마]

 

다른 링크들을 참조하여 그날 그날 지식들을 간단하게 한~두 줄 정도로만 정리합니다. 

샤딩

| 출처 : http://wiki.hash.kr/index.php/%EC%83%A4%EB%94%A9

데이터베이스 / 네트워크 시스템을 여러 개의 작은 조각으로 나누어 분산 저장 "조각내다"라는 의미만 기억하고 있어도 커뮤니케이션에 도움이 될 것 같다.

 

구글 Data Catalog

| 출처 : cloud.google.com/data-catalog/docs/how-to/search?hl=ko

빅쿼리 데이터 테이블 검색기능이 있더라. 내일 회사가서 해봐야지... 

 

Parquet 자료형

| 출처 : engineering.vcnc.co.kr/2018/05/parquet-and-spark/

마룻바닥이라는 표현이 인상깊다. 나무조각들이 줄지어서 붙어있는 형상을 상상해보자. 
용량이 줄어드는 이유는? "컬럼 기반 포맷", 배열이 행 단위가 아니라 컬럼 단위로 이루어져있다.

 

하둡 맵리듀스

| 출처 : 12bme.tistory.com/154

Map : 키와 밸류로 매핑하는 과정과
Shuffle & list : 키와 값이 정렬된 상태로 섞이는 과정
Reduce : 걔네들을 한로 합쳐주는 작업

 

스타 스키마

| 출처 : dbrang.tistory.com/1381

DB 스키마의 일종 각 키 값이 모여있는 Fact table이 있고 주변에 차원테이블이 존재
매우 간단한 디비 설계