[Bigquery] 지난 며칠 간 Python과 연동하여 사용한 소감

지난 며칠 간 빅쿼리를 파이썬과 연동해서 사용하였다.

pip install google-cloud-bigquery

 

파이썬과 연동해서 사용하기 위해서는 Client 객체를 사용해야 한다. 공식 Documnet에서 Client 인스턴스에서 사용할 수 있는 method 목록을 확인할 수 있다.

https://cloud.google.com/python/docs/reference/bigquery/latest/google.cloud.bigquery.client.Client#google_cloud_bigquery_client_Client_query

Class Client (3.4.0)  |  Python client library  |  Google Cloud

 

 

Client 객체 생성은 아래와 같이 진행할 수 있다.

from google.cloud import bigquery
from google.oauth2 import service_account

json_path = 'key.json'

credentials = service_account.Credentials.from_service_account_file(
    json_path
)
return bigquery.Client(
    credentials=credentials, project=credentials.project_id
)

 

몇 가지 참고 사항이 있다.

google.oauth2와 google.cloud는 별도로 설치 하지 않아도 된다. google-cloud-bigquery와 dependency관계라서 자동으로 같이 설치 된다.

json_path는 서비스 계정을 json으로 다운 받은 것을 의미한다. 

credentials내에 있는 project_id를 참조할 수 있다. 그러면, 추후 빅쿼리 이용시 프로젝트명을 명시하지 않아도 된다.

 

https://cloud.google.com/bigquery/docs/reference/standard-sql/dml-syntax#where_keyword

Google 표준 SQL의 데이터 조작 언어(DML) 문  |  BigQuery  |  Google Cloud

 

query메서드를 사용하면 QueryJob Class를 결과로 반환한다. 

https://cloud.google.com/python/docs/reference/bigquery/latest/google.cloud.bigquery.job.QueryJob#google_cloud_bigquery_job_QueryJob_query

Class QueryJob (3.4.0)  |  Python client library  |  Google Cloud

 

Query Job Class내 메서드들을 이용하여 다양한 아웃풋들을 확인할 수 있다.

 

쿼리는 익숙하고, 재미 삼아 python으로 연동하는 상황에서는 client클래스의 다른 method들을 사용하기 보다는 위와 같은 query 메서드를 이용하는게 편리할 것 같다.