bq 도구 사용
이 튜토리얼에서는 BigQuery용 Python 기반 명령줄 인터페이스 (CLI) 도구인 bq
를 사용하여 데이터 세트를 만들고, 샘플 데이터를 로드하고, 테이블을 쿼리하는 방법을 알아봅니다. 이 튜토리얼을 완료하면 bq
에 익숙해지고 CLI를 사용하여 BigQuery를 사용하는 방법을 알게 됩니다.
모든 bq
명령어 및 플래그에 대한 자세한 내용은 bq 명령줄 도구 참조를 확인하세요.
시작하기 전에
-
In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator
(
roles/resourcemanager.projectCreator
), which contains theresourcemanager.projects.create
permission. Learn how to grant roles.
-
Verify that billing is enabled for your Cloud de Confiance project.
BigQuery API가 사용 설정되었는지 확인
새 프로젝트를 만들면 BigQuery API가 자동으로 사용 설정됩니다.
새 브라우저 탭에서 다음 URL을 열어 미국 사회보장국의 데이터를 다운로드합니다.
https://www.ssa.gov/OACT/babynames/names.zip
파일 압축을 풉니다.
데이터 세트 스키마에 대한 자세한 내용은 추출한
NationalReadMe.pdf
파일을 참고하세요.데이터가 어떻게 표시되는지 확인하려면
yob2024.txt
파일을 엽니다. 이 파일에는 이름, 출생 시 성별, 해당 이름을 가진 아이의 수에 대한 쉼표로 구분된 값이 포함되어 있습니다. 파일에는 헤더 행이 없습니다.파일을 작업 디렉터리로 이동합니다.
Cloud Shell에서 작업하는 경우
yob2024.txt
파일을 선택한 후 업로드를 클릭합니다.로컬 셸에서 작업하는 경우
yob2024.txt
파일을 bq 도구가 실행 중인 디렉터리로 복사하거나 이동합니다.
다음 명령어를 입력하여
babynames
라는 이름의 데이터 세트를 만듭니다.bq mk --dataset babynames
출력은 다음과 비슷합니다.
Dataset 'babynames' successfully created.
이제
babynames
데이터 세트가 프로젝트에 표시되는지 확인합니다.bq ls --datasets=true
출력은 다음과 비슷합니다.
datasetId ------------- babynames
babynames
데이터 세트에서 소스 파일yob2024.txt
를names2024
라는 새 테이블에 로드합니다.bq load babynames.names2024 yob2024.txt name:string,assigned_sex_at_birth:string,count:integer
출력은 다음과 비슷합니다.
Upload complete. Waiting on bqjob_r3c045d7cbe5ca6d2_0000018292f0815f_1 ... (1s) Current status: DONE
이제
names2024
테이블이babynames
데이터 세트에 표시되는지 확인합니다.bq ls --format=pretty babynames
출력은 다음과 비슷합니다. 출력이 간소화되도록 일부 열을 생략합니다.
+-----------+-------+ | tableId | Type | +-----------+-------+ | names2024 | TABLE | +-----------+-------+
새
names2024
테이블의 테이블 스키마가name: string
,assigned_sex_at_birth: string
,count: integer
인지 확인합니다.bq show babynames.names2024
출력은 다음과 비슷합니다. 출력이 간소화되도록 일부 열을 생략합니다.
Last modified Schema Total Rows Total Bytes ----------------- ------------------------------- ------------ ------------ 14 Mar 17:16:45 |- name: string 31904 607494 |- assigned_sex_at_birth: string |- count: integer
데이터에서 가장 인기 있는 여자아이 이름을 확인합니다.
bq query \ 'SELECT name, count FROM babynames.names2024 WHERE assigned_sex_at_birth = "F" ORDER BY count DESC LIMIT 5'
출력은 다음과 비슷합니다.
+-----------+-------+ | name | count | +-----------+-------+ | Olivia | 14718 | | Emma | 13485 | | Amelia | 12740 | | Charlotte | 12552 | | Mia | 12113 | +-----------+-------+
데이터에서 가장 인기 없는 남자아이 이름을 확인합니다.
bq query \ 'SELECT name, count FROM babynames.names2024 WHERE assigned_sex_at_birth = "M" ORDER BY count ASC LIMIT 5'
출력은 다음과 비슷합니다.
+---------+-------+ | name | count | +---------+-------+ | Aaran | 5 | | Aadiv | 5 | | Aadarsh | 5 | | Aarash | 5 | | Aadrik | 5 | +---------+-------+
5회 미만 출현한 이름은 소스 데이터에서 생략되어 있으므로 최소 수는 5입니다.
- In the Cloud de Confiance console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
babynames
데이터 세트를 삭제합니다.bq rm --recursive=true babynames
--recursive
플래그는names2024
테이블을 포함한 데이터 세트의 모든 테이블을 삭제합니다.출력은 다음과 비슷합니다.
rm: remove dataset 'myproject:babynames'? (y/N)
삭제 명령어를 확인하려면
y
를 입력합니다.- bq 도구 사용 자세히 알아보기
- BigQuery 샌드박스 알아보기
- BigQuery로 데이터 로드 자세히 알아보기
- BigQuery에서 데이터 쿼리 자세히 알아보기
이 튜토리얼에서 사용하는 Cloud de Confiance 프로젝트에 결제를 사용 설정하지 않으면 BigQuery 샌드박스에서 데이터를 로드하고 쿼리합니다. BigQuery 샌드박스를 사용하면 제한된 BigQuery 기능 세트로 BigQuery를 무료로 학습할 수 있습니다.
소스 데이터가 포함된 파일 다운로드
다운로드하는 파일에는 약 7MB 분량의 인기 있는 아기 이름 데이터가 포함되어 있으며, 이 데이터는 미국 사회보장국에서 제공합니다.
데이터에 대한 자세한 내용은 사회보장국의 인기 있는 이름 배경 정보를 참고하세요.
데이터 세트 만들기
테이블에 데이터 로드
테이블 데이터 쿼리
삭제
이 페이지에서 사용한 리소스 비용이 Cloud de Confiance 계정에 청구되지 않도록 하려면 다음 단계를 수행합니다.
프로젝트 삭제
BigQuery 샌드박스를 사용하여 공개 데이터 세트를 쿼리한 경우에는 프로젝트에 결제가 사용 설정되지 않으므로 프로젝트를 삭제하지 않아도 됩니다.비용이 청구되지 않도록 하는 가장 쉬운 방법은 튜토리얼에서 만든 프로젝트를 삭제하는 것입니다.
프로젝트를 삭제하는 방법은 다음과 같습니다.
리소스 삭제
기존 프로젝트를 사용한 경우 생성된 리소스를 삭제합니다.