데이터 세트 통계 생성

이 문서에서는 BigQuery 데이터 세트의 데이터 세트 통계를 생성하는 방법을 설명합니다. 데이터 세트 통계는 관계 그래프와 테이블 간 쿼리를 생성하여 데이터 세트의 테이블 간 관계를 파악하는 데 도움이 됩니다.

데이터 세트 통계를 사용하면 그래프에서 테이블 간의 관계를 자동으로 검색하고 시각화하고, 기본 키와 외래 키 관계를 식별하고, 샘플 교차 테이블 쿼리를 생성하여 테이블이 여러 개인 데이터 세트의 탐색을 가속화할 수 있습니다. 이는 문서 없이 데이터 구조를 이해하고, 스키마 정의, 사용량 기반 또는 AI 추론 테이블 간 관계를 파악하고, 여러 테이블을 조인하는 복잡한 쿼리를 생성하는 데 유용합니다.

표 및 데이터 세트 통계 개요는 데이터 통계 개요를 참고하세요.

데이터 세트 통계 생성 모드

데이터 세트 통계를 생성할 때 BigQuery는 두 가지 모드를 제공합니다.

모드 설명 사용
생성 및 게시

생성된 데이터 세트 통계를 메타데이터 측면 및 관계로 Knowledge Catalog에 유지합니다. 게시하려면 필요한 권한이 있어야 합니다. 생성 및 게시를 사용하면 BigQuery에서 다음 작업을 실행합니다.

  • Knowledge Catalog에 데이터 세트 설명을 저장합니다.
  • 추천 질문과 질문을 재사용 가능한 측면으로 캡처합니다.
  • Knowledge Catalog에서 관계를 메타데이터로 캡처합니다.
  • 게시된 통계를 적절한 Knowledge Catalog 액세스 권한이 있는 모든 사용자가 액세스할 수 있도록 하여 공유 조직 지식을 보장합니다.
  • API를 사용하여 Knowledge Catalog에서 설명을 직접 수정하고 저장할 수 있습니다. Cloud de Confiance 콘솔을 사용하여 추천 쿼리를 수정할 수 있습니다.

이 모드는 지속되고 재사용 가능한 전사적 데이터 문서를 작성하거나 카탈로그 기반 거버넌스 워크플로를 빌드할 때 사용합니다.
게시하지 않고 생성

설명, 자연어 질문, 관계, SQL 쿼리와 같은 데이터 세트 인사이트를 요청 시 생성합니다. 게시하지 않고 생성은 Knowledge Catalog에 통계를 게시하지 않습니다.

카탈로그가 어수선해지지 않도록 임시로 빠르게 탐색하려면 이 모드를 사용하세요.

시작하기 전에

데이터 인사이트는 BigQuery의 Gemini를 사용하여 생성됩니다. 통계 생성을 시작하려면 먼저 BigQuery의 Gemini를 설정해야 합니다.

API 사용 설정

데이터 인사이트를 사용하려면 프로젝트에서 Dataplex API, BigQuery API, Gemini for Google Cloud API를 사용 설정합니다.

API 사용 설정에 필요한 역할

API를 사용 설정하려면 serviceusage.services.enable 권한이 포함된 서비스 사용량 관리자 IAM 역할(roles/serviceusage.serviceUsageAdmin)이 필요합니다. 역할 부여 방법 알아보기

API 사용 설정

Gemini for Google Cloud API 사용 설정에 대한 상세 설명은 Cloud de Confiance 프로젝트에서 Gemini for Google Cloud API 사용 설정을 참고하세요.

데이터 프로필 스캔 완료

통계의 품질을 개선하려면 데이터 세트의 테이블에 대해 데이터 프로필 스캔을 생성하세요.

필요한 역할

데이터 세트 통계를 생성, 관리, 검색하는 데 필요한 권한을 얻으려면 관리자에게 다음 IAM 역할을 부여해 달라고 요청하세요.

  • 통계를 생성, 관리, 검색하려면 다음 권한이 필요합니다.
    • 프로젝트에 대한 Dataplex DataScan 편집자 (roles/dataplex.dataScanEditor) 또는 Dataplex DataScan 관리자 (roles/dataplex.dataScanAdmin)
    • 테이블에 대한 BigQuery 데이터 편집자 (roles/bigquery.dataEditor)
    • 프로젝트에 대한 BigQuery 사용자 (roles/bigquery.user) 또는 BigQuery Studio 사용자 (roles/bigquery.studioUser)
    • 프로젝트에 대한 BigQuery 리소스 뷰어 (roles/bigquery.resourceViewer)
  • 인사이트를 보려면 다음 단계를 따르세요.
  • 지식 카탈로그에 통계를 게시하려면 항목 그룹에 대한 Dataplex 항목 및 EntryLink 소유자 (roles/dataplex.entryOwner)가 필요합니다.

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

필수 권한 섹션을 펼치면 인사이트를 생성하는 데 필요한 권한을 정확하게 확인할 수 있습니다.

필수 권한

  • bigquery.datasets.get: 데이터 세트 메타데이터 읽기
  • bigquery.jobs.create: 채용 정보 만들기
  • bigquery.jobs.listAll: 프로젝트의 모든 작업을 나열합니다.
  • bigquery.tables.get: 테이블 메타데이터 가져오기
  • bigquery.tables.getData: 테이블 데이터 및 메타데이터 가져오기
  • dataplex.datascans.create: DataScan 리소스 생성
  • dataplex.datascans.get: DataScan 리소스 메타데이터 읽기
  • dataplex.datascans.getData: DataScan 실행 결과 읽기
  • dataplex.datascans.run: 주문형 DataScan 실행
  • dataplex.entryGroups.useSchemaJoinEntryLink: schema-join 항목 링크 사용
  • dataplex.entryGroups.useSchemaJoinAspect: 스키마 조인 관점 사용
  • dataplex.entryLinks.create: 항목 링크 만들기
  • dataplex.entryLinks.update: 항목 링크 업데이트
  • dataplex.entryLinks.delete: 항목 링크 삭제
  • dataplex.entries.link: 링크 항목
  • dataplex.entries.update: 항목 업데이트
  • dataplex.entryGroups.useDescriptionsAspect: 설명 측면 사용
  • dataplex.entryGroups.useQueriesAspect: 쿼리 측면 사용

데이터 세트 통계 생성

콘솔

  1. Cloud de Confiance 콘솔에서 BigQuery Studio로 이동합니다.

    BigQuery Studio로 이동

  2. 탐색기 창에서 통계를 생성할 프로젝트와 데이터 세트를 선택합니다.

  3. 통계 탭을 클릭합니다.

  4. 통계를 생성하고 Knowledge Catalog에 게시하려면 생성 및 게시를 클릭합니다.

    Knowledge Catalog에 게시하지 않고 통계를 생성하려면 게시하지 않고 생성을 클릭합니다.

    생성 및 게시 모드와 게시 없이 생성 모드의 차이점에 관한 자세한 내용은 데이터 세트 통계 생성 모드를 참고하세요.

  5. 데이터 세트가 멀티 리전에 있는 경우 인사이트를 생성할 리전을 선택하라는 메시지가 표시될 수 있습니다. 인사이트 스캔이 생성될 멀티 리전에 해당하는 리전을 선택하세요.

    통계가 채워지는 데 몇 분 정도 걸립니다. 데이터 세트의 테이블에 데이터 프로파일링 결과가 있으면 인사이트의 품질이 향상됩니다.

인사이트가 생성되면 BigQuery에 데이터 세트 설명, 관계 그래프, 관계 테이블, 샘플 교차 테이블 쿼리가 표시됩니다.

REST

프로그래매틱 방식으로 통계를 생성하려면 Knowledge Catalog DataScans API를 사용하세요. 이렇게 하려면 다음 단계를 수행합니다.

  1. BigQuery 데이터 세트의 데이터 문서화 데이터 스캔 생성
  2. 데이터 문서 스캔 상태 확인하기
  3. Knowledge Catalog에 게시 확인

BigQuery 데이터 세트의 데이터 문서화 데이터 스캔 생성

  1. dataScans.create 메서드를 사용하여 데이터 문서 데이터 스캔을 만듭니다. 원하는 경우 catalog_publishing_enabled 매개변수를 true로 설정하여 이러한 통계를 Knowledge Catalog에 게시할 수 있습니다.

    예를 들면 다음과 같습니다.

    alias gcurl='curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json"'
gcurl -X POST \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/\
dataScans?dataScanId=DATASCAN_ID \
-d '{
  "data": {
    "resource": "//bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID"
  },
  "executionSpec": {
    "trigger": { "onDemand": {} }
  },
  "type": "DATA_DOCUMENTATION",
  "dataDocumentationSpec": {
    "catalog_publishing_enabled": true
  }
}'

    다음을 바꿉니다.

    • PROJECT_ID: 데이터 세트가 있는 Cloud de Confiance by S3NS 프로젝트의 ID
    • LOCATION: 데이터 스캔이 실행되는 리전
    • DATASCAN_ID: 이 스캔에 제공하는 고유한 이름
    • DATASET_ID: 스캔 중인 BigQuery 데이터 세트의 ID

  2. dataScans.run 메서드를 사용하여 데이터 문서화 스캔 작업을 시작합니다.

    예를 들면 다음과 같습니다.

    gcurl -X POST \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/\
dataScans/DATASCAN_ID:run

    이 요청은 초기 상태와 함께 고유한 작업 ID를 반환합니다.

데이터 문서 스캔 상태 확인

dataScans.get 메서드를 사용하여 스캔 작업 실행이 완료되었는지 확인합니다. 통계 및 게시 상태를 포함한 전체 결과를 검색하려면 view 매개변수를 FULL로 설정합니다.

작업 ID를 사용하여 작업 상태를 가져옵니다. 예를 들면 다음과 같습니다.

gcurl -X GET https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataScans/DATASCAN_ID/jobs/JOB_ID?view=FULL

상태가 SUCCEEDED 또는 FAILURE이면 작업이 완료된 것입니다.

작업 응답에 성공하면 생성된 통계가 dataDocumentationResult 필드에 포함됩니다.

Knowledge Catalog에 게시 확인

catalog_publishing_enabled이 true로 설정된 경우 데이터 스캔 작업이 완료된 후 통계가 Knowledge Catalog에 비동기식으로 게시됩니다. 통계가 유지되었는지 확인하려면 Dataplex API를 사용하여 데이터 세트의 측면을 검사합니다.

인사이트는 데이터 세트 수준 데이터 스캔에서 생성되지만 결과 항목 링크는 연결된 테이블 사이에 저장됩니다. 이러한 관계를 확인하려면 lookupEntryLinks 메서드를 사용하여 특정 테이블 항목과 연결된 항목 링크를 가져옵니다.

BigQuery 데이터 세트의 메타데이터를 가져오려면 entries.get 메서드를 사용합니다. 모든 측면을 포함하려면 view 매개변수를 FULL로 설정합니다. 예를 들면 다음과 같습니다.

gcurl -X GET https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@bigquery/entries/bigquery.googleapis.com/projects/DATASET_PROJECT_ID/datasets/DATASET_ID?view=FULL

다음을 바꿉니다.

  • PROJECT_ID: DataScan이 구성된 Cloud de Confiance by S3NS프로젝트의 ID
  • LOCATION: 항목 그룹이 있는 리전
  • DATASET_PROJECT_ID: BigQuery 데이터 세트가 있는 Cloud de Confiance by S3NS프로젝트의 ID입니다.
  • DATASET: BigQuery 데이터 세트의 ID

Knowledge Catalog에 게시가 성공하면 다음 측면이 BigQuery 데이터 세트에 연결됩니다.

  • 설명: 데이터 세트에 대한 AI 생성 설명이 포함되어 있습니다.
  • 쿼리: 데이터 세트와 관련된 SQL 쿼리가 포함됩니다.
  • 관계: 데이터 세트에 있는 테이블 간 항목 링크로 유지됩니다.

데이터 세트 설명 보기 및 저장

Gemini는 데이터 세트에 대한 자연어 설명을 생성하여 포함된 테이블의 유형과 나타내는 비즈니스 도메인을 요약합니다. 이 설명을 데이터 세트의 메타데이터에 저장하려면 세부정보에 저장을 클릭합니다.

세부정보를 저장하기 전에 설명을 수정할 수 있습니다.

관계 그래프 탐색

관계 그래프는 데이터 세트의 테이블이 서로 어떻게 관련되어 있는지 시각적으로 보여줍니다. 가장 많이 연결된 상위 10개 테이블이 노드로 표시되고 테이블 간의 관계는 선으로 표시됩니다.

  • 두 테이블을 조인하는 열과 같은 관계 세부정보를 보려면 테이블 노드를 연결하는 가장자리 위로 마우스를 가져갑니다.
  • 그래프를 재정렬하여 더 잘 보이게 하려면 표 노드를 드래그합니다.

관계 테이블 사용

관계 테이블에는 검색된 관계가 표 형식으로 나열됩니다. 각 행은 두 테이블 간의 관계를 나타내며 소스 테이블과 열, 대상 테이블과 열을 보여줍니다. 소스 열은 관계가 결정된 방식을 나타냅니다.

  • LLM 추론 데이터 세트 전반의 표, 열 이름, 설명을 기반으로 Gemini가 추론한 관계입니다.
  • 사용량 기준 자주 조인되는 항목을 기반으로 쿼리 로그에서 추출된 관계입니다.
  • 스키마 정의 테이블 스키마의 기존 기본 키 및 외래 키 매핑에서 파생된 관계입니다.

특정 테이블의 관계를 필터링하거나 감지된 관계의 품질에 관한 의견을 제공할 수 있습니다. 생성된 데이터 세트 설명과 관계를 JSON 파일로 내보내려면 JSON으로 내보내기를 클릭합니다.

쿼리 추천 사용

Gemini는 발견된 관계를 기반으로 샘플 쿼리를 생성합니다. 데이터 세트의 여러 테이블을 조인하는 SQL 쿼리가 포함된 자연어 질문입니다.

  1. SQL 쿼리를 보려면 질문을 클릭합니다.

  2. BigQuery 쿼리 편집기에서 쿼리를 열려면 쿼리로 복사를 클릭합니다. 그런 다음 쿼리를 실행하거나 수정할 수 있습니다.

  3. 후속 질문을 하려면 후속 질문하기를 클릭합니다. 그러면 제목이 없는 데이터 캔버스가 열리며, 여기에서 Gemini와 채팅하여 데이터를 살펴볼 수 있습니다.

생성된 통계 관리

데이터 세트에 대한 인사이트를 생성한 후에는 Knowledge Catalog에서 인사이트를 관리, 업데이트 또는 삭제할 수 있습니다. 자세한 내용은 데이터 세트 통계 관리를 참고하세요.

다음 단계