BigQuery 모니터링 소개
BigQuery 모니터링을 사용하면 워크로드 전반에서 리소스 사용량, 작업 실행, 운영 상태를 추적하여 병목 현상을 식별하고 안정성을 유지할 수 있습니다.
모니터링과 로깅은 클라우드에서 안정적인 애플리케이션을 실행하는 데 있어 매우 중요합니다. 특히 워크로드에 워크로드가 많거나 작업에 중요하다면 BigQuery 워크로드 또한 마찬가지입니다.
모니터링 소스는 샘플링 빈도와 집계 수준에 따라 다릅니다. 예를 들어 정보 스키마 뷰는 Cloud Monitoring 측정항목보다 높은 세분화 수준을 제공하는 경우가 많습니다. 따라서 집계로 차이가 완화될 때까지 측정항목 차트가 정보 스키마 데이터와 일시적으로 다를 수 있습니다. 모니터링 전략을 설계할 때는 요구사항에 따라 지연 시간, 정밀도, 정확성을 평가합니다.
측정항목
측정항목은 일정한 간격으로 수집되어 분석에 사용할 수 있는 숫자 값입니다. 측정항목을 사용하여 다음을 수행할 수 있습니다.
- 차트 및 대시보드를 만듭니다.
- 사람이 개입해야 하는 조건 또는 상황에 대한 알림을 트리거합니다.
- 이전 실적을 분석합니다.
BigQuery의 경우 사용 가능한 측정항목으로 실행 중인 작업 수, 쿼리 중 스캔한 바이트 수, 쿼리 시간 분포가 있습니다. 쿼리의 측정항목은 쿼리가 성공한 후에만 사용할 수 있으며, 보고되는 데 최대 7분이 소요될 수 있습니다. 실패한 쿼리에 대한 측정항목은 보고되지 않습니다. 샘플링 레이트, 공개 상태, 제한사항을 포함하여 사용 가능한 측정항목의 전체 목록은 Cloud de Confiance 측정항목 아래의 bigquery를 참고하세요.
Cloud Monitoring을 사용하여 BigQuery 측정항목을 보고 차트와 알림을 만들 수 있습니다. 각 측정항목에는 bigquery_dataset, bigquery_project 또는 global와 같은 리소스 유형과 라벨 집합이 포함됩니다. 라벨을 사용하여 각 측정항목을 그룹화하거나 필터링할 수 있습니다.
예를 들어 진행 중인 대화형 쿼리 수를 차트로 표시하려면 priority가 interactive와 같은 경우를 필터링하는 다음 PromQL 문을 사용합니다.
{"bigquery.googleapis.com/query/count", monitored_resource="global", priority="interactive"}
다음 예시에서는 10분 간격으로 그룹화된 실행 중인 로드 작업 수를 가져옵니다.
avg_over_time({"bigquery.googleapis.com/job/num_in_flight",
monitored_resource="bigquery_project",
job_type="load"
}[10m])
자세한 내용은 BigQuery의 차트 및 알림 만들기를 참조하세요.
로그
로그는 특정 이벤트 또는 작업에 대한 응답으로 생성된 텍스트 레코드입니다. BigQuery는 테이블 만들기 또는 삭제, 슬롯 구매, 로드 작업 실행과 같은 작업 로그 항목을 만듭니다. Cloud de Confiance로깅에 대한 자세한 내용은 Cloud Logging을 참조하세요.
로그는 로그 항목의 추가 전용 컬렉션입니다. 예를 들어 projects/PROJECT_ID/logs/my-test-log라는 로그에 자체 로그 항목을 작성할 수 있습니다. BigQuery를 비롯한 여러Cloud de Confiance 서비스에서 감사 로그라는 로그 유형을 만듭니다. 이러한 로그는 다음을 기록합니다.
- 리소스 생성 또는 수정과 같은 관리 활동
- 데이터 액세스(예: 리소스에서 사용자가 제공한 데이터 읽기)
- 사용자 작업이 아니라 Google 시스템에서 생성하는 시스템 이벤트입니다.
감사 로그는 구조화된 JSON 형식으로 작성됩니다.Cloud de Confiance 로그 항목의 기본 데이터 유형은 LogEntry 구조입니다. 이 구조에는 로그 이름, 로그 항목을 생성한 리소스, 타임스탬프(UTC), 기타 기본 정보가 포함됩니다.
로깅된 이벤트의 세부정보는 페이로드 필드라는 하위 필드에 포함됩니다. 감사 로그의 경우 페이로드 필드 이름은 protoPayload입니다. 이 필드의 값은 AuditLog 구조이며, protoPayload.@type 필드가 설정되어 있고 type.googleapis.com/google.cloud.audit.AuditLog를 엽니다.
데이터 세트, 테이블, 작업에 대한 작업의 경우 BigQuery는 두 가지 형식으로 감사 로그를 쓰는데 두 형식 모두 AuditLog 기본 유형을 공유합니다.
이전 형식:
resource.type필드는bigquery_resource입니다.- 작업에 대한 세부정보는
protoPayload.serviceData필드에 기록됩니다. 이 필드의 값은AuditData구조입니다.
새 형식:
resource.type필드는bigquery_project또는bigquery_dataset입니다.bigquery_project리소스에는 작업에 대한 로그 항목이 있는 반면bigquery_dataset리소스에는 스토리지에 대한 로그 항목이 있습니다.- 작업에 대한 세부정보는
protoPayload.metadata필드에 기록됩니다. 이 필드의 값은BigQueryAuditMetadata구조입니다.
최신 형식의 로그를 사용하는 것이 좋습니다. 자세한 내용은 감사 로그 이전 가이드를 참조하세요.
다음은 실패한 작업을 보여주는 로그 항목의 축약형 예입니다.
{
"protoPayload": {
"@type": "type.googleapis.com/google.cloud.audit.AuditLog",
"status": {
"code": 5,
"message": "Not found: Dataset my-project:my-dataset was not found in location US"
},
"authenticationInfo": { ... },
"requestMetadata": { ... },
"serviceName": "bigquery.googleapis.com",
"methodName": "google.cloud.bigquery.v2.JobService.InsertJob",
"metadata": {
},
"resource": {
"type": "bigquery_project",
"labels": { .. },
},
"severity": "ERROR",
"logName": "projects/my-project/logs/cloudaudit.googleapis.com%2Fdata_access",
...
}
BigQuery 예약 작업의 경우 protoPayload는 AuditLog 구조이며 protoPayload.request 및 protoPayload.response 필드에는 자세한 정보가 포함됩니다. 필드 정의는 BigQuery Reservation API에서 확인할 수 있습니다. 자세한 내용은 BigQuery 예약 모니터링을 참조하세요.
BigQuery 정보 스키마 뷰
정보 스키마 뷰는 BigQuery의 또 다른 분석 소스이며 측정항목 및 로그와 함께 사용할 수 있습니다.
이러한 뷰에는 작업, 데이터 세트, 테이블, 기타 BigQuery 항목의 메타데이터가 포함됩니다. 예를 들어 특정 기간 동안 실행된 BigQuery 작업에 대한 실시간 메타데이터를 가져온 다음 프로젝트, 사용자, 참조한 테이블, 기타 측정기준별로 결과를 그룹화하거나 필터링할 수 있습니다.
이 정보를 사용하여 BigQuery 워크로드에 대한 더 자세한 분석을 수행하고 다음과 같은 질문에 답할 수 있습니다.
- 특정 프로젝트에 지난 7일 동안 모든 쿼리의 평균 슬롯 사용량은 얼마인가요?
- 어떤 사용자가 특정 프로젝트의 일괄 로드 작업을 제출했나요?
- 지난 30분 동안 오류 코드를 기준으로 그룹화되어 발생한 스트리밍 오류는 무엇인가요?
특히 성능에 대한 통계를 확인하려면 작업 메타데이터, 스트리밍 메타데이터, 예약 메타데이터를 참조해 BigQuery 작업 부하 성능에 대한 유용한 정보를 얻으세요.
조직의 슬롯과 예약 사용률, 작업 실행과 작업 오류를 보여주는 GitHub의 정보 스키마 쿼리 예시를 확인할 수 있습니다. 예를 들어 다음 쿼리는 대기중이거나 실행 중인 쿼리 목록을 제공합니다. 이러한 쿼리는 us 리전에서 생성된 후 경과된 시간에 따라 정렬됩니다.
SELECT
creation_time,
project_id,
user_email,
job_id,
job_type,
priority,
state,
TIMESTAMP_DIFF(CURRENT_TIMESTAMP(), start_time,second) as running_time_sec
FROM
`region-us`.INFORMATION_SCHEMA.JOBS_BY_PROJECT
WHERE
creation_time BETWEEN TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 1 DAY) AND CURRENT_TIMESTAMP()
AND state != "DONE"
ORDER BY
running_time_sec DESC
자세한 내용은 이 대시보드로 BigQuery 성능 문제 해결을 참조하세요.
자체 쿼리를 작성하는 것 외에도 Cloud de Confiance 콘솔에서 BigQuery 모니터링 도구를 사용할 수 있습니다.
- 상태, 리소스 사용률, 작업 모니터링 조직 및 예약 전반에서 슬롯 사용량, 작업 동시 실행, 작업 실행 시간을 추적하는 운영 상태 대시보드 및 BigQuery 관리자 리소스 차트를 확인합니다.
- 작업 모니터링 조직 전체에서 개별 쿼리 실행을 검색, 필터링, 그룹화하여 쿼리 실행 그래프를 검사하고, 상위 슬롯 소비자를 식별하고, 문제가 있는 작업을 해결합니다.
원격 분석 맵
다음 표에서는 BigQuery 기능 및 리소스를 운영 모니터링 원격 분석, 감사된 API 서비스 및 리소스, 감사 로그 참고 문서에 매핑합니다. 이를 사용하여 문제를 해결하고, 성능을 최적화하고, 비용을 제어하고, 사용량을 감사하고, 규정 준수를 유지하는 데 필요한 원격 분석을 찾을 수 있습니다.
Cloud Logging에 운영 작업 로그를 작성하는 많은 Cloud de Confiance by S3NS 서비스와 달리 BigQuery는 운영 작업 원격 분석을 INFORMATION_SCHEMA.JOBS와 같은 정보 스키마 뷰에 작성합니다. 이러한 뷰는 쿼리 실행 단계, 슬롯 사용량, 청구 대상 바이트, 제출된 모든 작업(실행 중인 작업 및 실패한 작업 포함)을 캡처합니다.
BigQuery는 주로 Logging을 사용하여 관리 및 데이터 액세스 활동을 기록하는 Cloud 감사 로그를 내보냅니다. 이 활동을 감사하면 누가, 어디서, 언제 리소스나 데이터에 액세스했는지 확인할 수 있습니다.
모든 작업 중단 또는 실패에 대해 감사 로그가 생성되지는 않습니다. 예를 들어 실패한 작업은 TableDataRead 또는 TableDataChange 이벤트를 생성하지 않으며 jobCompletedEvent는 성공적인 작업 완료만 기록합니다. 감사 로그를 내보내지 않는 시나리오에 대한 자세한 내용은 BigQuery 감사 로그 개요의 데이터 액세스를 참조하세요.
다음 표에서 INFORMATION_SCHEMA 뷰 이름의 별표(*)는 범위별 뷰 변형(예: _BY_PROJECT, _BY_USER, _BY_FOLDER, _BY_ORGANIZATION)을 나타냅니다.
| 기능 또는 리소스 | 운영 모니터링 | Cloud 감사 로그 |
|---|---|---|
| 쿼리 및 작업 |
정보 스키마 뷰:
콘솔: 측정항목: |
API 서비스:
감사를 받은 리소스: 감사 로그: |
| 테이블 및 뷰 |
정보 스키마 뷰:
측정항목: |
API 서비스: 감사 리소스: 감사 로그: |
| 데이터 세트 |
정보 스키마 뷰:
|
API 서비스:
감사 리소스: 감사 로그: |
| 슬롯 및 예약 |
정보 스키마 뷰:
콘솔: 측정항목: |
API 서비스: BigQuery Reservation API의 경우 감사 리소스: 감사 로그: 예약, 용량 약정, 프로젝트 또는 폴더 할당을 만들고, 수정하고, 삭제하고, 나열하는 관리자 활동 및 데이터 액세스 로그입니다. BigQuery Reservation API 감사 로깅을 참조하세요. |
| 열 수준 보안 및 데이터 마스킹 |
정보 스키마 뷰:
|
API 서비스: Data Catalog 정책 태그의 경우 감사 리소스: 감사 로그: 분류 및 정책 태그 관리와 IAM 정책 변경을 위한 관리자 활동 및 데이터 액세스 로그(감사 정책 태그), 데이터 정책 관리 및 피부여자 업데이트(BigQuery 데이터 정책 감사 로깅), 보호된 열의 읽기에 대한 |
| 루틴(UDF 및 저장 프로시져 포함) |
정보 스키마 뷰:
|
API 서비스:
감사된 리소스: 감사 로그: |
| 외부 연결 |
정보 스키마 뷰:
|
API 서비스: BigQuery Connection API의 경우 감사 리소스: 감사 로그: 연결 생성, 사용자 인증 정보 업데이트, 삭제, 나열, IAM 정책 변경사항에 대한 관리자 활동 및 데이터 액세스 로그입니다. BigQuery Connection API 감사 로깅을 참조하세요. |
| BigQuery Sharing |
정보 스키마 뷰:
대시보드: 사용량 측정항목 대시보드 공유 |
API 서비스:
감사 대상 리소스: 감사 로그: 데이터 교환 및 목록 생성, 업데이트, 삭제, IAM 정책 변경, 구독자 작업에 대한 관리자 활동 및 데이터 액세스 로그입니다. 감사 로깅 공유를 참조하세요. |
| BigQuery Data Transfer Service |
측정항목 및 로그:
|
API 서비스: BigQuery Data Transfer Service API의 경우 감사 리소스: 감사 로그: 전송 구성 및 실행을 만들고, 업데이트하고, 삭제하고, 나열하고, 시작하기 위한 관리자 활동 및 데이터 액세스 로그입니다. BigQuery Data Transfer Service 감사 로깅을 참조하세요. |
| BigLake 카탈로그 및 테이블 |
정보 스키마 뷰: |
API 서비스: 감사 리소스: 감사 로그: 카탈로그, 데이터베이스, 네임스페이스, 테이블, 파티션, 카탈로그 IAM 정책 작업에 대한 관리자 활동 및 데이터 액세스 로그입니다. BigLake 감사 로깅을 참조하세요. |
| BigQuery Migration Service |
상태 및 보고서:
|
API 서비스: BigQuery Migration API의 경우 감사 리소스: 감사 로그: 마이그레이션 워크플로 및 하위 태스크를 만들고, 시작하고, 나열하고, 보고, 삭제하고, SQL 쿼리를 변환하기 위한 데이터 액세스 로그입니다. thought BigQuery Migration Service 감사 로깅을 참조하세요. |
다음 단계
- 작업 탐색기로 작업을 모니터링하고 필터링하는 방법 알아보기
- 상태 및 리소스 사용률을 모니터링하는 방법 알아보기
- BigQuery 차트 및 알림을 만드는 방법 알아보기