BigQuery 워크로드 관리 문제 해결

이 문서에서는 예약 할당 및 배정, 예약 구성 오류, 슬롯 경합, 예약 모니터링, 대화형 분석 대화 로깅을 포함하여 BigQuery 워크로드 관리의 일반적인 문제를 해결하는 방법을 보여줍니다.

예약 및 관리 리소스 차트를 보고 관리하려면 관리 프로젝트에 대한 BigQuery 리소스 뷰어(roles/bigquery.resourceViewer) 또는 BigQuery 리소스 관리자(roles/bigquery.resourceAdmin) 역할과 같은 필수 Identity and Access Management(IAM) 역할이 있는지 확인하세요. 자세한 내용은 IAM으로 액세스 제어를 참조하세요.

예약 관련 문제 해결하기

다음 정보를 사용하여 슬롯을 추가할 때 발생하는 오류, BigQuery 작업에 예약이 사용되지 않는 이유, 인식되지 않는 예약과 같은 일반적인 예약 문제를 해결하세요.

예약 크기에 슬롯을 더 추가할 수 없음

예약에 슬롯을 더 추가하려고 할 때 Failed to allocate slots for reservation in the current system state 또는 Failed to update reservation: Failed to allocate slots for reservation와 같은 오류가 발생하면 일반적으로 일시적인 문제입니다. 이 문제를 완화하려면 다음을 수행합니다.

  • 슬롯 수를 줄여 다시 시도하세요.
  • 더 적은 수의 슬롯으로 시도해도 실패하면 15분 후에 작업을 다시 시도합니다.

여러 번 다시 시도하고 30분 동안 기다린 후에도 동일한 오류가 발생하면 Cloud Customer Care에 문의하세요.

이 요청을 완료할 수 있는 할당량이 부족합니다.

오류 메시지에 There is insufficient quota to complete this request가 표시되면 요청이 프로젝트에 설정된 할당량 한도를 초과한 것입니다.

이 오류를 해결하려면 다음 중 한 가지를 따르세요.

  • 요청이 할당량 한도를 초과하지 않도록 예약에 더 적은 수의 슬롯을 추가합니다.
  • 해당 리전에서 할당량 상향 조정을 요청합니다. 자세한 내용은 할당량 상향 요청을 참조하세요.

BigQuery에서 작업을 실행하는 데 사용되지 않는 예약

만든 예약을 사용하는 대신 주문형 가격 책정 또는 무료 공유 슬롯 풀을 사용하여 작업이 실행될 수 있는 시나리오는 여러 가지가 있습니다.

쿼리와 예약이 서로 다른 리전에 있음

예약은 리전별 리소스입니다. 쿼리는 쿼리에서 참조하는 테이블과 동일한 위치에서 실행됩니다.

테이블 위치가 예약 위치와 일치하지 않으면 쿼리는 예약을 사용하지 않고 대신 주문형 가격 책정(또는 적격한 일괄 로드 및 내보내기 작업의 경우 무료 공유 슬롯 풀)을 사용하여 실행됩니다.

예약이 생성되었지만 프로젝트가 할당되지 않았습니다.

예약에서 슬롯을 사용하려면 프로젝트, 폴더 또는 조직을 특정 예약에 할당하는 할당을 만들어야 합니다. 프로젝트에 해당 예약 할당이 있는지 확인합니다.

작업 유형 불일치

할당을 만들 때 올바른 작업 유형을 선택해야 합니다. 그렇지 않으면 작업에서 예약을 사용하지 않습니다.

예를 들어 작업 유형으로 PIPELINE를 선택하면 모든 쿼리 작업이 주문형 가격 책정을 사용하여 실행됩니다. 예약을 사용하여 쿼리 작업을 실행하도록 할당 유형을 QUERY로 변경합니다.

멀티 문 쿼리

멀티 문 쿼리를 실행하는 경우 하위 작업이 예약에서 실행되더라도 상위 작업 객체에는 연결된 예약이 없습니다.

작업에서 실제로 예약을 사용했는지 확인하려면 하위 작업 메타데이터를 확인합니다.

캐시된 결과 검색

쿼리 작업이 캐시된 결과를 검색하면 BigQuery가 계산을 수행하지 않고 임시 테이블에서 직접 결과를 가져오므로 예약 필드가 비어 있습니다.

변경 데이터 캡처 행 수정 작업

변경 데이터 캡처(CDC) 테이블이 있는 경우 BigQuery는 max_staleness 간격 내에 보류 중인 행 수정을 BACKGROUND 할당 유형을 사용하는 백그라운드 작업으로 적용합니다. BACKGROUND 할당이 없으면 이러한 작업은 주문형 가격 책정을 사용합니다. 예기치 않은 주문형 비용이 발생하지 않도록 프로젝트에 BACKGROUND 할당을 만드는 것이 좋습니다. 작업 식별자의 queueworker_cdc_background_merge_coalesce 하위 문자열로 이러한 작업을 식별할 수 있습니다.

프로젝트에서 인식할 수 없는 예약이 식별됨

BigQuery는 BigQuery의 특정 작업에 대한 무료 공유 슬롯 풀을 나타내는 예약을 소유합니다.

default-pipeline

기본적으로 BigQuery에서 데이터를 일괄 로드하거나 일괄 내보내기할 때는 무료 공유 슬롯 풀이 사용됩니다. 이러한 로드 또는 추출 작업을 검사하면 예약 필드에 default-pipeline가 표시됩니다.

공유 슬롯 풀을 사용하는 데는 요금이 부과되지 않습니다. 일관되고 예측 가능한 성능을 원한다면 PIPELINE 예약을 구매하는 것이 좋습니다.

예약 관리 작업 문제 해결

예약을 만들거나 업데이트할 때 다음 오류가 발생할 수 있습니다.

예약 크기 또는 기준 슬롯은 50의 배수여야 합니다.

오류 메시지

  • Max reservation size can only be configured in multiples of 50, except when covered by excess commitments.
  • Baseline slots can only be configured in multiples of 50, except when covered by excess commitments.

원인

슬롯은 항상 50의 배수로 자동 확장됩니다. BigQuery는 실제 사용량을 기준으로 슬롯을 수직 확장하고 가장 가까운 50개 슬롯 단위로 반올림합니다. 약정이 없거나 약정으로 증가분을 충당할 수 없는 경우 기준 및 자동 확장 슬롯을 50의 배수로만 늘릴 수 있습니다.

baseline slots 또는 max reservation size - baseline slots이 50의 배수가 아니고 초과 용량 약정으로 처리되지 않는 경우 예약이 최대 예약 크기로 확장될 수 없으므로 이 오류가 발생합니다.

해결 방법

다음 중 하나를 수행합니다.

  • 슬롯 증가를 처리하기 위해 용량 약정을 추가로 구매합니다.
  • 50개 단위로 기준 슬롯과 최대 슬롯을 선택합니다.

예약 기반 공정성을 사용 설정하지 않으면 최대 슬롯을 사용할 수 없습니다.

오류 메시지

  • Cannot use max slots without enabling reservation-based fairness.

원인

최대 예약 용량(예: max_slots 또는 예측 가능한 예약)을 구성하려고 합니다. 이 경우 예약 기반 공정성이 예약을 소유한 프로젝트에서 사용 설정되어야 합니다.

해결 방법

프로젝트에서 예약 기반 공정성을 사용 설정해야 합니다.

슬롯 경합 문제 해결

모든 작업을 실행할 슬롯이 충분하지 않으면 슬롯 경합이 발생하여 성능 문제가 발생할 수 있습니다. 성능 저하가 워크로드 증가 또는 환경 구성 변경으로 인한 것인지 분석하려면 예약 및 프로젝트 전반에서 두 시스템 간격을 비교하면 됩니다.

슬롯 경합 문제를 해결하려면 다음 단계와 권장사항을 사용하세요.

이 권장사항을 시도했지만 작업 성능 문제가 계속되면 지원을 요청하세요.

작업 동시 실행 급증

관리 리소스 차트의 세부정보 뷰를 사용하여 동시 슬롯 사용량 급증이 있는 작업 실행의 갑작스러운 급증을 확인합니다. 이러한 급증은 예약에서 사용 가능한 슬롯을 두고 경쟁하는 작업이 너무 많다는 것을 나타낼 수 있습니다.

권장사항: 리소스 집약적인 쿼리를 최적화하거나 예약의 슬롯 용량을 늘리는 것이 좋습니다. 쿼리 성능 최적화에 관한 자세한 내용은 쿼리 계산 최적화를 참조하세요.

슬롯 사용량이 높음

세부정보 뷰를 사용하여 작업 기간이 늘어났는지 확인합니다. 특히 예약의 최대 용량을 초과하는 작업이 있는 경우에 유용합니다. 슬롯 사용량이 지속적으로 높으면 슬롯 경합이 계속되고 있음을 나타낼 수 있습니다.

권장사항: 작업 탐색기 슬롯 경합 필터를 사용하여 쿼리를 확인하고, 가장 많은 슬롯을 소비하는 쿼리를 식별하고 최적화합니다.

긴 작업 기간

작업이 완료되는 데 시간이 오래 걸리는 경우 세부정보 뷰를 확인합니다. 작업 동시 실행 및 슬롯 사용량이 급증하면 슬롯 경합이 발생할 수 있습니다.

권장사항: 중요하지 않은 작업을 일시중지하거나 전체 작업 제출률을 줄여 중요한 작업을 격리합니다.

슬롯 경합 메시지

통계 테이블에는 슬롯 경합 문제를 나타내는 There were NUMBER jobs detected with slot_contention in the reservation.과 같은 메시지가 표시될 수 있습니다. 작업 탐색기에서 이러한 메시지에 표시된 특정 작업에 관한 세부정보를 검토하세요.

권장사항: 식별된 쿼리를 최적화하거나 예약의 슬롯 할당을 조정합니다.

예약 모니터링 문제 해결

다음 섹션에서는 BigQuery 예약 및 슬롯 사용량을 모니터링할 때 발생하는 일반적인 문제를 해결하는 방법을 설명합니다.

슬롯 사용량 측정항목이 INFORMATION_SCHEMA와 일치하지 않음

리소스 차트의 슬롯 사용량 측정항목과 INFORMATION_SCHEMA 데이터 간에 불일치가 발생하면 다음을 시도해 보세요.

  • 세분화 수준을 줄입니다. 차트 세분화 수준을 1시간 간격 대신 1초 간격으로 변경합니다.
  • 집계 정렬. 리소스 차트와 INFORMATION_SCHEMA 데이터 간에 일치하는 집계 방법을 사용하고 있는지 확인합니다. 예를 들어 리소스 차트에서 최고 사용량을 더 잘 반영하려면 측정항목 집계를 p99 또는 p90으로 일관되게 변경합니다.

유휴 슬롯이 사용 중지되면 대여 슬롯이 표시됩니다.

하나 이상의 예약에 ignore_idle_slots=true가 설정되어 있더라도 모니터링 차트에 borrowed_slots에 대해 0이 아닌 값이 표시될 수 있습니다. 이 설정은 예약이 유휴 슬롯을 대여하지 못하도록 하지만 사용되지 않는 슬롯을 다른 예약에 대여하는 것을 방지하지는 않습니다.

이러한 대여 슬롯은 다음과 같은 경우에 표시됩니다.

  • 다른 예약에 대여. ignore_idle_slots=true이 있는 예약은 유휴 슬롯 대여를 허용하는 동일한 관리 프로젝트, 리전, 버전의 다른 예약에 사용되지 않은 기준 슬롯을 대여할 수 있습니다(ignore_idle_slots=false). 관리 프로젝트, 리전, 버전의 모든 예약에 ignore_idle_slots=true이 있는 경우 유휴 슬롯은 예약 간에 공유되지 않습니다.

    예를 들어 예약 A에 슬롯 100개, 사용량 0이 있고 ignore_idle_slots=true로 구성되어 있다고 가정해 보겠습니다. 예약 B는 동일한 관리 프로젝트, 리전, 버전에 있으며 슬롯이 100개이고 워크로드에 슬롯 150개가 필요하며 ignore_idle_slots=false로 구성됩니다. 예약 B는 요구사항을 충족하기 위해 예약 A에서 유휴 슬롯 50개를 빌릴 수 있습니다. 이 경우 모니터링 차트에는 예약 A에 대해 50 lent_slots, 예약 B에 대해 50 borrowed_slots가 보고됩니다.

  • 사용량이 용량을 초과합니다. 예약의 슬롯 사용량이 일시적으로 용량(기준 + 자동 확장 슬롯)을 초과하면 모니터링 차트에 이 차이가 borrowed_slots로 표시됩니다. 이 동작은 ignore_idle_slots=true이 있는 예약에서도 발생할 수 있습니다.

슬롯 사용량이 기준 및 확장된 슬롯의 합계를 초과할 수도 있습니다. 기준 및 확장된 슬롯의 합계보다 많은 슬롯 사용량에 대해서는 요금이 청구되지 않습니다.

예약이 완전히 사용되기 전에 대여 슬롯이 표시됨

모니터링 대시보드는 샘플링된 데이터를 사용하므로 샘플링 간격 내 슬롯 사용의 정확한 타이밍을 정확하게 반영하지 못할 수 있습니다.

슬롯 사용량을 더 정확하게 분석하려면 INFORMATION_SCHEMA.RESERVATIONS_TIMELINE 뷰의 borrowed_slots 및 lent_slots 열과 같은 유휴 슬롯과 관련된 열을 쿼리합니다.

대화 로깅 문제 해결

다음 정보를 사용하여 BigQuery의 대화형 분석 대화 로깅과 관련된 일반적인 문제를 해결하세요. 로깅 오류는 대화 차례를 실패하게 하지 않으며 채팅이나 Cloud Logging에 보고되지 않으므로 대상 테이블이 비어 있거나 누락된 경우 구성 또는 권한 문제의 기본 신호입니다.

로그 테이블이 누락되었거나 비어 있음

대화 차례 후 대상 테이블이 생성되지 않거나 비어 있으면 다음과 같은 잠재적 원인을 확인하세요.

  • 대화 로깅은 저장되거나 게시되지 않습니다. BigQuery Studio에서 페이지를 새로고침하고 에이전트 설정을 다시 열고 대화 로깅 사용 설정이 사용 설정되어 있고 대상 데이터 세트와 테이블이 설정되어 있으며 변경사항이 게시되었는지 확인합니다.

  • 대상 데이터 세트가 누락되었거나 다른 프로젝트에 있습니다. 대상 데이터 세트가 데이터 에이전트와 동일한 프로젝트에 이미 있는지 확인합니다. bq show PROJECT_ID:LOG_DATASET를 실행하여 데이터 세트가 있는지 확인할 수 있습니다. PROJECT_ID를 데이터 에이전트가 포함된 프로젝트의 ID로 바꾸고 LOG_DATASET를 대상 데이터 세트의 ID로 바꿉니다. 서비스 에이전트는 첫 번째 로깅된 차례에 로그 테이블을 만들지만 데이터 세트는 만들지 않습니다.

  • 대상 데이터 세트는 연결된 데이터 세트와 같은 읽기 전용 데이터 세트입니다. BigQuery Sharing 연결된 데이터 세트 또는 외부 데이터 세트(예: AWS Glue 제휴 데이터 세트)는 읽기 전용이며 대화 로그를 저장할 수 없습니다. 데이터 세트 유형을 확인하려면 bq show --format=prettyjson PROJECT_ID:LOG_DATASET를 실행하고 "type" 필드("LINKED" 또는 "EXTERNAL")를 검사합니다. 데이터 에이전트와 동일한 프로젝트에서 표준 쓰기 가능 데이터 세트를 선택합니다.

  • 서비스 에이전트 또는 CMEK 권한이 없습니다. 대화형 분석 API 서비스 에이전트(service-PROJECT_NUMBER@gcp-sa-geminidataanalytics.s3ns-system.iam.gserviceaccount.com, 프로젝트 ID가 아닌 에이전트 프로젝트 번호 사용)에 로그 데이터 세트에 대한 BigQuery 데이터 편집자(roles/bigquery.dataEditor) 역할이 있는지 확인합니다. 데이터 세트에서 고객 관리 Cloud KMS 키(CMEK)를 사용하는 경우 BigQuery 암호화 서비스 계정(bq-PROJECT_NUMBER@bigquery-encryption.s3ns-system.iam.gserviceaccount.com)에 키에 대한 roles/cloudkms.cryptoKeyEncrypterDecrypter 역할이 있는지 확인합니다.

  • VPC 서비스 제어 경계에서 쓰기를 차단합니다. 대화형 분석 API 서비스 에이전트는 Google 관리형 인프라에서 로그 테이블에 쓰므로 서비스 경계가 bigquery.googleapis.com를 제한하는 경우 roles/bigquery.dataEditor만 부여하는 것으로는 충분하지 않습니다. 이 목록의 다른 원인과 달리 경계 차단은 에이전트 프로젝트의 Cloud Logging에 정책 거부 감사 로그를 기록합니다. bigquery.googleapis.com(테이블 조회 또는 생성) 및 bigquerystorage.googleapis.com(행 추가)에서 log_id("cloudaudit.googleapis.com/policy")로 필터링하여 차단을 확인합니다. geminidataanalytics.googleapis.com 및 bigquery.googleapis.com가 모두 경계에 있는지 확인하고 bigquery.googleapis.com에서 서비스 에이전트에 대한 인그레스 규칙을 추가합니다. 샘플 인그레스 규칙은 액세스 제어, 암호화, 네트워크 보안을 참조하세요. 일반적인 경계 설정 안내는 VPC 서비스 제어로 경계 보안 구성을 참조하세요.

  • 지원되지 않는 대화 표시 경로 또는 에이전트 구성 BigQuery Studio 프리뷰 창의 대화는 로깅되지 않습니다. 게시된 에이전트의 기본 채팅 화면에서 테스트합니다. 특정 BigQuery 테이블 대신 검색 범위를 사용하거나, 속성 그래프를 지식 소스로 구성하거나, BigQuery 테이블을 선언하지 않는 에이전트는 로깅되지 않습니다. 자세한 내용은 제한사항을 참조하세요.

  • 지식 소스 테이블은 액세스 정책을 사용합니다. 지식 소스 테이블에서 행 수준 액세스 정책, 열 수준 보안(정책 태그) 또는 동적 데이터 마스킹을 사용하는 경우 대화가 로깅되지 않습니다.

  • 기존 대상 테이블의 스키마 충돌. 기존 테이블을 대상으로 구성하고 열이 대화 로그 스키마 열과 이름을 공유하지만 유형이나 모드가 다른 경우 BigQuery는 해당 테이블에 행을 쓰지 않습니다.

일반적으로 행은 차례가 완료된 후 몇 초 이내에 표시됩니다. 몇 분 정도 기다린 후에도 행이 표시되지 않으면 데이터 세트를 새로고침합니다.

일부 사용자의 대화가 기록되지 않음

원인

각 차례 전에 개인 정보 보호 검사는 채팅 사용자의 사용자 인증 정보를 사용하여 에이전트의 지식 소스 테이블에 행 수준 보안, 열 수준 보안 또는 데이터 마스킹 정책이 없는지 확인합니다. 사용자에게 이 검사를 실행할 권한이 없으면 사용자의 차례가 로깅되지 않습니다.

해결 방법

모든 채팅 사용자에게 지식 소스 테이블에 대한 BigQuery 데이터 뷰어(roles/bigquery.dataViewer) 역할과 쿼리를 실행하는 프로젝트에 대한 BigQuery 작업 사용자(roles/bigquery.jobUser) 역할을 부여하거나 지식 소스 테이블에 대한 bigquery.tables.get 및 bigquery.rowAccessPolicies.list 권한이 있는 맞춤 역할을 부여합니다.

INVALID_ARGUMENT 오류가 발생하여 에이전트 저장 실패

오류 메시지

  • The BigQuery Agent Analytics table must be in the same project as the agent (agent project: ..., table project: ...).

  • BigQuery Agent Analytics can only be enabled on agents whose datasource is BigQuery. Remove bigquery_agent_analytics_enabled and bigquery_agent_analytics_table, or point the agent at a BigQuery datasource.

원인

대상 데이터 세트가 데이터 에이전트와 다른 프로젝트에 있거나 에이전트의 데이터 소스가 BigQuery가 아닙니다.

해결 방법

데이터 에이전트와 동일한 프로젝트에서 기존 대상 데이터 세트를 선택하거나 BigQuery 데이터 소스로 데이터 에이전트를 구성합니다.

서비스 에이전트가 없으므로 데이터 세트 액세스 권한 부여 실패

오류 메시지

  • Service account service-PROJECT_NUMBER@gcp-sa-geminidataanalytics... does not exist

원인

대화형 분석 API 서비스 에이전트가 아직 프로젝트에 프로비저닝되지 않았습니다.

해결 방법

다음 중 하나를 수행합니다.

  • 먼저 에이전트에서 로그 대상을 구성한 후 역할을 다시 부여합니다.

  • 다음 명령어를 실행하여 서비스 ID를 프로비저닝합니다.

    gcloud beta services identity create \
        --service=geminidataanalytics.googleapis.com \
        --project=PROJECT_ID

    PROJECT_ID를 데이터 에이전트가 포함된 프로젝트의 ID로 바꿉니다.

BigQuery Studio에서 대화 로깅 설정을 사용할 수 없음

원인

구성 설정이 읽기 전용인 데이터 에이전트의 게시된 버전을 보고 있거나 데이터 에이전트에 특정 BigQuery 테이블이 기술 자료 소스로 선택되어 있지 않습니다.

해결 방법

뷰 선택기를 초안으로 전환하고 특정 BigQuery 테이블이 기술 자료 소스로 선택되어 있는지 확인하고 대화 로깅 설정을 업데이트한 다음 에이전트를 게시합니다.

다음 단계