Risolvi i problemi di gestione dei workload BigQuery

Questo documento mostra come risolvere i problemi comuni relativi alla gestione dei workload di BigQuery, tra cui l'allocazione e le assegnazioni delle prenotazioni, gli errori di configurazione delle prenotazioni, la contesa degli slot, il monitoraggio delle prenotazioni e il logging delle conversazioni di analisi conversazionale.

Per visualizzare e gestire le prenotazioni e i grafici delle risorse amministrative, assicurati di disporre dei ruoli IAM (Identity and Access Management) richiesti, ad esempio il ruolo BigQuery Resource Viewer (roles/bigquery.resourceViewer) o BigQuery Resource Admin (roles/bigquery.resourceAdmin) nel progetto di amministrazione. Per saperne di più, consulta Controllo dell'accesso con IAM.

Risolvi i problemi relativi alle prenotazioni

Utilizza le seguenti informazioni per risolvere i problemi comuni relativi alle prenotazioni, ad esempio gli errori durante l'aggiunta di slot, il motivo per cui una prenotazione non viene utilizzata per un job BigQuery o le prenotazioni non riconosciute.

Impossibile aggiungere altri slot alla dimensione della prenotazione

Se si verificano errori come Failed to allocate slots for reservation in the current system state o Failed to update reservation: Failed to allocate slots for reservation mentre provi ad aggiungere altri slot alla prenotazione, di solito si tratta di un problema temporaneo. Per mitigare il problema, segui questi passaggi:

  • Riprova con un numero inferiore di slot.
  • Se il tentativo con un numero inferiore di slot non va a buon fine, attendi 15 minuti e riprova l'operazione.

Se dopo aver riprovato più volte e aver atteso 30 minuti ricevi ancora lo stesso errore, contatta l'assistenza clienti Google Cloud.

La quota non è sufficiente per completare questa richiesta

Se il messaggio di errore indica There is insufficient quota to complete this request, la richiesta supera il limite di quota impostato per il progetto.

Per risolvere questo errore, esegui una delle seguenti operazioni:

  • Aggiungi un numero inferiore di slot alla prenotazione in modo che la richiesta non superi il limite di quota.
  • Richiedi un aumento della quota nella regione corrispondente. Per saperne di più, consulta Richiedi un aumento della quota.

Prenotazione non utilizzata da BigQuery per eseguire un job

Esistono diversi scenari in cui un job potrebbe essere eseguito utilizzando i prezzi on demand o un pool di slot condiviso senza costi anziché la prenotazione che hai creato.

La query e la prenotazione si trovano in regioni diverse

Le prenotazioni sono risorse di regione. Una query viene eseguita nella stessa località delle tabelle a cui fa riferimento.

Se la località di una tabella non corrisponde a quella della prenotazione, la query non utilizza la prenotazione e viene eseguita utilizzando i prezzi on demand (o il pool di slot condivisi senza costi per i job di caricamento ed esportazione batch idonei).

La prenotazione è stata creata, ma il progetto non è stato assegnato

Per utilizzare gli slot in una prenotazione, devi creare un'assegnazione che assegni il progetto, la cartella o l'organizzazione alla prenotazione specifica. Assicurati che al progetto corrisponda un'assegnazione per la prenotazione.

Mancata corrispondenza del tipo di prestazione

Assicurati di selezionare il tipo di prestazione corretto durante la creazione di un'assegnazione, altrimenti i job non utilizzeranno la prenotazione.

Ad esempio, se selezioni PIPELINE come tipo di prestazione, tutti i job di query vengono eseguiti utilizzando i prezzi on demand. Modifica il tipo di assegnazione in QUERY per fare in modo che i job di query vengano eseguiti utilizzando la prenotazione.

Query con più istruzioni

Se esegui query con più istruzioni, all'oggetto job principale non è associata una prenotazione, anche se i job secondari vengono eseguiti nell'ambito di una prenotazione.

Per verificare se il job ha effettivamente utilizzato una prenotazione, controlla i metadati del job secondario.

Recupero dei risultati memorizzati nella cache

Quando un job di query recupera i risultati memorizzati nella cache, il campo della prenotazione è vuoto perché BigQuery non esegue alcun calcolo e recupera i risultati direttamente dalla tabella temporanea.

Operazioni di modifica delle righe di Change Data Capture

Se hai tabelle Change Data Capture (CDC), BigQuery applica le modifiche alle righe in attesa entro l'intervallo max_staleness come job in background che utilizzano il tipo di assegnazione BACKGROUND. Se non sono presenti assegnazioni BACKGROUND, questi job utilizzano i prezzi on demand. Ti consigliamo di creare un'assegnazione BACKGROUND per il progetto per evitare costi on demand imprevisti. Puoi identificare questi job dalla sottostringa queueworker_cdc_background_merge_coalesce nell'identificatore del job.

Prenotazioni non riconosciute identificate nel progetto

BigQuery possiede prenotazioni che rappresentano un pool di slot condivisi senza costi per determinate operazioni in BigQuery.

default-pipeline

Per impostazione predefinita, il caricamento o l'esportazione in batch dei dati in BigQuery utilizza un pool di slot condivisi senza costi. Quando esamini questi job di caricamento o estrazione, il campo della prenotazione mostra default-pipeline.

Non sono previsti costi per l'utilizzo del pool di slot condiviso. Se vuoi prestazioni coerenti e prevedibili, valuta la possibilità di acquistare una prenotazione PIPELINE.

Risolvi i problemi relativi alle attività di gestione delle prenotazioni

Durante la creazione o l'aggiornamento di una prenotazione, potresti riscontrare i seguenti errori.

La dimensione della prenotazione o gli slot di riferimento devono essere un multiplo di 50

Messaggio di errore

  • Max reservation size can only be configured in multiples of 50, except when covered by excess commitments.
  • Baseline slots can only be configured in multiples of 50, except when covered by excess commitments.

Causa

Gli slot vengono sempre scalati automaticamente in base a un multiplo di 50. BigQuery esegue lo scale up degli slot in base all'utilizzo effettivo e arrotonda per eccesso all'incremento di 50 slot più vicino. Se non esiste un impegno o se l'impegno non può coprire gli aumenti, puoi aumentare gli slot di base e di scalabilità automatica solo in multipli di 50.

Se baseline slots o max reservation size - baseline slots non è un multiplo di 50 (e non è coperto da impegni di capacità in eccesso), la prenotazione non può essere scalata fino alla dimensione massima, generando questo errore.

Risoluzione

Esegui una delle seguenti operazioni:

  • Acquista altri impegni di capacità per coprire gli aumenti degli slot.
  • Scegli slot di base e massimi con incrementi di 50.

Impossibile utilizzare il numero massimo di slot senza attivare l'equità basata sulla prenotazione

Messaggio di errore

  • Cannot use max slots without enabling reservation-based fairness.

Causa

Stai tentando di configurare una capacità di prenotazione massima, ad esempio max_slots o prenotazioni prevedibili, che richiede l'attivazione dell'equità basata sulla prenotazione nel progetto proprietario della prenotazione.

Risoluzione

Devi attivare l'equità basata sulla prenotazione nel progetto.

Risolvi i problemi di conflitto di slot

La contesa degli slot può verificarsi quando non ci sono abbastanza slot per eseguire tutti i job, causando problemi di prestazioni. Per analizzare se il peggioramento delle prestazioni deriva da un aumento del workload o da modifiche alla configurazione dell'ambiente, puoi confrontare due intervalli di sistema tra prenotazioni e progetti.

Per risolvere i problemi di conflitto di slot, segui questi passaggi e best practice.

Se hai provato queste best practice, ma riscontri ancora problemi di prestazioni dei job, puoi richiedere assistenza.

Picchi di concorrenza dei job

Utilizza la visualizzazione dettagliata nei grafici delle risorse amministrative per verificare se si è verificato un aumento improvviso delle esecuzioni dei job con picchi di utilizzo simultaneo degli slot. Questi picchi possono indicare che troppi job sono in competizione per gli slot disponibili nella prenotazione.

Best practice: valuta la possibilità di ottimizzare le query che richiedono un utilizzo intensivo delle risorse o di aumentare la capacità degli slot della prenotazione. Per saperne di più sull'ottimizzazione delle prestazioni delle query, consulta Ottimizza il calcolo delle query.

Utilizzo elevato degli slot

Utilizza la visualizzazione dettagliata per verificare se la durata dei job è aumentata, soprattutto se sono presenti job che superano la capacità massima della prenotazione. Un utilizzo costantemente elevato degli slot può indicare una contesa degli slot in corso.

Best practice: controlla le query utilizzando il filtro di conflitto degli slot di Esplora job per identificare le query che consumano più slot e ottimizzarle.

Durate dei job lunghe

Se i job richiedono molto più tempo per essere completati, controlla la visualizzazione dettagliata. Un'elevata contemporaneità dei job e picchi di utilizzo degli slot possono indicare una contesa degli slot.

Best practice: isola i job critici mettendo temporaneamente in pausa i job meno importanti o riducendo la frequenza complessiva di invio dei job.

Messaggi di contesa slot

La tabella degli insight può visualizzare messaggi come There were NUMBER jobs detected with slot_contention in the reservation. che indicano problemi di conflitto di slot. Controlla Esplora job per esaminare i dettagli dei job specifici segnalati in questi messaggi.

Best practice: ottimizza le query identificate o modifica l'allocazione degli slot della prenotazione.

Risolvi i problemi relativi al monitoraggio delle prenotazioni

Le sezioni seguenti descrivono come risolvere i problemi comuni durante il monitoraggio delle prenotazioni e dell'utilizzo degli slot di BigQuery.

Le metriche di utilizzo degli slot non corrispondono a INFORMATION_SCHEMA

Se riscontri discrepanze tra le metriche di utilizzo degli slot nei grafici delle risorse e i dati di INFORMATION_SCHEMA, prova quanto segue:

  • Riduci la granularità. Modifica la granularità del grafico in intervalli di 1 secondo anziché di 1 ora.
  • Aggregazione di allineamento. Assicurati di utilizzare metodi di aggregazione che siano allineati tra i grafici delle risorse e i dati di INFORMATION_SCHEMA. Ad esempio, per riflettere meglio l'utilizzo di picco nei grafici delle risorse, modifica l'aggregazione delle metriche in p99 o p90 in modo coerente.

Gli slot presi in prestito vengono visualizzati quando gli slot inattivi sono disabilitati

I grafici di monitoraggio potrebbero mostrare un valore diverso da zero per borrowed_slots anche se ignore_idle_slots=true è impostato per una o più prenotazioni. Questa impostazione impedisce a una prenotazione di prendere in prestito slot inattivi, ma non le impedisce di prestare i propri slot inutilizzati ad altre prenotazioni.

Questi slot presi in prestito vengono visualizzati nei seguenti casi:

  • Prestito ad altre prenotazioni. Una prenotazione con ignore_idle_slots=true può prestare i propri slot di riferimento inutilizzati ad altre prenotazioni nello stesso progetto di amministrazione, nella stessa regione e nella stessa edizione che consentono il prestito di slot inattivi (ignore_idle_slots=false). Se tutte le prenotazioni in un progetto di amministrazione, una regione e un'edizione hanno ignore_idle_slots=true, gli slot inattivi non vengono condivisi tra loro.

    Ad esempio, supponiamo che la prenotazione A abbia 100 slot, un utilizzo pari a 0 e sia configurata con ignore_idle_slots=true. La prenotazione B si trova nello stesso progetto di amministrazione, nella stessa regione e nella stessa edizione, ha 100 slot, richiede 150 slot per il suo workload ed è configurata con ignore_idle_slots=false. La prenotazione B può prendere in prestito 50 slot inattivi dalla prenotazione A per soddisfare le sue esigenze. In questo caso, i grafici di monitoraggio indicano 50 lent_slots per la prenotazione A e 50 borrowed_slots per la prenotazione B.

  • Utilizzo superiore alla capacità. Se l'utilizzo degli slot di una prenotazione supera temporaneamente la sua capacità (slot di base + slot con scalabilità automatica), i grafici di monitoraggio mostrano questa differenza come borrowed_slots. Questo comportamento può verificarsi anche per le prenotazioni con ignore_idle_slots=true.

L'utilizzo degli slot può occasionalmente superare la somma degli slot di riferimento e di quelli scalati. Non ti verrà addebitato l'utilizzo di slot superiore alla somma degli slot di base e di quelli scalati.

Gli slot presi in prestito vengono visualizzati prima che una prenotazione venga utilizzata completamente

Le dashboard di monitoraggio utilizzano dati campionati, che potrebbero non riflettere con precisione la tempistica esatta dell'utilizzo degli slot all'interno di un intervallo di campionamento.

Per un'analisi più accurata dell'utilizzo degli slot, esegui query sulle colonne relative agli slot inattivi, ad esempio le colonne borrowed_slots e lent_slots nella vista INFORMATION_SCHEMA.RESERVATIONS_TIMELINE.

Risolvi i problemi relativi al logging delle conversazioni

Utilizza le seguenti informazioni per risolvere i problemi comuni relativi al logging delle conversazioni di analisi conversazionale in BigQuery. Poiché gli errori di logging non causano mai il fallimento di un turno di conversazione e non vengono segnalati nella chat o in Cloud Logging, una tabella di destinazione vuota o mancante è il segnale principale di un problema di configurazione o di autorizzazione.

Tabella di log mancante o vuota

Se la tabella di destinazione non viene creata o rimane vuota dopo un turno di conversazione, controlla le seguenti potenziali cause:

  • Il logging delle conversazioni non viene salvato né pubblicato. In BigQuery Studio, aggiorna la pagina, riapri le impostazioni dell'agente e verifica che l'opzione Abilita il logging delle conversazioni sia attiva, che il set di dati e la tabella di destinazione siano impostati e che le modifiche siano pubblicate.

  • Il set di dati di destinazione non è presente o si trova in un altro progetto. Verifica che il set di dati di destinazione esista già nello stesso progetto dell'agente per i dati. Puoi verificare che il set di dati esista eseguendo bq show PROJECT_ID:LOG_DATASET. Sostituisci PROJECT_ID con l'ID del progetto che contiene l'agente per i dati e LOG_DATASET con l'ID del set di dati di destinazione. L'agente di servizio crea la tabella di log al primo turno registrato, ma non crea il set di dati.

  • Il set di dati di destinazione è un set di dati di sola lettura, ad esempio un set di dati collegato. Un set di dati collegato di condivisione di BigQuery o un set di dati esterno (ad esempio un set di dati federato AWS Glue) è di sola lettura e non può archiviare i log delle conversazioni. Per controllare il tipo di set di dati, esegui bq show --format=prettyjson PROJECT_ID:LOG_DATASET e controlla il campo "type" ("LINKED" o "EXTERNAL"). Scegli un set di dati scrivibile standard nello stesso progetto dell'agente per i dati.

  • Autorizzazioni dell'agente di servizio o CMEK mancanti. Verifica che il service agent dell'API Analisi conversazionale (service-PROJECT_NUMBER@gcp-sa-geminidataanalytics.s3ns-system.iam.gserviceaccount.com, utilizzando il numero del progetto dell'agente anziché l'ID progetto) abbia il ruolo BigQuery Data Editor (roles/bigquery.dataEditor) nel set di dati di log. Se il set di dati utilizza chiavi Cloud KMS gestite dal cliente (CMEK), verifica che l'account di servizio di crittografia BigQuery (bq-PROJECT_NUMBER@bigquery-encryption.s3ns-system.iam.gserviceaccount.com) abbia il ruolo roles/cloudkms.cryptoKeyEncrypterDecrypter sulla chiave.

  • Il perimetro dei Controlli di servizio VPC blocca le scritture. L'agente di servizio dell'API Analisi conversazionale scrive nella tabella di log dall'infrastruttura gestita da Google, quindi la concessione di roles/bigquery.dataEditor da sola non è sufficiente quando un perimetro di servizio limita bigquery.googleapis.com. A differenza di altre cause in questo elenco, un blocco del perimetro registra gli audit log di Policy Denied in Cloud Logging nel progetto dell'agente; filtra per log_id("cloudaudit.googleapis.com/policy") in bigquery.googleapis.com (per la ricerca o la creazione di tabelle) e bigquerystorage.googleapis.com (per le aggiunte di righe) per confermare il blocco. Verifica che sia geminidataanalytics.googleapis.com sia bigquery.googleapis.com si trovino nel perimetro e aggiungi una regola in entrata per l'agente di servizio su bigquery.googleapis.com. Per un esempio di regola in entrata, consulta Controllo degli accessi, crittografia e sicurezza di rete. Per indicazioni generali sulla configurazione del perimetro, consulta Configura la sicurezza del perimetro con i Controlli di servizio VPC.

  • Piattaforma di conversazione o configurazione dell'agente non supportata. Le conversazioni nel riquadro Anteprima di BigQuery Studio non vengono registrate. Esegui il test dalla schermata di chat principale dell'agente pubblicato. Gli agenti che utilizzano un ambito di ricerca anziché tabelle BigQuery specifiche, che configurano i grafi delle proprietà come origini di conoscenza o che non dichiarano tabelle BigQuery non vengono registrati. Per ulteriori informazioni, vedi Limitazioni.

  • Le tabelle delle origini di conoscenza utilizzano le policy di accesso. Se una tabella di origine della conoscenza utilizza policy di accesso a livello di riga, sicurezza a livello di colonna (tag di policy) o mascheramento dinamico dei dati, i turni non vengono registrati.

  • Conflitto di schema in una tabella di destinazione esistente. Se hai configurato una tabella esistente come destinazione e una colonna condivide un nome con una colonna dello schema del log delle conversazioni, ma ha un tipo o una modalità diversi, BigQuery non scrive righe in quella tabella.

In genere, le righe vengono visualizzate entro pochi secondi dal completamento di un turno. Se le righe non vengono visualizzate dopo alcuni minuti, aggiorna il set di dati.

Le conversazioni di alcuni utenti non vengono registrate

Causa

Prima di ogni turno, il controllo della privacy utilizza le credenziali dell'utente che chatta per verificare che le tabelle delle origini di conoscenza dell'agente non abbiano policy di sicurezza a livello di riga, sicurezza a livello di colonna o mascheramento dei dati. Se un utente non dispone dell'autorizzazione per eseguire questo controllo, i suoi turni non vengono registrati.

Risoluzione

Concedi a tutti gli utenti che utilizzano la chat il ruolo BigQuery Data Viewer (roles/bigquery.dataViewer) sulle tabelle delle origini di conoscenza e il ruolo BigQuery Job User (roles/bigquery.jobUser) sul progetto che esegue le query oppure concedi un ruolo personalizzato con le autorizzazioni bigquery.tables.get e bigquery.rowAccessPolicies.list sulle tabelle delle origini di conoscenza.

Il salvataggio dell'agente non riesce con un errore INVALID_ARGUMENT

Messaggio di errore

  • The BigQuery Agent Analytics table must be in the same project as the agent (agent project: ..., table project: ...).

  • BigQuery Agent Analytics can only be enabled on agents whose datasource is BigQuery. Remove bigquery_agent_analytics_enabled and bigquery_agent_analytics_table, or point the agent at a BigQuery datasource.

Causa

Il set di dati di destinazione si trova in un progetto diverso rispetto all'agente per i dati o l'origine dati dell'agente non è BigQuery.

Risoluzione

Seleziona un set di dati di destinazione esistente nello stesso progetto dell'agente per i dati o configura l'agente per i dati con un'origine dati BigQuery.

La concessione dell'accesso al set di dati non riesce perché l'agente di servizio non esiste

Messaggio di errore

  • Service account service-PROJECT_NUMBER@gcp-sa-geminidataanalytics... does not exist

Causa

Il provisioning dell'agente di servizio dell'API Analisi conversazionale non è stato ancora eseguito nel progetto.

Risoluzione

Esegui una delle seguenti operazioni:

  • Configura prima la destinazione dei log sull'agente, quindi concedi nuovamente il ruolo.

  • Esegui il provisioning dell'identità di servizio eseguendo questo comando:

    gcloud beta services identity create \
        --service=geminidataanalytics.googleapis.com \
        --project=PROJECT_ID

    Sostituisci PROJECT_ID con l'ID del progetto che contiene l'agente per i dati.

Le impostazioni di logging delle conversazioni non sono disponibili in BigQuery Studio

Causa

Stai visualizzando la versione Pubblicata dell'agente per i dati, in cui le impostazioni di configurazione sono di sola lettura o l'agente per i dati non ha tabelle BigQuery specifiche selezionate come origini di conoscenza.

Risoluzione

Imposta il selettore della visualizzazione su Bozza, assicurati che tabelle BigQuery specifiche siano selezionate come fonti di conoscenza, aggiorna le impostazioni di logging delle conversazioni e pubblica l'agente.

Passaggi successivi