Introduzione alla risoluzione dei problemi

Questo documento fornisce una panoramica degli strumenti di diagnostica, delle interfacce di telemetria e delle risorse di documentazione disponibili per aiutarti a risolvere i problemi in BigQuery.

Quando si verificano errori di query, colli di bottiglia delle prestazioni, errori di autorizzazione, limiti di quota o problemi di importazione dati, BigQuery fornisce strumenti integrati per aiutarti a identificare le cause principali e risolvere rapidamente i problemi.

Workflow di risoluzione dei problemi

Per risolvere un problema in BigQuery in modo efficace, considera i seguenti criteri di diagnostica:

  1. Identifica il sintomo e la modalità di errore. Esamina i risultati dell'attività per determinare se il problema è un errore grave (ad esempio un codice di errore o un job non riuscito), un peggioramento delle prestazioni (ad esempio una query lenta o una mancanza di slot), un rifiuto dell'autorizzazione o una discrepanza di costo imprevista.
  2. Esamina i dettagli di esecuzione del job. Utilizza Esplora job della console Cloud de Confiance , il grafico di esecuzione delle query o gli strumenti a riga di comando per esaminare le tempistiche a livello di fase, l'allocazione degli slot e i dettagli degli errori. Puoi anche chiedere a Gemini Cloud Assist di esaminare il problema.
  3. Analizza la telemetria e i metadati. Esegui query sulle viste dello schema di informazioni o esamina Cloud Audit Logs per correlare il comportamento dei job con la contesa delle risorse, i limiti di prenotazione o le modifiche amministrative.
  4. Applica mitigazioni mirate. Utilizza le guide alla risoluzione dei problemi specifiche per categoria o le funzioni SQL difensive per risolvere la causa sottostante.

Distinguere la risoluzione dei problemi dall'ottimizzazione

Quando lavori con BigQuery, è importante distinguere tra risoluzione dei problemi, ottimizzazione delle prestazioni e best practice:

  • Risoluzione dei problemi. Si concentra sulla diagnosi e sulla risoluzione di errori imprevisti, errori di runtime, pipeline interrotte, esaurimento della quota o comportamenti indesiderati che impediscono il completamento dei job.
  • Ottimizzazione delle prestazioni. Si concentra sul miglioramento della velocità di esecuzione, della latenza o dell'efficienza delle risorse di query e workload già in esecuzione. Per ulteriori informazioni, consulta Ottimizza le prestazioni delle query.
  • Best practice. Si concentra sui pattern di architettura e progettazione per la modellazione, l'archiviazione, la sicurezza e la gestione dei costi dei dati. Per saperne di più, consulta Introduzione alle best practice.

Strumenti di diagnostica

Le sezioni seguenti descrivono diverse interfacce e strumenti automatici di BigQuery per aiutarti a diagnosticare i problemi nei tuoi workload.

Strumenti visivi e della console

I seguenti strumenti ti aiutano a risolvere i problemi di BigQuery dalla consoleCloud de Confiance .

  • Esplora job. Cerca, filtra e ispeziona i job passati e in esecuzione in progetti o organizzazioni senza scrivere query SQL. Puoi visualizzare i messaggi di errore, l'utilizzo degli slot, le cronologie di esecuzione e i metadati dei job. Per saperne di più, consulta Monitora i job in Esplora job.
  • Grafico di esecuzione delle query. Esamina il piano di esecuzione visivo fase per fase di una query. Il grafico di esecuzione ti aiuta a identificare i colli di bottiglia, come gli spill di shuffle su disco, le fasi limitate dal calcolo, la distorsione dei dati o i ritardi di input/output. Per saperne di più, consulta Ottieni insight sulle prestazioni delle query.
  • Query Insights e grafici delle risorse. Visualizza grafici in tempo reale e storici dell'utilizzo degli slot, della contemporaneità dei job e delle allocazioni delle prenotazioni per diagnosticare i vincoli di capacità. Per saperne di più, consulta Utilizza i grafici delle risorse amministrative.
  • Gemini Cloud Assist in BigQuery. Ricevi un'analisi contestuale assistita dall'AI delle query non riuscite e dei colli di bottiglia delle prestazioni. Gemini Cloud Assist spiega i codici di errore, evidenzia la sintassi SQL problematica e suggerisce i passaggi di correzione direttamente nella consoleCloud de Confiance . Per saperne di più, consulta Risolvi i problemi delle query utilizzando Gemini Cloud Assist.

Strumenti di diagnostica automatizzati e a riga di comando

I seguenti strumenti possono aiutarti a diagnosticare i problemi di BigQuery da un'interfaccia a riga di comando.

Visualizzazioni di metadati e telemetria

Le viste Information Schema consentono di eseguire query sui metadati storici e in tempo reale relativi a job, capacità, importazione di flussi di dati e set di dati utilizzando SQL standard. Queste visualizzazioni includono:

Per saperne di più, consulta Introduzione a BigQuery INFORMATION_SCHEMA.

Cloud Monitoring e Cloud Audit Logs

  • Cloud Audit Logs. Esamina gli audit log delle attività di amministrazione e del controllo dell'accesso ai dati per rintracciare chi ha avviato operazioni specifiche, ispezionare le identità dei chiamanti e diagnosticare gli errori PERMISSION_DENIED. Per saperne di più, consulta il riferimento per l'audit logging di BigQuery.
  • Cloud Monitoring. Monitora metriche come l'utilizzo degli slot, la durata dell'esecuzione delle query e i byte caricati e configura le policy di avviso per informare il tuo team quando vengono superate le soglie o le quote. Per saperne di più, consulta Monitora BigQuery utilizzando Cloud Monitoring.

Funzioni SQL difensive e istruzioni di debug

Per evitare che le query non vadano a buon fine in modo imprevisto a causa di errori dei dati di runtime, utilizza quanto segue:

  • Espressioni sicure. Utilizza SAFE_CAST(), SAFE_DIVIDE(), SAFE_OFFSET() e SAFE_ORDINAL() per restituire NULL anziché generare errori di runtime quando i tipi di dati o i limiti degli array non corrispondono. La maggior parte delle funzioni scalari supporta il prefisso SAFE.. Per saperne di più, consulta Debug delle funzioni e Prefisso SAFE..
  • Asserzioni SQL. Utilizza l'istruzione ASSERT in transazioni o script con più istruzioni per applicare le condizioni di convalida dei dati e generare errori con messaggi di errore personalizzati prima dell'esecuzione delle operazioni downstream. Per saperne di più, consulta Istruzioni di debug.

Risolvi i problemi per categoria

Seleziona una categoria dalle sezioni seguenti per visualizzare codici di errore dettagliati, cause principali e guide alla risoluzione passo passo.

Prestazioni ed esecuzione delle query

Diagnostica le query che non vengono eseguite, vanno in timeout, riscontrano vincoli delle risorse o subiscono ritardi imprevisti.

Identity and Access Management (IAM) e sicurezza

Diagnostica gli errori di controllo dell'accesso, le assegnazioni di ruoli mancanti e i blocchi delle policy di governance dei dati.

Quote, limiti di frequenza e prenotazioni

Risolvi i problemi quando i workload superano i limiti del servizio BigQuery o le allocazioni della capacità.

Importazione, flussi e trasferimenti di dati

Diagnostica gli errori durante il caricamento dei dati, lo streaming dei record o la sincronizzazione delle origini esterne.

  • Risolvi i problemi relativi ai trasferimenti di dati. Diagnostica i problemi di BigQuery Data Transfer Service, la connettività di rete per i trasferimenti privati e gli errori di caricamento dei dati CSV.
  • Risolvi i problemi relativi alle configurazioni di trasferimento. Risolvi gli errori di configurazione del servizio BigQuery Data Transfer Service in origini come Amazon Simple Storage Service (Amazon S3), Salesforce, Google Ads e Cloud Storage.
  • Risolvi i problemi relativi all'API BigQuery Storage. Esegui il debug degli errori di acquisizione dei flussi di dati dell'API BigQuery Storage Read, dell'API BigQuery Storage Write (gRPC) e dell'API BigQuery Storage Write (REST), degli errori di inserimento a livello di riga e delle quote di throughput.
  • Risolvi gli errori dello schema. Risolvi gli errori di mancata corrispondenza dello schema relativi alle operazioni di caricamento, query, copia e aggiornamento dello schema (ad esempio modifiche alle colonne mancanti, duplicate o incompatibili) e ai limiti di profondità di nidificazione di schemi, file e routine di 15 livelli.

Pipeline e derivazione dei dati

Diagnostica i problemi relativi alle esecuzioni della pipeline BigQuery e ai report sulla derivazione dei dati.

Migrazione dei data warehouse

Diagnostica i problemi durante la valutazione, la traduzione o la migrazione di data warehouse esterni a BigQuery.

  • Risolvi i problemi di migrazione. Risolvi gli errori di valutazione della migrazione, i problemi di traduzione SQL interattiva e batch e gli errori di estrazione dei metadati.

Origini dati esterne e query federate

Diagnostica gli errori di connettività, autenticazione ed esecuzione durante l'esecuzione di query sui dati all'esterno di BigQuery.

Discrepanze nella fatturazione e nei costi

Esamina gli addebiti imprevisti e le discrepanze di fatturazione tra computing e archiviazione.

Mitigazione della perdita di dati

Per recuperare i dati storici modificati o eliminati o per mantenere la continuità aziendale durante un'interruzione a livello di regione, utilizza i seguenti strumenti di ripristino di emergenza e conservazione dei dati:

  • Ripristina i dati. Esegui query o ripristina i dati della tabella che sono stati modificati o eliminati all'interno della finestra di spostamento cronologico. Per saperne di più, consulta Ripristina i dati.
  • Viaggio nel tempo. Conserva i dati aggiornati o eliminati in un set di dati per un periodo di conservazione configurato per proteggerli da modifiche accidentali. Per saperne di più, consulta Spostamento temporale.
  • Failover regionale. Promuovi una replica secondaria al ruolo principale durante un'interruzione a livello di regione quando utilizzi il disaster recovery gestito da BigQuery. Per saperne di più, consulta Failover regionale.

Utilizzo delle API

Quando interagisci con BigQuery in modo programmatico, utilizza le seguenti risorse per ottimizzare la latenza delle richieste e gestire i workflow di caricamento:

  • Suggerimenti per le prestazioni dell'API. Segui le best practice per effettuare chiamate API, ad esempio la gestione dei pool di connessioni, l'utilizzo di operazioni batch e la gestione dei nuovi tentativi. Per saperne di più, consulta Suggerimenti per le prestazioni dell'API.
  • Caricamenti tramite API. Risolvi i problemi e gestisci l'importazione dati utilizzando le richieste di caricamento riprendibile e multiparte dell'API REST. Per saperne di più, consulta Caricamenti API.

Autenticazione e ADC

Per assistenza nella risoluzione dei problemi comuni che potresti riscontrare durante l'utilizzo Credenziali predefinite dell'applicazione (ADC), consulta Risolvi i problemi di configurazione di ADC.

Passaggi successivi