Monitorare i job

In qualità di amministratore di BigQuery, puoi monitorare i job della tua organizzazione tramite uno strumento di esplorazione dei job amministrativi nella Cloud de Confiance console. Lo strumento di esplorazione dei job fornisce filtri e opzioni di ordinamento per identificare, confrontare e risolvere i problemi relativi ai job. Non è necessario scrivere query INFORMATION_SCHEMA per visualizzare i dettagli dei job, come proprietario, progetto, utilizzo degli slot, durata e altro ancora.

Con lo strumento di esplorazione dei job puoi:

BigQuery fornisce i dettagli e gli insight dei job dalle seguenti viste INFORMATION_SCHEMA:

Prima di iniziare

Per utilizzare Gemini Code Assist per risolvere i problemi relativi ai job in BigQuery (anteprima), consulta Configurare Gemini Code Assist per abilitare l'API e assegnare i ruoli richiesti.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per utilizzare lo strumento di esplorazione dei job per monitorare i job, chiedi all'amministratore di concederti i seguenti ruoli IAM:

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per utilizzare lo strumento di esplorazione dei job per monitorare i job. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per utilizzare lo strumento di esplorazione dei job per monitorare i job sono necessarie le seguenti autorizzazioni:

  • Visualizzare i job a livello di progetto: bigquery.jobs.listAll nel progetto
  • Visualizzare i job a livello di organizzazione: bigquery.jobs.listAll nell'organizzazione
  • Filtrare per prenotazioni nella tua organizzazione: bigquery.reservations.list nell'organizzazione

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Per utilizzare Gemini Code Assist per risolvere i problemi relativi ai job, consulta i requisiti IAM aggiuntivi per l'utilizzo di Gemini Code Assist.

Filtrare i job

Per filtrare i job per le query contenute nelle viste INFORMATION_SCHEMA.JOBS*:

  1. Nella Cloud de Confiance console, vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel menu di navigazione, fai clic su Esplora job.

  3. Nell'elenco Località, seleziona la località per cui vuoi visualizzare i job.

  4. Applica i filtri facoltativi in base alle esigenze:

    • Ambito del job: filtra i job in base al livello di visibilità, ad esempio il progetto corrente, l'organizzazione e i tuoi job. Puoi scegliere di visualizzare i job del progetto corrente, dell'intera organizzazione o solo i job che hai avviato.
    • Stato: filtra i job in base al loro stato di esecuzione attuale, ad esempio completato, errore, attivo e in coda. In questo modo puoi identificare i job attivi o non riusciti.
    • Categoria job: filtra i job in base al tipo di operazione eseguita, ad esempio query SQL standard o query continue utilizzate per l'elaborazione dei dati in tempo reale.
    • Motivo di creazione del job: filtra i job in base al motivo per cui sono stati creati da BigQuery, ad esempio quando una query supera un timeout o produce risultati troppo grandi per una singola risposta.
    • Priorità job: filtra i job in base alla loro priorità di esecuzione, ad esempio job interattivi o batch.
    • ID job: filtra un job specifico in base al suo identificatore alfanumerico univoco.
    • Proprietario: filtra i job in base all'indirizzo email dell'utente o del account di servizio che ha avviato il job.
    • ID progetto: filtra i job eseguiti in un progetto specifico. Questo filtro è disponibile solo quando l'ambito del job è impostato su Organizzazione.
    • ID prenotazione: filtra i job che hanno utilizzato gli slot di una prenotazione specifica. In questo modo puoi monitorare il consumo della capacità riservata da parte di diversi carichi di lavoro.
    • Tempo slot maggiore di: filtra i job che hanno consumato più di una quantità specificata di slot-millisecondi. Questa è una metrica chiave per identificare le query che richiedono molte risorse.
    • Durata maggiore di: filtra i job che hanno impiegato più di una quantità di tempo specificata per essere completati. Utilizza questa opzione per trovare le query che vengono eseguite più lentamente del previsto.
    • Byte elaborati maggiori di: filtra i job che hanno scansionato più di una quantità di dati specificata. In questo modo puoi identificare le query che potrebbero contribuire a costi di elaborazione dei dati elevati.
    • Insight sulle query: filtra i job che BigQuery ha identificato come aventi problemi di rendimento specifici, come la contesa degli slot, la capacità di shuffling della memoria superata e la modifica della scalabilità dell'input dei dati.
    • Hash di query: filtra i job con un hash di query specifico. Un hash di query identifica la logica di una query, ignorando le differenze nei commenti, nei valori dei parametri, nelle UDF e nei valori letterali, il che ti aiuta a trovare tutte le esecuzioni della stessa logica di query. Questo campo viene visualizzato per le query GoogleSQL riuscite che non sono hit della cache.
    • Etichette: filtra i job in base alle etichette dei metadati personalizzati che tu o la tua organizzazione avete allegato. In questo modo puoi classificare e monitorare i job per reparto o applicazione.

Risolvere i problemi di rendimento dei job

Per diagnosticare e risolvere i problemi relativi alle query, puoi visualizzare le metriche di esecuzione, il testo SQL e le variazioni del rendimento storico nella pagina Dettagli job.

Visualizzare i dettagli del job

Per visualizzare i dettagli di un job e analizzare l'esecuzione della query:

  1. Vai alla pagina Esplora job.

    Vai a Esplora job

  2. (Facoltativo) Per restringere i job visualizzati, filtra i job.

  3. Fai clic sull'ID del job che vuoi esaminare. Per le query che non creano un job, viene visualizzato l'ID della query e il link è disattivato. Se fai clic su un ID job valido, si apre la pagina Dettagli job con la scheda Rendimento visualizzata per impostazione predefinita.

Informazioni sulle query disponibili

Per aiutarti a diagnosticare il rendimento delle query, la scheda Rendimento nei dettagli del job raccoglie le seguenti informazioni e metriche, se applicabili:

  • Dettagli job: informazioni sul job, inclusi ID job, ora di creazione , byte elaborati e utilizzo degli slot. Per saperne di più, consulta Visualizzare i dettagli del job.
  • Cronologia di esecuzione: un elenco delle esecuzioni storiche della query, raggruppate per hash di query. Puoi selezionare un job da questo elenco per confrontarlo direttamente con il job corrente. Per saperne di più, consulta Confrontare i job.

  • Grafico di esecuzione: una rappresentazione visiva delle fasi di esecuzione della query. Espandi la sezione Grafico di esecuzione per esaminare la contesa degli slot, la capacità di shuffling e la scalabilità dell'input dei dati. Per saperne di più, consulta Ottenere insight sul rendimento delle query.

    L'esempio seguente mostra un grafico di esecuzione con la mappatura del testo SQL abilitata:

    Grafico di esecuzione dei job.

  • Carico di sistema durante l'esecuzione: un riepilogo delle risorse di calcolo e delle impostazioni di prenotazione allocate durante l'esecuzione del job.

Diagnosticare le regressioni del rendimento confrontando job e sistemi

Lo strumento di confronto del rendimento ti consente di analizzare le differenze di rendimento tra due job di query o tra due intervalli di sistema. L'analisi mostra i dettagli delle query, le variazioni dell'utilizzo delle risorse e le impostazioni dell'ambiente di sistema che differiscono in modo significativo tra gli ambienti di base e di destinazione.

Informazioni sull'analisi di confronto

Lo strumento di confronto valuta il rendimento in base alle metriche a livello di query e ai fattori a livello di sistema. Puoi attivare/disattivare l'opzione Mostra solo le differenze significative per limitare la visualizzazione alle metriche con una varianza superiore al 20%.

Le differenze significative sono codificate a colori per aiutarti a individuare i problemi:

  • Verde: la metrica è migliorata (ad esempio, una durata della query più breve nell' esecuzione di destinazione).
  • Giallo: la metrica è peggiorata di meno del 20%.
  • Rosso: la metrica è peggiorata di oltre il 20%.

Confrontare due job

Per confrontare un job di base con un'esecuzione di job di destinazione:

  1. Apri la pagina Esplora job.

    Vai a Esplora job

  2. (Facoltativo) Per restringere i job visualizzati, filtra i job.

  3. Fai clic sull'ID del job di base per aprire la pagina Dettagli job e seleziona la scheda Rendimento.

  4. Nel menu Azioni, fai clic su Confronta job.

  5. Nel campo Job 1 (job di base), fai clic su Sfoglia per aprire il riquadro Job comparabili simili.

  6. Seleziona il job di destinazione che vuoi confrontare con la base e fai clic su Confronta.

  7. (Facoltativo) Per concentrarti sulle principali regressioni del rendimento, attiva l'opzione Mostra solo le differenze significative. In questo modo, la visualizzazione viene limitata alle metriche con una varianza superiore al 20%.

Per modificare i job confrontati in qualsiasi momento, fai clic su Sfoglia nei campi del job di base o di destinazione e seleziona un nuovo job dall'elenco dei job comparabili.

Analisi a livello di query

Dopo aver confrontato due job, puoi visualizzare la sezione Analisi a livello di query , che confronta due esecuzioni di job in tre schede:

  • Metriche: confronta le metriche principali delle query, come durata del job, tempo slot, byte elaborati e acceleratori non utilizzati.
  • Testo SQL: mostra le istruzioni SQL per entrambi i job ed evidenzia le differenze di testo.
  • Grafico di esecuzione: confronta i grafici di esecuzione di entrambi i job fase per fase per individuare i colli di bottiglia.

Confrontare due intervalli di sistema

Amministratori e analisti possono analizzare le metriche dell'ambiente più ampie eseguendo un confronto del rendimento del sistema. Questo strumento ti consente di confrontare gli intervalli storici tra progetti e prenotazioni specifici per comprendere le variazioni di utilizzo e isolare se il peggioramento del rendimento ha avuto origine internamente o esternamente al carico di lavoro.

Puoi accedere alla visualizzazione del confronto del rendimento del sistema in uno dei seguenti modi:

  • Nella pagina Dettagli job, dopo aver confrontato due job, fai clic su Visualizza altro nella sezione Output a livello di sistema per visualizzare i dettagli del confronto del sistema.
  • Se utilizzi Gemini Cloud Assist per eseguire un confronto del sistema, Gemini Cloud Assist genera un link che apre i risultati del confronto del sistema.

Per eseguire un confronto a livello di sistema in periodi di tempo separati:

  1. Nella visualizzazione Confronto del rendimento del sistema, fai clic su Sistema.
  2. Seleziona il sistema in cui vuoi analizzare il rendimento facendo clic su Sfoglia e selezionando un ambito di prenotazione o progetto.
  3. Definisci gli intervalli di tempo di confronto:
    • Intervallo di destinazione: seleziona la finestra di data e ora per il periodo in cui si verificano problemi di rendimento e fai clic su Applica.
    • Intervallo di base: seleziona la finestra di data e ora di riferimento da utilizzare come benchmark del rendimento e fai clic su Applica.

Analisi a livello di sistema

Dopo aver confrontato gli intervalli, la visualizzazione mappa le variazioni di utilizzo, le variazioni di concorrenza e le differenze di impostazione nell'ambiente selezionato rispetto al gruppo principale. In questo modo puoi determinare se la contesa degli slot o le regressioni della configurazione influiscono sul carico di lavoro. I dati vengono generati in tre blocchi:

  • Progetto: confronta la concorrenza dei job, la concorrenza in coda e l'utilizzo totale degli slot a livello di progetto.
  • Prenotazione: confronta l'utilizzo delle prenotazioni, la condivisione degli slot inattivi e la concorrenza dei progetti tra le prenotazioni condivise.
  • Analisi della configurazione: confronta le impostazioni di gestione del carico di lavoro tra le due esecuzioni, ad esempio i limiti massimi delle dimensioni delle prenotazioni e le regole di prestito degli slot inattivi.

Utilizzare gli insight per la risoluzione dei problemi di rendimento degli agenti

Per fornire feedback o richiedere assistenza per questa funzionalità, invia un'email all'indirizzo bq-performance-troubleshooting+feedback@google.com.

Quando monitori le attività di amministrazione o valuti i confronti del rendimento, BigQuery integra la diagnostica di osservabilità sottostante con Gemini Cloud Assist per trasformare il riquadro della chat in un assistente attivo per la risoluzione dei problemi durante la risoluzione dei problemi relativi alle anomalie a livello di job e di sistema.

Gli insight sono controllati dall'accesso; senza autorizzazioni sufficienti, gli insight che ricevi potrebbero essere limitati. Per saperne di più sulle autorizzazioni, consulta Controllare l'accesso alle risorse con IAM.

Risolvere i problemi di rendimento nella chat

Per inizializzare la risoluzione dei problemi sensibile al contesto e agire in base agli insight sul rendimento:

  1. Per aprire il riquadro della chat di Gemini Cloud Assist e caricare automaticamente il contesto del job o del sistema pertinente, esegui una delle seguenti operazioni:
    • Nelle pagine Esplora job o Cronologia job, passa il mouse sopra un job e fai clic su spark Gemini nella riga della tabella.
    • Nella pagina Gestione della capacità, passa il mouse sopra una prenotazione e fai clic spark Gemini in quella riga della tabella.
    • In Studio, Monitoraggio o Esplora job, fai clic spark Gemini.
  2. Invia un prompt in linguaggio naturale. Ad esempio, chiedi a Gemini di spiegare perché un job viene eseguito lentamente, analizzare statistiche specifiche dei job, analizzare il rendimento di una prenotazione specifica, risolvere i problemi di rendimento del sistema o confrontare le variazioni di rendimento tra due job storici simili.
  3. Se viene superata una soglia a livello di organizzazione o di prenotazione, ad esempio una coda di slot grave a causa di un aumento imprevisto della concorrenza dei progetti attivi, esamina il report Insight sul rendimento generato. Questo report descrive in dettaglio i colli di bottiglia critici, ad esempio:
    • Aumento della concorrenza in coda: picchi nelle richieste di query simultanee che superano i limiti di concorrenza soft o le assegnazioni di slot di prenotazione.
    • Aumento della concorrenza dei progetti: monitoraggio dei progetti ad alta concorrenza o degli account utente principali che determinano il carico di sistema nelle prenotazioni condivise o nelle quote on demand.
  4. Esamina la tabella Confronto metriche chiave per tracciare le differenze numeriche precise, ad esempio le variazioni della concorrenza media dei progetti, degli slot in coda o dei limiti massimi degli slot di prenotazione.

  5. Esegui le soluzioni in linea direttamente tramite i link di trasferimento utilizzabili generati da Gemini Cloud Assist. Questi scorciatoie ti reindirizzano a strumenti specifici del prodotto con il contesto precompilato per rispondere alle tue domande e risolvere i problemi:

    • Modifica prenotazione: apre il riquadro laterale di gestione del carico di lavoro per modificare le dimensioni massime delle prenotazioni o attivare le funzionalità di scalabilità avanzate.
    • Visualizza il rendimento del job in Esplora job: apre la scheda dei dettagli sul rendimento per il job specifico.
    • Confronta il rendimento del job in Esplora job: confronta il rendimento di due job affiancati.

Prezzi

Lo strumento di esplorazione dei job è disponibile senza costi aggiuntivi. Le query utilizzate per popolare questi grafici non vengono fatturate e non utilizzano gli slot nelle prenotazioni di proprietà dell'utente. Le query che elaborano troppi dati vanno in timeout.

Passaggi successivi