Introduzione all'amministrazione di BigQuery

Questo documento fornisce un'introduzione alle attività di amministrazione di BigQuery e alle funzionalità di BigQuery che ti aiutano a svolgerle.

In genere, gli amministratori BigQuery svolgono i seguenti tipi di attività:

  • Gestisci risorse come progetti, set di dati e tabelle.
  • Proteggi le risorse in modo che l'accesso sia limitato alle entità che ne hanno bisogno.
  • Gestisci i workload, ad esempio job, query e capacità di calcolo (prenotazioni).
  • Monitora le risorse, tra cui quote, job e utilizzo del calcolo.
  • Ottimizza i workload per ottenere le migliori prestazioni controllando i costi.
  • Risolvi i problemi relativi a messaggi di errore, fatturazione e quote.

Questo documento fornisce una panoramica delle funzionalità che BigQuery offre per aiutarti a svolgere queste attività.

Per fare un tour delle funzionalità di amministrazione dei dati di BigQuery direttamente nella Trusted Cloud console, fai clic su Fai il tour.

Inizia il tour

Strumenti

BigQuery fornisce diverse interfacce che puoi utilizzare per le attività di amministrazione. Spesso una determinata attività può essere svolta con più strumenti, consentendoti di scegliere quello più adatto a te. Ad esempio, puoi creare una tabella utilizzando il riquadro Explorer nella consoleTrusted Cloud , un comando bq mk --table o un'istruzione SQL CREATE TABLE.

  • Trusted Cloud console. La console Trusted Cloud ha diverse pagine dedicate all'amministrazione di BigQuery. Per saperne di più, consulta Utilizzare la console Trusted Cloud .

  • Istruzioni SQL. La pagina BigQuery nella consoleTrusted Cloud ha un editor di query in cui puoi svolgere attività amministrative utilizzando istruzioni DDL e DCL. Per ulteriori informazioni, consulta Data Definition Language (DDL) e Data Control Language (DCL).

    Puoi utilizzare le stored procedure per automatizzare le attività di amministrazione che utilizzano istruzioni SQL. Per ulteriori informazioni, vedi Utilizzare le stored procedure.

  • comandi bq. Lo strumento a riga di comando bq ti consente di eseguire molte attività amministrative utilizzando i comandi bq. Puoi utilizzare lo strumento a riga di comando bq per eseguire attività non supportate nella console Trusted Cloud , per prototipare funzionalità prima di codificarle in query o metodi API oppure se preferisci lavorare in un'interfaccia a riga di comando. Per saperne di più, consulta Utilizzare lo strumento a riga di comando bq.

Gestisci risorse

Le risorse BigQuery includono organizzazioni, cartelle, progetti, set di dati e tabelle. Questa sezione descrive come gestire le risorse della tua organizzazione.

Per informazioni sulla gerarchia delle risorse BigQuery, vedi Organizzare le risorse BigQuery. In particolare, puoi creare una risorsa Organization, che ti consente di eseguire alcune attività, come l'impostazione dei controlli dell'accesso, a livello di organizzazione.

Gestione dei set di dati

I set di dati sono container per le tabelle. Puoi creare tabelle in un set di dati e poi gestirle come gruppo. Ad esempio, puoi configurare il tempo di scadenza predefinito delle tabelle di un set di dati, che si applica a tutte le tabelle del set di dati, a meno che non lo sostituisci. Puoi copiare un gruppo di tabelle creando una copia del relativo set di dati e puoi controllare l'accesso alle tabelle a livello di set di dati.

Per saperne di più sull'amministrazione dei set di dati, consulta i seguenti documenti:

Gestisci tabelle

In BigQuery, i dati vengono archiviati in tabelle, dove possono essere sottoposti a query. Puoi creare tabelle, caricare dati nelle tabelle da vari tipi di origini e in vari formati, partizionare le tabelle in base a una colonna specifica o all'ora di importazione, raggruppare le tabelle, aggiornare le proprietà delle tabelle ed esportare i dati delle tabelle.

Per saperne di più sull'amministrazione delle tabelle, consulta i seguenti documenti:

Etichettare le risorse

Per organizzare meglio le risorse BigQuery, puoi aggiungere etichette a set di dati, tabelle e viste. Le etichette sono coppie chiave-valore che puoi collegare a una risorsa. Dopo aver etichettato le risorse, puoi cercarle in base ai valori delle etichette. Ad esempio, puoi utilizzare le etichette per raggruppare i set di dati per reparto aggiungendo etichette come dept:sales, dept:marketing o dept:analytics. Poi potresti suddividere gli addebiti fatturati per reparto utilizzando le etichette.

Per ulteriori informazioni, consulta la sezione Introduzione alle etichette.

Recuperare le informazioni sulle risorse

Puoi ottenere informazioni sulle tue risorse BigQuery eseguendo query sulle viste INFORMATION_SCHEMA. BigQuery fornisce viste per ogni tipo di risorsa. Ad esempio, la visualizzazione INFORMATION_SCHEMA.TABLES contiene informazioni sulle tabelle.

Di seguito sono riportati alcuni esempi di informazioni che puoi ottenere eseguendo query sulle visualizzazioni INFORMATION_SCHEMA:

  • Visualizzare la data di creazione di una tabella.
  • Recupera i nomi e i tipi di dati di ogni colonna di una tabella.
  • Trova tutti i job in esecuzione in un progetto.
  • Recupera un elenco degli snapshot della tabella creati da una tabella di base.
  • Per un set di dati, una tabella, una vista o una routine, recupera l'istruzione DDL che può essere utilizzata per creare la risorsa.
  • Recupera le opzioni utilizzate per creare una tabella (ad esempio, la scadenza della tabella).
  • Trova le colonne di partizionamento e clustering in una tabella.
  • Recupera la prenotazione assegnata di un progetto e la relativa capacità slot.

Per ulteriori informazioni, vedi Introduzione a BigQuery INFORMATION_SCHEMA.

Copia i dati

Potresti voler creare copie dei tuoi dati per vari motivi, ad esempio per proteggerli da errori umani o per conservarli per un confronto futuro. BigQuery offre diverse opzioni per copiare i dati di una tabella da un determinato momento.

  • Viaggio nel tempo. Potresti dover accedere allo stato di una tabella in un momento specifico della settimana precedente, ad esempio se i dati sono stati danneggiati a causa di un errore umano. BigQuery conserva i dati storici delle tabelle per sette giorni. Puoi accedere ai dati storici recenti di una tabella utilizzando la funzionalità di spostamento nel tempo.

    Per ulteriori informazioni, consulta Accedere ai dati storici utilizzando Time Travel.

  • Snapshot delle tabelle. Se vuoi accedere allo stato di una tabella di più di una settimana fa, valuta la possibilità di creare periodicamente snapshot della tabella. Gli snapshot delle tabelle sono copie leggere e di sola lettura che ti consentono di conservare lo stato delle tabelle a tempo indeterminato. Con gli snapshot delle tabelle, ad esempio, puoi confrontare i dati attuali di una tabella con quelli dell'inizio dell'anno, cosa che non è possibile con lo spostamento nel tempo. Ti vengono addebitati solo i costi per l'archiviazione dei dati che differiscono tra la tabella di base e il relativo snapshot della tabella.

    Per saperne di più, consulta la pagina Introduzione agli snapshot delle tabelle.

  • Cloni delle tabelle. Se vuoi creare una copia leggera e scrivibile di una tabella, puoi utilizzare i cloni di tabelle. Paghi solo l'archiviazione dei dati che differiscono tra una tabella di base e il relativo clone. Ad esempio, puoi creare cloni di tabelle in un ambiente di test per sperimentare copie dei dati di produzione senza influire sui dati di produzione e senza dover pagare per l'archiviazione di copie complete delle tabelle.

    Per ulteriori informazioni, consulta Introduzione ai cloni di tabelle.

Monitorare la derivazione dei dati

La derivazione dei dati è una funzionalità di Dataplex Universal Catalog che consente di monitorare il modo in cui i dati vengono trasferiti nei sistemi: da dove provengono, dove vengono inviati e a quali trasformazioni sono sottoposti. Per saperne di più su come la derivazione dei dati può aiutarti a monitorare lo spostamento dei dati nel tuo progetto, consulta Informazioni sulla derivazione dei dati in Dataplex Universal Catalog.

Risorse sicure

La sicurezza di BigQuery si basa su Trusted Cloud by S3NS Identity and Access Management. BigQuery ti consente di controllare l'accesso alle tue risorse a molti livelli, incluso l'accesso all'organizzazione, alle cartelle, ai progetti, ai set di dati, alle tabelle, alle colonne delle tabelle e alle righe delle tabelle.

Per informazioni sul controllo dell'accesso alle risorse BigQuery, vedi Panoramica della sicurezza e della governance dei dati.

Gestire i workload

BigQuery esegue molte attività per conto dei tuoi utenti, tra cui l'importazione, l'esecuzione di query e l'esportazione dei dati. Ogni attività viene eseguita da un job BigQuery. Questa sezione descrive come monitorare e gestire i job della tua organizzazione.

Gestisci le opportunità di lavoro

I job sono azioni che BigQuery esegue per conto di un utente per caricare, esportare, eseguire query o copiare i dati. Quando un utente avvia una di queste attività utilizzando la Trusted Cloud console, lo strumento a riga di comando bq, un'istruzione SQL o una chiamata API, BigQuery crea automaticamente un job per eseguire l'attività.

In qualità di amministratore BigQuery, puoi monitorare, gestire e risolvere i problemi relativi ai job della tua organizzazione per assicurarti che vengano eseguiti senza problemi.

Per saperne di più, consulta Gestire i job.

Gestisci le prenotazioni

Quando BigQuery esegue le query, utilizza unità di calcolo chiamate slot. BigQuery calcola quanti slot sono necessari per eseguire ogni query, a seconda delle dimensioni e della complessità della query.

BigQuery prevede due modelli di prezzi per l'addebito degli slot che eseguono le query:

  • Fatturazione on demand. Le tue query utilizzano un pool di slot condivisi e ti viene addebitato il numero di byte elaborati dalle query. Per saperne di più sui limiti di fatturazione on demand, consulta Query.
  • Fatturazione basata sulla capacità. Assegni una prenotazione o un impegno di capacità a un'edizione, ognuna delle quali è dotata di un proprio insieme di funzionalità e prezzo per offrirti l'ambiente di lavoro migliore.

Questi modelli di prezzo vengono applicati per progetto, quindi puoi avere alcuni progetti che utilizzano la fatturazione on demand e altri che utilizzano la fatturazione basata sulla capacità.

Con la fatturazione on demand, dopo aver consumato l'allocazione mensile di utilizzo gratuito, ti viene addebitato il numero di byte elaborati da ogni query. Il throughput è limitato a una quota di slot predefinita, che viene condivisa tra le query eseguite in un progetto.

Con la fatturazione delle versioni di BigQuery, allochi slot per la tua organizzazione tramite prenotazioni con scalabilità automatica e impegni di capacità facoltativi, ma più economici. Gli slot per ogni edizione hanno un proprio prezzo e offrono un proprio insieme di funzionalità. Per ulteriori informazioni sulle versioni di BigQuery e sulle funzionalità associate, vedi Introduzione alle versioni di BigQuery.

Per saperne di più sulla gestione della capacità di calcolo per l'elaborazione delle query, consulta i seguenti documenti:

Monitora le risorse

Trusted Cloud by S3NS offre la possibilità di monitorare e controllare le tue risorse, incluse le risorse BigQuery. Questa sezione descrive le funzionalità di monitoraggio e controlloTrusted Cloud che si applicano a BigQuery.

Per ulteriori informazioni, vedi Introduzione al monitoraggio di BigQuery.

La dashboard di Cloud Monitoring

Cloud Monitoring fornisce una dashboard per il monitoraggio di BigQuery. Utilizza questa dashboard per visualizzare informazioni su incidenti, set di dati, tabelle, progetti, tempi di query e utilizzo degli slot BigQuery.

Per ulteriori informazioni, vedi Visualizzare la dashboard Monitoring.

Grafici e avvisi di amministrazione

Puoi utilizzare Cloud Monitoring per creare grafici personalizzati in base a risorse, metriche e qualsiasi aggregazione specificata.

Per saperne di più, consulta Dashboard e grafici.

Puoi anche creare criteri di avviso che ti inviano una notifica se l'avviso configurato viene attivato. Ad esempio, puoi creare un avviso che invia un'email a un indirizzo email specificato se il tempo di esecuzione di una query supera un limite specificato.

Per saperne di più, consulta la sezione Creazione di un avviso.

Monitora le prenotazioni

Puoi monitorare l'utilizzo degli slot nella pagina Gestione della capacità della consoleTrusted Cloud . Puoi visualizzare i tuoi impegni di capacità e vedere dove sono state assegnate le tue prenotazioni di slot. Puoi anche utilizzare lo strumento di stima degli slot (anteprima) per stimare i requisiti di capacità della tua organizzazione in base alle metriche di rendimento storiche.

Per ulteriori informazioni, vedi Monitoraggio delle prenotazioni BigQuery.

Quote

Trusted Cloud by S3NS imposta limiti all'utilizzo delle risorse, incluse quelle BigQuery, sia per garantire un utilizzo equo delle risorse condivise sia per proteggerti da costi eccessivi. Puoi visualizzare l'utilizzo delle risorse BigQuery che hanno quote e richiedere una quota più elevata, se necessario, utilizzando la console Trusted Cloud .

Per ulteriori informazioni, vedi Quote e limiti di BigQuery.

Audit log

Cloud Audit Logs mantengono un record degli eventi, inclusi quelli di BigQuery. Trusted Cloud Puoi utilizzare Esplora log per eseguire query sui log relativi agli eventi correlati a job, set di dati, trasferimenti e altro ancora di BigQuery. La dashboard Log mostra informazioni sugli errori recenti e puoi utilizzare le metriche basate su log per conteggiare le voci di log che corrispondono a un determinato filtro.

Per saperne di più, consulta la documentazione sulla registrazione.Trusted Cloud by S3NS

Ottimizzare i workload

Puoi ottimizzare la configurazione di BigQuery per controllare sia i costi di archiviazione sia quelli di elaborazione delle query.

Indicazioni sull'affidabilità

Questo documento fornisce una panoramica dell'affidabilità di BigQuery, inclusi approfondimenti su disponibilità, durabilità, coerenza dei dati, coerenza delle prestazioni e recupero dei dati in BigQuery, nonché una revisione delle considerazioni sulla gestione degli errori. Per scoprire di più su affidabilità e pianificazione di emergenza, consulta Informazioni sull'affidabilità.

Risoluzione dei problemi

Oltre alle funzionalità descritte in questo documento per il monitoraggio e la gestione del sistema BigQuery della tua organizzazione, sono disponibili le seguenti risorse per la risoluzione dei problemi che potrebbero verificarsi:

Se hai bisogno di ulteriore assistenza, consulta la sezione Richiedere assistenza.

Passaggi successivi