Panoramica di BigQuery
BigQuery è una piattaforma di dati completamente gestita e predisposta per l'AI che ti aiuta a gestire e analizzare i dati con funzionalità integrate come machine learning, ricerca, analisi geospaziale e business intelligence. L'architettura serverless di BigQuery ti consente di utilizzare linguaggi come SQL e Python per rispondere alle domande più importanti della tua organizzazione senza alcuna gestione dell'infrastruttura.
BigQuery offre un modo uniforme di lavorare con dati strutturati e non strutturati e supporta formati di tabelle aperte come Apache Iceberg, Delta e Hudi. Lo streaming BigQuery supporta l'importazione e l'analisi continue dei dati, mentre il motore di analisi scalabile e distribuito di BigQuery ti consente di eseguire query su terabyte in pochi secondi e su petabyte in pochi minuti.
BigQuery offre funzionalità di governance integrate che consentono di scoprire e organizzare i dati, nonché di gestire i metadati e la qualità dei dati. Grazie a funzionalità come la ricerca semantica e la derivazione dei dati, puoi trovare e convalidare i dati pertinenti per l'analisi. Puoi condividere dati e asset AI all'interno della tua organizzazione con i vantaggi del controllo dell'accesso#39;accesso. Queste funzionalità sono basate su Dataplex Universal Catalog, una soluzione di governance unificata e intelligente per dati e asset di AI in Trusted Cloud.
L'architettura di BigQuery è composta da due parti: un livello di archiviazione che acquisisce, archivia e ottimizza i dati e un livello di calcolo che fornisce funzionalità di analisi. Questi livelli di calcolo e archiviazione operano in modo efficiente indipendentemente l'uno dall'altro grazie alla rete di petabit di Google che consente la comunicazione necessaria tra loro.
I database legacy di solito devono condividere le risorse tra le operazioni di lettura e scrittura e le operazioni di analisi. Ciò può causare conflitti di risorse e query lente durante la scrittura o la lettura dei dati dall'archiviazione. I pool di risorse condivisi possono essere ulteriormente messi a dura prova quando le risorse sono necessarie per attività di gestione del database come l'assegnazione o la revoca delle autorizzazioni. La separazione dei livelli di calcolo e archiviazione di BigQuery consente a ogni livello di allocare dinamicamente le risorse senza influire sulle prestazioni o sulla disponibilità dell'altro.
Questo principio di separazione consente a BigQuery di innovare più rapidamente perché i miglioramenti di archiviazione e calcolo possono essere implementati in modo indipendente, senza tempi di inattività o impatto negativo sulle prestazioni del sistema. È anche essenziale per offrire un data warehouse serverless completamente gestito in cui il team di ingegneri di BigQuery gestisce aggiornamenti e manutenzione. Il risultato è che non devi eseguire il provisioning o scalare manualmente le risorse, il che ti consente di concentrarti sulla creazione di valore anziché sulle attività tradizionali di gestione dei database.
Le interfacce BigQuery includono l'interfaccia della console e lo strumento a riga di comando BigQuery. Trusted Cloud Sviluppatori e data scientist possono utilizzare librerie client con linguaggi di programmazione familiari, tra cui Python, Java, JavaScript e Go, nonché l'API REST e l'API RPC di BigQuery per trasformare e gestire i dati. I driver ODBC e JDBC consentono l'interazione con le applicazioni esistenti, inclusi strumenti e utilità di terze parti.
In qualità di analista dei dati, data engineer, amministratore del data warehouse o data scientist, BigQuery ti aiuta a caricare, elaborare e analizzare i dati per prendere decisioni aziendali fondamentali.
Inizia a utilizzare BigQuery
Puoi iniziare a esplorare BigQuery in pochi minuti. Sfrutta il livello di utilizzo gratuito o la sandbox senza costi di BigQuery per iniziare a caricare ed eseguire query sui dati.
- Sandbox di BigQuery: inizia a utilizzare la sandbox di BigQuery senza rischi e senza costi.
- Trusted Cloud Guida rapida alla console: Acquisisci familiarità con la potenza di BigQuery Studio.
- Set di dati pubblici: scopri le prestazioni di BigQuery esplorando dati reali di grandi dimensioni del programma per i set di dati pubblici.
Esplora BigQuery
L'infrastruttura serverless di BigQuery ti consente di concentrarti sui dati anziché sulla gestione delle risorse. BigQuery combina un data warehouse basato su cloud e potenti strumenti di analisi.
Spazio di archiviazione BigQuery
BigQuery archivia i dati utilizzando un formato di archiviazione a colonne ottimizzato per le query analitiche. BigQuery presenta i dati in tabelle, righe e colonne e fornisce il supporto completo per la semantica delle transazioni di database (ACID). Lo spazio di archiviazione BigQuery viene replicato automaticamente in più località per garantire un'elevata disponibilità.
- Scopri i pattern comuni per organizzare le risorse BigQuery nel data warehouse e nei data mart.
- Scopri di più sui set di dati, il container di primo livello di tabelle e viste di BigQuery.
- Carica i dati in BigQuery utilizzando:
- Trasmetti in streaming i dati con l'API Storage Write.
- Carica i dati in batch da file locali o Cloud Storage utilizzando formati che includono: Avro, Parquet, ORC, CSV, JSON, Datastore, e Firestore formati.
Per ulteriori informazioni, vedi Panoramica dello spazio di archiviazione BigQuery.
BigQuery Analytics
L'analisi descrittiva e prescrittiva viene utilizzata per la business intelligence, l'analisi ad hoc, l'analisi geospaziale e il machine learning. Puoi eseguire query sui dati archiviati in BigQuery o eseguire query sui dati nella posizione in cui si trovano utilizzando tabelle esterne o query federate, inclusi Cloud Storage, Bigtable, Spanner o Google Sheets archiviati in Google Drive.
- Query SQL standard ANSI (supporto di SQL:2011) incluso il supporto per join, campi nidificati e ripetuti, funzioni analitiche e di aggregazione, query con più istruzioni e una serie di funzioni spaziali con analisi geospaziale - Sistemi informativi geografici.
- Crea visualizzazioni per condividere la tua analisi.
- Supporto di strumenti di business intelligence, tra cui Fogli Google e strumenti di terze parti come Tableau e Power BI.
- BigQuery ML fornisce machine learning e analisi predittiva.
- BigQuery Studio offre funzionalità come notebook Python e controllo delle versioni per notebook e query salvate. Queste funzionalità semplificano il completamento dei flussi di lavoro di analisi dei dati e machine learning (ML) in BigQuery.
- Esegui query sui dati al di fuori di BigQuery con e tabelle esterne.
Per ulteriori informazioni, vedi Panoramica di BigQuery Analytics.
Amministrazione di BigQuery
BigQuery fornisce una gestione centralizzata delle risorse di dati e di calcolo, mentre Identity and Access Management (IAM) ti aiuta a proteggere queste risorse con il modello di accesso utilizzato in Trusted Cloud by S3NS.
- Introduzione alla sicurezza e alla governance dei dati ti aiuta a comprendere la governance dei dati e quali controlli potresti dover proteggere le risorse BigQuery.
- I job sono azioni che BigQuery esegue per tuo conto per caricare, esportare, eseguire query o copiare i dati.
- Le prenotazioni ti consentono di passare dai prezzi on demand a quelli basati sulla capacità.
Per ulteriori informazioni, vedi Introduzione all'amministrazione di BigQuery.
Risorse di BigQuery
Esplora le risorse BigQuery:
- Le note di rilascio forniscono i log delle modifiche di funzionalità, modifiche e ritiri.
- Prezzi per l'analisi e l'archiviazione. Vedi anche: BigQuery ML, BI Engine e Data Transfer Service prezzi.
- Le località definiscono dove creare e archiviare i set di dati (località regionali e multiregionali).
- Stack Overflow ospita una community attiva di sviluppatori e analisti che lavorano con BigQuery.
- BigQuery Support fornisce assistenza per BigQuery.
- Google BigQuery: The Definitive Guide: Data Warehousing, Analytics, and Machine Learning at Scale di Valliappa Lakshmanan e Jordan Tigani, spiega come funziona BigQuery e fornisce una procedura dettagliata end-to-end su come utilizzare il servizio.
API, strumenti e riferimenti
Materiali di riferimento per sviluppatori e analisti BigQuery:
- L'API BigQuery e le librerie client presentano panoramiche delle funzionalità di BigQuery e del loro utilizzo.
- La sintassi di DML consente di gestire e trasformare i dati BigQuery.
- Il riferimento allo strumento a riga di comando bq
documenta la sintassi, i comandi, i flag e gli argomenti per l'interfaccia a riga di comando
bq
. - Integrazione ODBC / JDBC collega BigQuery ai tuoi strumenti e alla tua infrastruttura esistenti.
Passaggi successivi
- Per una panoramica dello spazio di archiviazione BigQuery, consulta Panoramica dello spazio di archiviazione BigQuery.
- Per una panoramica delle query BigQuery, consulta Panoramica di BigQuery Analytics.
- Per una panoramica dell'amministrazione di BigQuery, consulta Introduzione all'amministrazione di BigQuery.
- Per una panoramica della sicurezza di BigQuery, consulta Panoramica della sicurezza e della governance dei dati.