Introduzione alle pipeline di BigQuery
Puoi utilizzare le pipeline di BigQuery per automatizzare e semplificare i processi di dati di BigQuery. Con le pipeline, puoi pianificare ed eseguire gli asset di codice in sequenza per migliorare l'efficienza e ridurre il lavoro manuale.
Panoramica
Le pipeline sono basate su Dataform.
Una pipeline è composta da uno o più dei seguenti asset di codice:
Puoi utilizzare le pipeline per pianificare l'esecuzione degli asset di codice. Ad esempio, puoi pianificare l'esecuzione quotidiana di una query SQL e aggiornare una tabella con i dati di origine più recenti, che possono poi essere utilizzati per una dashboard.
In una pipeline con più asset di codice, definisci la sequenza di esecuzione. Ad esempio, per addestrare un modello di machine learning, puoi creare un flusso di lavoro in cui una query SQL prepara i dati e poi un notebook successivo addestra il modello utilizzando questi dati.
Funzionalità
In una pipeline puoi:
- Creare nuove query SQL o notebook o importare quelli esistenti in una pipeline.
- Pianificare l'esecuzione automatica di una pipeline a un orario e con una frequenza specifici.
- Condividere una pipeline con utenti o gruppi specifici.
- Condividere un link a una pipeline.
Limitazioni
Le pipeline sono soggette alle seguenti limitazioni:
- Le pipeline sono disponibili solo nella Cloud de Confiance console.
- Non puoi modificare la regione per l'archiviazione di una pipeline dopo la sua creazione.
- Puoi concedere agli utenti o ai gruppi l'accesso a una pipeline selezionata, ma non puoi concedere loro l'accesso a singole attività all'interno della pipeline.
- Se l'esecuzione di una pipeline pianificata non termina prima dell'inizio dell'esecuzione pianificata successiva, quest'ultima viene ignorata e contrassegnata con un errore.
Impostare la regione predefinita per gli asset di codice
Tutti i nuovi asset di codice nel tuo Cloud de Confiance progetto utilizzano una regione predefinita. Dopo la creazione dell'asset, non puoi modificarne la regione.
Per impostare la regione predefinita per i nuovi asset di codice:
Vai alla pagina BigQuery.
Nel riquadro a sinistra, fai clic su File per aprire il browser dei file:
Accanto al nome del progetto, fai clic su Visualizza azioni del riquadro File > Cambia regione del codice.
Seleziona la regione del codice che vuoi utilizzare come predefinita.
Fai clic su Salva.
Per un elenco delle regioni supportate, vedi Località di BigQuery Studio.
Aree geografiche supportate
Tutti gli asset di codice vengono archiviati nella regione predefinita per gli asset di codice. L'aggiornamento della regione predefinita modifica la regione per tutti gli asset di codice creati dopo questo punto.
La tabella seguente elenca le regioni in cui sono disponibili le pipeline:
| Descrizione della regione | Nome regione | Dettagli | |
|---|---|---|---|
| Africa | |||
| Johannesburg | africa-south1 |
||
| Americhe | |||
| Columbus | us-east5 |
||
| Dallas | us-south1 |
 Bassi livelli di CO2
|
|
| Iowa | us-central1 |
Bassi livelli di CO2
|
|
| Las Vegas | us-west4 |
||
| Los Angeles | us-west2 |
||
| Messico | northamerica-south1 |
||
| Montréal | northamerica-northeast1 |
Bassi livelli di CO2
|
|
| Virginia del Nord | us-east4 |
||
| Oklahoma | us-central2 |
Bassi livelli di CO2
|
|
| Oregon | us-west1 |
Bassi livelli di CO2 |
|
| Salt Lake City | us-west3 |
||
| Santiago | southamerica-west1 |
Bassi livelli di CO2
|
|
| San Paolo | southamerica-east1 |
Bassi livelli di CO2
|
|
| Carolina del Sud | us-east1 |
||
| Toronto | northamerica-northeast2 |
Bassi livelli di CO2
|
|
| Asia Pacifico | |||
| Bangkok | asia-southeast3 |
||
| Delhi | asia-south2 |
||
| Hong Kong | asia-east2 |
||
| Giacarta | asia-southeast2 |
||
| Melbourne | australia-southeast2 |
||
| Mumbai | asia-south1 |
||
| Osaka | asia-northeast2 |
||
| Seul | asia-northeast3 |
||
| Singapore | asia-southeast1 |
||
| Sydney | australia-southeast1 |
||
| Taiwan | asia-east1 |
||
| Tokyo | asia-northeast1 |
||
| Europa | |||
| Belgio | europe-west1 |
Bassi livelli di CO2
|
|
| Berlino | europe-west10 |
||
| Finlandia | europe-north1 |
Bassi livelli di CO2
|
|
| Francoforte | europe-west3 |
||
| Londra | europe-west2 |
Bassi livelli di CO2
|
|
| Madrid | europe-southwest1 |
Bassi livelli di CO2
|
|
| Milano | europe-west8 |
||
| Paesi Bassi | europe-west4 |
Bassi livelli di CO2
|
|
| Parigi | europe-west9 |
Bassi livelli di CO2
|
|
| Stoccolma | europe-north2 |
Bassi livelli di CO2
|
|
| Torino | europe-west12 |
||
| Varsavia | europe-central2 |
||
| Zurigo | europe-west6 |
Bassi livelli di CO2
|
|
| Medio Oriente | |||
| Dammam | me-central2 |
||
| Doha | me-central1 |
||
| Tel Aviv | me-west1 |
||
Quote e limiti
Le pipeline di BigQuery sono soggette a quote e limiti di Dataform.
Prezzi
L'esecuzione delle attività della pipeline di BigQuery comporta addebiti per il calcolo e lo spazio di archiviazione in BigQuery. Per ulteriori informazioni, vedi Prezzi di BigQuery.
Le pipeline che contengono notebook comportano addebiti per il runtime di Colab Enterprise in base al tipo di macchina predefinito. Per i dettagli sui prezzi, vedi Prezzi di Colab Enterprise.
Ogni esecuzione della pipeline di BigQuery viene registrata utilizzando Cloud Logging. Il logging viene abilitato automaticamente per le esecuzioni della pipeline di BigQuery, che possono comportare addebiti di fatturazione di Cloud Logging. Per ulteriori informazioni, vedi Prezzi di Cloud Logging.
Passaggi successivi
- Scopri come creare le pipeline.
- Scopri come gestire le pipeline.
- Scopri come pianificare le pipeline.