Introduzione alle pipeline BigQuery
Puoi utilizzare le pipeline BigQuery per automatizzare e semplificare le tue elaborazioni dei dati BigQuery. Con le pipeline, puoi pianificare ed eseguire gli asset di codice in sequenza per migliorare l'efficienza e ridurre le attività manuali.
Panoramica
Le pipeline sono basate su Dataform.
Una pipeline è costituita da uno o più dei seguenti asset di codice:
Puoi utilizzare le pipeline per pianificare l'esecuzione degli asset di codice. Ad esempio, puoi pianificare l'esecuzione giornaliera di una query SQL e aggiornare una tabella con i dati di origine più recenti, che possono poi essere utilizzati per una dashboard.
In una pipeline con più asset di codice, devi definire la sequenza di esecuzione. Ad esempio, per addestrare un modello di machine learning, puoi creare un flusso di lavoro in cui una query SQL prepara i dati e un blocco note successivo addestra il modello utilizzando questi dati.
Funzionalità
In una pipeline puoi:
- Crea nuovi notebook o importa quelli esistenti in una pipeline.
- Pianifica una pipeline in modo che venga eseguita automaticamente con una frequenza e a un orario specifici.
- Condividi una pipeline con gli utenti o i gruppi specificati.
- Condividi un link a una pipeline.
Limitazioni
Le pipeline sono soggette alle seguenti limitazioni:
- Le pipeline sono disponibili solo nella Trusted Cloud console.
- Non puoi modificare la regione di archiviazione di una pipeline dopo averla creata.
- Puoi concedere a utenti o gruppi l'accesso a una pipeline selezionata, ma non puoi concedergli l'accesso alle singole attività all'interno della pipeline.
Impostare la regione predefinita per gli asset di codice
Se è la prima volta che crei un asset di codice, devi impostare la regione predefinita per gli asset di codice. Non puoi modificare la regione di una risorsa di codice dopo averla creata.
Tutti gli asset di codice in BigQuery Studio utilizzano la stessa regione predefinita. Per impostare la regione predefinita per gli asset di codice:
Vai alla pagina BigQuery.
Nel riquadro Explorer, individua il progetto in cui hai attivato gli asset codice.
Fai clic su Visualizza azioni accanto al progetto, quindi fai clic su Cambia la mia regione di codice predefinita.
In Regione, seleziona la regione che vuoi utilizzare per gli asset di codice.
Fai clic su Seleziona.
Per un elenco delle regioni in cui è disponibile, consulta Località di BigQuery Studio.
Aree geografiche supportate
Tutti gli asset di codice vengono archiviati nella regione predefinita per gli asset di codice. L'aggiornamento della regione predefinita modifica la regione per tutti gli asset di codice creati in seguito.
La tabella seguente elenca le regioni in cui sono disponibili le pipeline:
| Descrizione della regione | Nome regione | Dettagli | |
|---|---|---|---|
| Africa | |||
| Johannesburg | africa-south1 |
||
| Americhe | |||
| Columbus | us-east5 |
||
| Dallas | us-south1 |
 Bassi livelli di CO2
|
|
| Iowa | us-central1 |
Bassi livelli di CO2
|
|
| Los Angeles | us-west2 |
||
| Las Vegas | us-west4 |
||
| Montréal | northamerica-northeast1 |
Bassi livelli di CO2
|
|
| N. Virginia | us-east4 |
||
| Oregon | us-west1 |
Bassi livelli di CO2 |
|
| San Paolo | southamerica-east1 |
Bassi livelli di CO2
|
|
| Carolina del Sud | us-east1 |
||
| Asia Pacifico | |||
| Hong Kong | asia-east2 |
||
| Giacarta | asia-southeast2 |
||
| Mumbai | asia-south1 |
||
| Seul | asia-northeast3 |
||
| Singapore | asia-southeast1 |
||
| Sydney | australia-southeast1 |
||
| Taiwan | asia-east1 |
||
| Tokyo | asia-northeast1 |
||
| Europa | |||
| Belgio | europe-west1 |
Bassi livelli di CO2
|
|
| Francoforte | europe-west3 |
Bassi livelli di CO2
|
|
| Londra | europe-west2 |
Bassi livelli di CO2
|
|
| Madrid | europe-southwest1 |
Bassi livelli di CO2
|
|
| Paesi Bassi | europe-west4 |
Bassi livelli di CO2
|
|
| Torino | europe-west12 |
||
| Zurigo | europe-west6 |
Bassi livelli di CO2
|
|
| Medio Oriente | |||
| Doha | me-central1 |
||
| Dammam | me-central2 |
||
Quote e limiti
Le pipeline BigQuery sono soggette a quote e limiti di Dataform.
Prezzi
L'esecuzione delle attività della pipeline BigQuery comporta costi di calcolo e archiviazione in BigQuery. Per ulteriori informazioni, vedi Prezzi di BigQuery.
Le pipeline contenenti notebook comportano addebiti per il runtime di Colab Enterprise in base al tipo di macchina predefinito. Per i dettagli sui prezzi, consulta la pagina Prezzi di Colab Enterprise.
Ogni esecuzione della pipeline BigQuery viene registrata utilizzando Cloud Logging. La registrazione viene attivata automaticamente per le esecuzioni delle pipeline BigQuery, il che può comportare addebiti per la fatturazione di Cloud Logging. Per ulteriori informazioni, consulta Prezzi di Cloud Logging.
Passaggi successivi
- Scopri come creare pipeline.
- Scopri come gestire le pipeline.
- Scopri come pianificare le pipeline.