Introduzione alle pipeline BigQuery
Puoi utilizzare le pipeline BigQuery per automatizzare e semplificare i processi di dati BigQuery. Con le pipeline, puoi pianificare ed eseguire gli asset di codice in sequenza per migliorare l'efficienza e ridurre l'impegno manuale.
Panoramica
Le pipeline sono basate su Dataform.
Una pipeline è costituita da una o più delle seguenti risorse di codice:
Puoi utilizzare le pipeline per pianificare l'esecuzione degli asset di codice. Ad esempio, puoi pianificare l'esecuzione giornaliera di una query SQL e aggiornare una tabella con i dati di origine più recenti, che possono poi essere utilizzati per creare una dashboard.
In una pipeline con più asset di codice, definisci la sequenza di esecuzione. Ad esempio, per addestrare un modello di machine learning, puoi creare un flusso di lavoro in cui una query SQL prepara i dati e poi un notebook successivo addestra il modello utilizzando questi dati.
Funzionalità
In una pipeline puoi:
- Crea nuove query SQL o notebook o importa quelli esistenti in una pipeline.
- Pianifica una pipeline in modo che venga eseguita automaticamente a un orario e con una frequenza specifici.
- Condividere una pipeline con gli utenti o i gruppi che specifichi.
- Condividere un link a una pipeline.
Limitazioni
Le pipeline sono soggette alle seguenti limitazioni:
- Le pipeline sono disponibili solo nella console Trusted Cloud .
- Non puoi modificare la regione per l'archiviazione di una pipeline dopo la creazione.
- Puoi concedere l'accesso a una pipeline selezionata a utenti o gruppi, ma non puoi concedere l'accesso a singole attività all'interno della pipeline.
Impostare la regione predefinita per gli asset di codice
Se è la prima volta che crei un asset di codice, devi impostare la regione predefinita per gli asset di codice. Non puoi modificare la regione di un asset di codice dopo la creazione.
Tutti gli asset di codice in BigQuery Studio utilizzano la stessa regione predefinita. Per impostare la regione predefinita per gli asset di codice:
Vai alla pagina BigQuery.
Nel riquadro Explorer, trova il progetto in cui hai attivato gli asset di codice.
Fai clic su Visualizza azioni accanto al progetto, quindi fai clic su Modifica la mia regione di codice predefinita.
Per Regione, seleziona la regione che vuoi utilizzare per gli asset di codice.
Fai clic su Seleziona.
Per un elenco delle regioni in cui è disponibile, consulta Località di BigQuery Studio.
Aree geografiche supportate
Tutti gli asset di codice sono archiviati nella regione predefinita per gli asset di codice. L'aggiornamento della regione predefinita modifica la regione per tutti gli asset di codice creati dopo quel momento.
La tabella seguente elenca le regioni in cui sono disponibili le pipeline:
| Descrizione della regione | Nome regione | Dettagli | |
|---|---|---|---|
| Africa | |||
| Johannesburg | africa-south1 |
||
| Americhe | |||
| Columbus | us-east5 |
||
| Dallas | us-south1 |
 Bassi livelli di CO2
|
|
| Iowa | us-central1 |
Bassi livelli di CO2
|
|
| Los Angeles | us-west2 |
||
| Las Vegas | us-west4 |
||
| Montréal | northamerica-northeast1 |
Bassi livelli di CO2
|
|
| N. Virginia | us-east4 |
||
| Oregon | us-west1 |
Bassi livelli di CO2 |
|
| San Paolo | southamerica-east1 |
Bassi livelli di CO2
|
|
| Carolina del Sud | us-east1 |
||
| Asia Pacifico | |||
| Hong Kong | asia-east2 |
||
| Giacarta | asia-southeast2 |
||
| Mumbai | asia-south1 |
||
| Seul | asia-northeast3 |
||
| Singapore | asia-southeast1 |
||
| Sydney | australia-southeast1 |
||
| Taiwan | asia-east1 |
||
| Tokyo | asia-northeast1 |
||
| Europa | |||
| Belgio | europe-west1 |
Bassi livelli di CO2
|
|
| Francoforte | europe-west3 |
||
| Londra | europe-west2 |
Bassi livelli di CO2
|
|
| Madrid | europe-southwest1 |
Bassi livelli di CO2
|
|
| Paesi Bassi | europe-west4 |
Bassi livelli di CO2
|
|
| Torino | europe-west12 |
||
| Zurigo | europe-west6 |
Bassi livelli di CO2
|
|
| Medio Oriente | |||
| Doha | me-central1 |
||
| Dammam | me-central2 |
||
Quote e limiti
Le pipeline BigQuery sono soggette a quote e limiti di Dataform.
Prezzi
L'esecuzione delle attività della pipeline BigQuery comporta costi di calcolo e spazio di archiviazione in BigQuery. Per ulteriori informazioni, vedi Prezzi di BigQuery.
Le pipeline contenenti notebook comportano addebiti per il runtime di Colab Enterprise in base al tipo di macchina predefinito. Per i dettagli sui prezzi, consulta la pagina Prezzi di Colab Enterprise.
Ogni esecuzione della pipeline BigQuery viene registrata utilizzando Cloud Logging. La registrazione è abilitata automaticamente per le esecuzioni della pipeline BigQuery, che possono comportare addebiti per la fatturazione di Cloud Logging. Per maggiori informazioni, consulta la pagina Prezzi di Cloud Logging.
Passaggi successivi
- Scopri come creare pipeline.
- Scopri come gestire le pipeline.
- Scopri come pianificare le pipeline.