Einführung in BigQuery-Pipelines
Mit BigQuery-Pipelines können Sie Ihre BigQuery-Datenprozesse automatisieren und optimieren. Mit Pipelines können Sie Code-Assets nacheinander planen und ausführen, um die Effizienz zu verbessern und den manuellen Aufwand zu reduzieren.
Übersicht
Pipelines basieren auf Dataform.
Eine Pipeline besteht aus mindestens einem der folgenden Code-Assets:
Mit Pipelines können Sie die Ausführung von Code-Assets planen. Sie können beispielsweise eine SQL-Abfrage planen, die täglich ausgeführt wird, und eine Tabelle mit den neuesten Quelldaten aktualisieren, die dann für ein Dashboard verwendet werden können.
In einer Pipeline mit mehreren Code-Assets legen Sie die Ausführungsreihenfolge fest. Wenn Sie beispielsweise ein Modell für maschinelles Lernen trainieren möchten, können Sie einen Workflow erstellen, in dem Daten mit einer SQL-Abfrage vorbereitet und dann in einem nachfolgenden Notebook mit diesen Daten trainiert werden.
Leistungsspektrum
In einer Pipeline haben Sie folgende Möglichkeiten:
- Neue SQL-Abfragen oder Notebooks erstellen oder vorhandene in eine Pipeline importieren.
- Eine Pipeline so planen, dass sie automatisch zu einer bestimmten Zeit und mit einer bestimmten Häufigkeit ausgeführt wird.
- Eine Pipeline für bestimmte Nutzer oder Gruppen freigeben.
- Einen Link zu einer Pipeline freigeben.
Beschränkungen
Pipelines unterliegen den folgenden Beschränkungen:
- Pipelines sind nur in der Cloud de Confiance Console verfügbar.
- Sie können die Region für das Speichern einer Pipeline nicht mehr ändern, nachdem sie erstellt wurde.
- Sie können Nutzern oder Gruppen Zugriff auf eine ausgewählte Pipeline gewähren, aber nicht auf einzelne Aufgaben in der Pipeline.
- Wenn eine geplante Pipelineausführung nicht vor dem Start der nächsten geplanten Ausführung abgeschlossen wird, wird die nächste geplante Ausführung übersprungen und mit einem Fehler markiert.
Standardregion für Code-Assets festlegen
Alle neuen Code-Assets in Ihrem Cloud de Confiance Projekt verwenden eine Standardregion. Nachdem das Asset erstellt wurde, können Sie seine Region nicht mehr ändern.
So legen Sie die Standardregion für neue Code-Assets fest:
Rufen Sie die Seite BigQuery auf.
Klicken Sie im linken Bereich auf Dateien um den Dateibrowser zu öffnen:
Klicken Sie neben dem Projektnamen auf Aktionen für das Dateifenster ansehen > Code-Region wechseln.
Wählen Sie die Code-Region aus, die Sie als Standard verwenden möchten.
Klicken Sie auf Speichern.
Eine Liste der unterstützten Regionen finden Sie unter BigQuery Studio-Standorte.
Unterstützte Regionen
Alle Code-Assets werden in Ihrer Standardregion für Code-Assets gespeichert. Durch das Aktualisieren der Standardregion wird die Region für alle Code-Assets geändert, die danach erstellt werden.
In der folgenden Tabelle sind die Regionen aufgeführt, in denen Pipelines verfügbar sind:
| Beschreibung der Region | Name der Region | Details | |
|---|---|---|---|
| Afrika | |||
| Johannesburg | africa-south1 |
||
| Amerika | |||
| Columbus | us-east5 |
||
| Dallas | us-south1 |
 Niedriger CO2-Wert
|
|
| Iowa | us-central1 |
Niedriger CO2-Wert
|
|
| Las Vegas | us-west4 |
||
| Los Angeles | us-west2 |
||
| Mexiko | northamerica-south1 |
||
| Montreal | northamerica-northeast1 |
Niedriger CO2
|
|
| North Virginia | us-east4 |
||
| Oklahoma | us-central2 |
Niedriger CO2-Wert
|
|
| Oregon | us-west1 |
Niedriger CO2-Wert |
|
| Salt Lake City | us-west3 |
||
| Santiago | southamerica-west1 |
Niedriger CO2-Wert
|
|
| São Paulo | southamerica-east1 |
Niedriger CO2-Wert
|
|
| South Carolina | us-east1 |
||
| Toronto | northamerica-northeast2 |
Niedriger CO2-Wert
|
|
| Asiatisch-pazifischer Raum | |||
| Bangkok | asia-southeast3 |
||
| Delhi | asia-south2 |
||
| Hongkong | asia-east2 |
||
| Jakarta | asia-southeast2 |
||
| Melbourne | australia-southeast2 |
||
| Mumbai | asia-south1 |
||
| Osaka | asia-northeast2 |
||
| Seoul | asia-northeast3 |
||
| Singapur | asia-southeast1 |
||
| Sydney | australia-southeast1 |
||
| Taiwan | asia-east1 |
||
| Tokio | asia-northeast1 |
||
| Europa | |||
| Belgien | europe-west1 |
Niedriger CO2-Wert
|
|
| Berlin | europe-west10 |
||
| Finnland | europe-north1 |
Niedriger CO2-Wert
|
|
| Frankfurt | europe-west3 |
||
| London | europe-west2 |
Niedriger CO2-Wert
|
|
| Madrid | europe-southwest1 |
Niedriger CO2-Wert
|
|
| Mailand | europe-west8 |
||
| Niederlande | europe-west4 |
Niedriger CO2-Wert
|
|
| Paris | europe-west9 |
Niedriger CO2
|
|
| Stockholm | europe-north2 |
Niedriger CO2-Wert
|
|
| Turin | europe-west12 |
||
| Warschau | europe-central2 |
||
| Zürich | europe-west6 |
Niedriger CO2-Wert
|
|
| Naher Osten | |||
| Dammam | me-central2 |
||
| Doha | me-central1 |
||
| Tel Aviv | me-west1 |
||
Kontingente und Limits
Für BigQuery-Pipelines gelten die Kontingente und Limits von Dataform.
Preise
Für die Ausführung von BigQuery-Pipelineaufgaben fallen in BigQuery Kosten für Computing und Speicher an. Weitere Informationen finden Sie unter BigQuery-Preise.
Für Pipelines mit Notebooks fallen Colab Enterprise-Laufzeitgebühren an , die sich nach dem Standardmaschinentyp richten. Preisinformationen finden Sie unter Colab Enterprise-Preise.
Jede Ausführung einer BigQuery-Pipeline wird mit Cloud Logging protokolliert. Das Logging wird automatisch für BigQuery-Pipelineausführungen aktiviert. Dies kann zu Abrechnungskosten für Cloud Logging führen. Weitere Informationen finden Sie unter Cloud Logging – Preise.
Nächste Schritte
- Pipelines erstellen
- Erfahren Sie, wie Sie Pipelines verwalten.
- Pipelines planen