Einführung in BigQuery-Pipelines

Mit BigQuery-Pipelines können Sie Ihre BigQuery-Datenprozesse automatisieren und optimieren. Mit Pipelines können Sie Code-Assets nacheinander planen und ausführen, um die Effizienz zu verbessern und den manuellen Aufwand zu reduzieren.

Übersicht

Pipelines basieren auf Dataform.

Eine Pipeline besteht aus mindestens einem der folgenden Code-Assets:

Mit Pipelines können Sie die Ausführung von Code-Assets planen. Sie können beispielsweise eine SQL-Abfrage planen, die täglich ausgeführt wird, und eine Tabelle mit den neuesten Quelldaten aktualisieren, die dann für ein Dashboard verwendet werden können.

In einer Pipeline mit mehreren Code-Assets legen Sie die Ausführungsreihenfolge fest. Wenn Sie beispielsweise ein Modell für maschinelles Lernen trainieren möchten, können Sie einen Workflow erstellen, in dem Daten mit einer SQL-Abfrage vorbereitet und dann in einem nachfolgenden Notebook mit diesen Daten trainiert werden.

Leistungsspektrum

In einer Pipeline haben Sie folgende Möglichkeiten:

Beschränkungen

Pipelines unterliegen den folgenden Beschränkungen:

  • Pipelines sind nur in der Cloud de Confiance Konsole verfügbar.
  • Sie können die Region für das Speichern einer Pipeline nicht mehr ändern, nachdem sie erstellt wurde.
  • Sie können Nutzern oder Gruppen Zugriff auf eine ausgewählte Pipeline gewähren, aber nicht auf einzelne Aufgaben in der Pipeline.
  • Wenn eine geplante Pipelineausführung nicht vor Beginn der nächsten geplanten Ausführung abgeschlossen ist, wird die nächste geplante Ausführung übersprungen und mit einem Fehler gekennzeichnet.

Standardregion für Code-Assets festlegen

Für alle neuen Code-Assets in Ihrem Cloud de Confiance Projekt wird eine Standardregion verwendet. Nachdem das Asset erstellt wurde, können Sie die Region nicht mehr ändern.

So legen Sie die Standardregion für neue Code-Assets fest:

  1. Rufen Sie die Seite BigQuery auf.

    BigQuery aufrufen

  2. Klicken Sie im linken Bereich auf Dateien um den Dateibrowser zu öffnen:

    Klicken Sie auf **Dateien**, um den Dateibrowser zu öffnen.

  3. Klicken Sie neben dem Projektnamen auf Aktionen für das Dateifenster ansehen > Code-Region wechseln.

  4. Wählen Sie die Code-Region aus, die Sie als Standard verwenden möchten.

  5. Klicken Sie auf Speichern.

Eine Liste der unterstützten Regionen finden Sie unter BigQuery Studio-Standorte.

Unterstützte Regionen

Alle Code-Assets werden in Ihrer Standardregion für Code-Assets gespeichert. Durch das Aktualisieren der Standardregion wird die Region für alle Code-Assets geändert, die danach erstellt werden.

In der folgenden Tabelle sind die Regionen aufgeführt, in denen Pipelines verfügbar sind:

Beschreibung der Region Name der Region Details
Afrika
Johannesburg africa-south1
Amerika
Columbus us-east5
Dallas us-south1 Blattsymbol Niedriger CO2-Wert
Iowa us-central1 Blattsymbol Niedriger CO2-Wert
Los Angeles us-west2
Las Vegas us-west4
Montreal northamerica-northeast1 Blattsymbol Niedriger CO2-Wert
N. Virginia us-east4
Oregon us-west1 Blattsymbol Niedriger CO2-Wert
São Paulo southamerica-east1 Blattsymbol Niedriger CO2-Wert
South Carolina us-east1
Asiatisch-pazifischer Raum
Hongkong asia-east2
Jakarta asia-southeast2
Mumbai asia-south1
Seoul asia-northeast3
Singapur asia-southeast1
Sydney australia-southeast1
Taiwan asia-east1
Tokio asia-northeast1
Europa
Belgien europe-west1 Blattsymbol Niedriger CO2-Wert
Finnland europe-north1 Blattsymbol Niedriger CO2-Wert
Frankfurt europe-west3
London europe-west2 Blattsymbol Niedriger CO2-Wert
Madrid europe-southwest1 Blattsymbol Niedriger CO2-Wert
Mailand europe-west8
Niederlande europe-west4 Blattsymbol Niedriger CO2-Wert
Turin europe-west12
Warschau europe-central2
Zürich europe-west6 Blattsymbol Niedriger CO2-Wert
Naher Osten
Dammam me-central2
Doha me-central1
Tel Aviv me-west1

Kontingente und Limits

Für BigQuery-Pipelines gelten die Kontingente und Limits von Dataform.

Preise

Für die Ausführung von BigQuery-Pipelineaufgaben fallen in BigQuery Kosten für Computing und Speicher an. Weitere Informationen finden Sie unter BigQuery-Preise.

Für Pipelines mit Notebooks fallen Colab Enterprise-Laufzeitgebühren an , die sich nach dem Standardmaschinentyp richten. Preisinformationen finden Sie unter Colab Enterprise-Preise.

Jede Ausführung einer BigQuery-Pipeline wird mit Cloud Logging protokolliert. Das Logging wird automatisch für BigQuery-Pipelineausführungen aktiviert. Dies kann zu Abrechnungskosten für Cloud Logging führen. Weitere Informationen finden Sie unter Cloud Logging – Preise.

Nächste Schritte