Einführung in BigQuery-Pipelines

Mit BigQuery-Pipelines können Sie Ihre BigQuery-Datenprozesse automatisieren und optimieren. Mit Pipelines können Sie Code-Assets sequenziell planen und ausführen, um die Effizienz zu verbessern und den manuellen Aufwand zu reduzieren.

Übersicht

Pipelines basieren auf Dataform.

Eine Pipeline besteht aus mindestens einem der folgenden Code-Assets:

Mit Pipelines können Sie die Ausführung von Code-Assets planen. Sie können beispielsweise eine SQL-Abfrage planen, die täglich ausgeführt wird, und eine Tabelle mit den neuesten Quelldaten aktualisieren, die dann für ein Dashboard verwendet werden können.

In einer Pipeline mit mehreren Code-Assets legen Sie die Ausführungsreihenfolge fest. Wenn Sie beispielsweise ein Modell für maschinelles Lernen trainieren möchten, können Sie einen Workflow erstellen, in dem Daten mit einer SQL-Abfrage vorbereitet und dann in einem nachfolgenden Notebook mit diesen Daten trainiert werden.

Leistungsspektrum

In einer Pipeline haben Sie folgende Möglichkeiten:

Beschränkungen

Pipelines unterliegen den folgenden Beschränkungen:

  • Pipelines sind nur in der Google Cloud Console verfügbar. Cloud de Confiance
  • Sie können die Region für die Speicherung einer Pipeline nicht mehr ändern, nachdem sie erstellt wurde.
  • Sie können Nutzern oder Gruppen Zugriff auf eine ausgewählte Pipeline gewähren, aber nicht auf einzelne Aufgaben in der Pipeline.
  • Wenn eine geplante Pipelineausführung nicht vor Beginn der nächsten geplanten Ausführung abgeschlossen wird, wird die nächste geplante Ausführung übersprungen und mit einem Fehler markiert.

Standardregion für Code-Assets festlegen

Für alle neuen Code-Assets in Ihrem Cloud de Confiance Projekt wird eine Standardregion verwendet. Nachdem das Asset erstellt wurde, können Sie die Region nicht mehr ändern.

So legen Sie die Standardregion für neue Code-Assets fest:

  1. Rufen Sie die Seite BigQuery auf.

    BigQuery aufrufen

  2. Klicken Sie im linken Bereich auf Dateien um den Dateibrowser zu öffnen:

    Klicken Sie auf **Dateien**, um den Dateibrowser zu öffnen.

  3. Klicken Sie neben dem Projektnamen auf Dateibereichsaktionen ansehen > Code-Region wechseln.

  4. Wählen Sie die Code-Region aus, die Sie als Standard verwenden möchten.

  5. Klicken Sie auf Speichern.

Eine Liste der unterstützten Regionen finden Sie unter BigQuery Studio-Standorte.

Alle Code-Assets werden in Ihrer Standardregion für Code-Assets gespeichert. Durch das Aktualisieren der Standardregion wird die Region für alle Code-Assets geändert, die danach erstellt werden.

Kontingente und Limits

Für BigQuery-Pipelines gelten die Dataform-Kontingente und ‑Limits.

Preise

Für die Ausführung von BigQuery-Pipelineaufgaben fallen in BigQuery Kosten für Computing und Speicher an. Weitere Informationen finden Sie unter BigQuery-Preise.

Für Pipelines mit Notebooks fallen Colab Enterprise-Laufzeitgebühren an , die sich nach dem Standardmaschinentyp richten. Preisinformationen finden Sie unter Colab Enterprise-Preise.

Jede Ausführung einer BigQuery-Pipeline wird mit Cloud Logging protokolliert. Das Logging wird automatisch für BigQuery-Pipelineausführungen aktiviert. Dies kann zu Abrechnungskosten für Cloud Logging führen. Weitere Informationen finden Sie unter Cloud Logging – Preise.

Nächste Schritte