Datenintegrationsworkflows über die Seite „Pipelines und Verbindungen“ erstellen

Sie können Datenintegrationsaufgaben direkt in der Cloud de Confiance Console über die BigQuery- Pipelines und Verbindungen-Seite verwalten und optimieren. Auf dieser Seite finden Sie geführte, BigQuery-spezifische Konfigurationsworkflows für Dienste wie BigQuery Data Transfer Service, Datastream und Pub/Sub.

Auf der Seite Pipelines und Verbindungen können Sie folgende Aufgaben ausführen:

  • Daten laden Daten aus unterstützten Datenquellen über einen geführten Workflow suchen und laden.
  • Datenaufgaben planen Datenprozesse automatisch ausführen lassen, einschließlich geplanter Abfragen, Notebooks, Datenvorbereitungen und Pipelines.
  • Daten transformieren Pipelines und Datenvorbereitungen erstellen, mit denen Vorgänge wie das Bereinigen, Strukturieren und Vorbereiten von Daten für Analysen und Berichte ausgeführt werden.
  • Verbindungen zu Datenquellen erstellen Verbindungen zu externen Datenquellen, Compute-Laufzeiten und KI-Diensten für den Datenzugriff und die Remote-Ausführung herstellen.

Nachdem Sie die Seite Pipelines und Verbindungen eingerichtet haben, können Sie Ihre Datenintegrations-Assets zentral verwalten und beobachten. Dazu werden der Status und betriebliche Messwerte angezeigt.

Aktivieren oder deaktivieren

Während der Vorschau können Sie die Verwendung der Seite Pipelines und Verbindungen aktivieren oder deaktivieren.

Aktivieren

So aktivieren Sie die Verwendung der Seite Pipelines und Verbindungen:

  1. Zur Cloud de Confiance Console.

    Zur Console

  2. Klicken Sie in der Cloud de Confiance Symbolleiste der Console auf Navigationsmenü.

  3. Klicken Sie auf Solutions > All products.

  4. Klicken Sie im Abschnitt Analytics auf BigQuery.

    Die Seite Studio von BigQuery wird geöffnet.

  5. Klicken Sie auf BigQuery-Navigationsmenü ein-/ausblenden, um das Navigationsmenü zu maximieren.

    Das BigQuery-Navigationsmenü.

  6. Klicken Sie im Navigationsmenü auf eine der folgenden Optionen:

    • Datenübermittlung
    • Geplante Abfragen
    • Planung

  7. Rufen Sie das Banner für einheitliche Pipelines und Verbindungen auf.

    Das Banner „Einheitliche Pipelines und Verbindungen“ in der Benutzeroberfläche

  8. Klicken Sie auf Aktivieren.

    Nachdem Sie die Funktion aktiviert haben, werden die vorhandenen Seiten Datenübermittlung, Planung und Geplante Abfragen durch die Seite Pipelines und Verbindungen ersetzt.

Deaktivieren

So deaktivieren Sie die Verwendung der einheitlichen Seite Pipelines und Verbindungen:

  1. Klicken Sie auf der Seite Pipelines und Verbindungen im Banner für einheitliche Pipelines und Verbindungen auf Deaktivieren.

  2. Ein Dialogfeld für Feedback wird geöffnet. Geben Sie Feedback dazu, warum Sie die Funktion deaktivieren, z. B. weil Funktionen fehlen oder Fehler auftreten.

  3. Klicken Sie auf Senden und dann auf Schließen.

    Nachdem Sie das Formular gesendet haben, wird im Navigationsmenü wieder auf separate Datenübermittlung, Planung und Geplante Abfragen Seiten zurückgesetzt.

Datenintegrations-Asset erstellen

So erstellen Sie Assets wie geplante Abfragen, Datenübermittlungen und externe Verbindungen:

  1. Rufen Sie die Seite Pipelines und Verbindungen auf.

    Zu Pipelines und Verbindungen

  2. Klicken Sie auf Erstellen.

  3. Klicken Sie auf die Option auf der Karte für das Asset, das Sie erstellen möchten:

    1. Wenn Sie Daten aus einer der unterstützten Datenquellen über einen geführten Workflow hinzufügen möchten, klicken Sie auf der Karte Daten laden auf Daten hinzufügen.

    2. Wenn Sie eine Abfrage, ein Notebook, eine Datenvorbereitung oder eine Pipeline planen möchten, klicken Sie auf der Karte Datenaufgaben planen auf Planen und wählen Sie dann die entsprechende Option aus.

    3. Wenn Sie eine Transformationspipeline oder eine Datenvorbereitung erstellen möchten, klicken Sie auf der Karte Daten transformieren auf Erstellen und wählen Sie dann die entsprechende Option aus.

    4. Wenn Sie eine Verbindung zu einer externen Datenquelle erstellen möchten, klicken Sie auf der Karte Externe Verbindungen auf Verbindung erstellen.

Assets beobachten

Nachdem Sie Ihre Assets erstellt haben, können Sie sie aufrufen und beobachten. Zu den betrieblichen Messwerten auf der Seite Pipelines und Verbindungen gehören der Ausführungsverlauf von BigQuery Data Transfer Service, der Durchsatz und die Latenz für Pub/Sub-Abos sowie die Datenaktualität und die Anzahl der Ereignisse für Datastream-Pipelines. Außerdem finden Sie Informationen zur Fehlerbehebung, z. B. Logs für BigQuery Data Transfer Service-Ausführungen und den Objektstatus von Datastream.

  1. Rufen Sie die Seite Pipelines und Verbindungen auf.

    Zu Pipelines und Verbindungen

  2. Klicken Sie auf den Tab Verbindungen, um Details zu Ihren Verbindungen aufzurufen.

  3. Klicken Sie auf den Tab Pipelines, um Ihre Pipelines zu beobachten. Auf dieser Seite können Sie Details wie den Status, den Typ und den Ausführungsverlauf der Pipeline aufrufen.

  4. Klicken Sie in der Spalte Anzeigename auf den Link, um die Details einer Pipeline aufzurufen.

Nächste Schritte