Datenvorbereitungen planen

In diesem Dokument wird beschrieben, wie Sie Datenvorbereitungsjobs in BigQuery planen und manuell ausführen, um Ihre Datentransformations-Workflows zu automatisieren. Durch die Planung bleiben Ihre Daten ohne manuelle Eingriffe auf dem neuesten Stand und korrekt. Sie können Ihre Datenvorbereitungen aber auch manuell ausführen, um Transformationen vor der Bereitstellung zu testen und zu validieren. Datenvorbereitungen basieren auf Dataform.

Sie können Datenvorbereitungen mit Nutzeranmeldedaten für ein Google Konto oder mit einem benutzerdefinierten Dienstkonto planen.

Hinweis

Erstellen Sie zuerst eine Datenvorbereitung.

Anforderungen von VPC Service Controls

Wenn Sie VPC Service Controls verwenden, um Ihre Datenvorbereitungen zu schützen, sollten Sie wissen, dass geplante Ausführungen auf Dataform basieren. Wenn Sie VPC Service Controls für geplante Ausführungen konfigurieren, müssen die folgenden Anforderungen erfüllt sein:

• Sie müssen den dataform.restrictGitRemotes Organisationsrichtliniendienst festlegen.
• Dataform und BigQuery müssen durch denselben VPC Service Controls-Dienstperimeter eingeschränkt werden.
• Wenn Nutzer sich mit den Nutzeranmeldedaten für ihr Google-Konto authentifizieren sollen, wenn sie Ausführungen planen oder manuell auslösen, müssen Sie ihre Nutzeridentitäten zu Ihren Regeln für eingehenden Traffic hinzufügen. Weitere Informationen finden Sie unter Richtlinien für ein- und ausgehenden Traffic für einen Dienstperimeter aktualisieren und Referenz zu Regeln für eingehenden Traffic.

Eine detaillierte Anleitung zur Konfiguration und Sicherheitsüberlegungen finden Sie unter VPC Service Controls für Dataform konfigurieren.

Erforderliche Rollen

Wenn Sie eine Datenvorbereitung mit einem Dienstkonto autorisieren möchten, wenn Sie die Datenvorbereitung manuell in der Entwicklung ausführen oder die Datenvorbereitung planen, müssen Sie dem Dienstkonto, das Sie für die Ausführung der Datenvorbereitungsjobs verwenden möchten, Rollen zuweisen. Weitere Informationen finden Sie unter Zugriff auf das Dataform-Dienstkonto gewähren.

So planen Sie Datenvorbereitungen:

• Bitten Sie Ihren Administrator, Ihnen die Rolle Dienstkontonutzer (roles/iam.serviceAccountUser) für das benutzerdefinierte Dienstkonto zuzuweisen.
• Weisen Sie dem Standarddienst-Agent von Dataform für das benutzerdefinierte Dienstkonto die Rolle Dienstkontonutzer (roles/iam.serviceAccountUser) und die Rolle Ersteller von Dienstkonto-Tokens (roles/iam.serviceAccountTokenCreator) zu.

Informationen zur Verbesserung der Sicherheit bei der Planung finden Sie unter Erweiterte Berechtigungen für die Planung implementieren.

Datenvorbereitung entwickeln

Wenn Sie eine Datenvorbereitung entwickeln, können Sie die Schritte manuell ausführen und die Ausgabe prüfen, bevor Sie die Änderungen in der Produktion bereitstellen. Sie können die aktuelle Version, die Sie entwickeln, mit Ihren Daten testen, während BigQuery die zuletzt bereitgestellte Version gemäß einem Zeitplanausführt. Bevor Sie die Ausführung durchführen können, müssen Sie das Ziel konfigurieren, und alle Validierungsfehler beheben.

Datenvorbereitung manuell in der Entwicklung ausführen

Wenn Sie Ihre Datenvorbereitungsschritte testen und die Ergebnisse in Ihrer Zieltabelle validieren möchten, führen Sie die Datenvorbereitung manuell über den Datenvorbereitungseditor aus:

1. Rufen Sie in der Cloud de Confiance Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Klicken Sie im linken Bereich auf explore Explorer:

   

   Wenn der linke Bereich nicht angezeigt wird, klicken Sie auf last_page Linken Bereich maximieren , um ihn zu öffnen.

3. Maximieren Sie im Bereich Explorer Ihr Projekt und klicken Sie auf Datenvorbereitungen.

4. Klicken Sie auf den Namen der Datenvorbereitung, die Sie ausführen möchten.

5. Klicken Sie in der Symbolleiste des Datenvorbereitungseditors auf Mehr > Ausführung jetzt konfigurieren.

6. Autorisieren Sie im Abschnitt Authentifizierung die Datenvorbereitung mit den Nutzeranmeldedaten Ihres Google-Kontos oder einem Dienstkonto.

   • Wenn Sie die Nutzeranmeldedaten Ihres Google-Kontos verwenden möchten (Vorschau), wählen Sie Mit meinen Nutzeranmeldedaten ausführen aus. Dies ist die Standardoption.

     Optional: Wählen Sie im Abschnitt Erweiterte Zugriffsoptionen die zusätzlichen Dienste aus, die für Ihre Datenvorbereitung erforderlich sind:

     • Google Drive: Gewährt Lesezugriff auf Google Drive-Dateien.

   • Wenn Sie ein Dienstkonto verwenden möchten, wählen Sie Mit ausgewähltem Dienstkonto ausführen aus und wählen Sie dann ein Dienst konto aus. Wenn das Dienstkonto zusätzliche Berechtigungen benötigt, weisen Sie ihm die erforderlichen Rollen zu, indem Sie auf Alle gewähren klicken.

7. Klicken Sie auf Speichern.

8. Beheben Sie alle angezeigten Validierungsfehler.

9. Klicken Sie in der Symbolleiste des Datenvorbereitungseditors auf Ausführen.

10. Klicken Sie im Dialogfeld Jetzt ausführen auf Bestätigen , um zu bestätigen, dass bei dieser manuellen Ausführung Daten in eine Zieltabelle geschrieben werden, die Sie möglicherweise auch für geplante Ausführungen verwenden.

    Wenn Sie Mit meinen Nutzeranmeldedaten ausführen als Authentifizierungsmethode ausgewählt haben, müssen Sie Ihr Google-Konto autorisieren (Vorschau).

    Die Ausführung führt dann Ihre Schritte aus und lädt die Ausgabe in das Ziel.

11. Optional: Nach Abschluss der Ausführung können Sie die Details zur Ausführung im Bereich Ausführungen aufrufen.

Datenvorbereitung bereitstellen

Wenn Sie Ausführungen für eine Version Ihrer Datenvorbereitung planen möchten, müssen Sie zuerst Ihre Änderungen speichern und bereitstellen. Zeitpläne führen immer die zuletzt bereitgestellte Version aus und ignorieren alle nicht bereitgestellten Änderungen.

So stellen Sie eine Datenvorbereitung bereit:

1. Rufen Sie in der Cloud de Confiance Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Klicken Sie im linken Bereich auf explore Explorer:

   

3. Maximieren Sie im Bereich Explorer Ihr Projekt und klicken Sie auf Datenvorbereitungen.

4. Klicken Sie auf den Namen der ausgewählten Datenvorbereitung.

   Der Datenvorbereitungseditor wird geöffnet.

5. Klicken Sie in der Symbolleiste des Datenvorbereitungseditors auf Bereitstellen.

Zeitplan erstellen

Wenn Sie einen Zeitplan erstellen möchten, der die bereitgestellten Datenvorbereitungsschritte ausführt und die vorbereiteten Daten in die Zieltabelle lädt, müssen Sie zuerst eine Datenvorbereitungsausführung planen. Dazu müssen Sie das Ziel konfigurieren, und alle Validierungsfehler beheben.

So erstellen Sie einen Zeitplan für die Datenvorbereitung:

Google-Konto autorisieren

Wenn Sie die Ressource mit den Nutzeranmeldedaten Ihres Google-Kontos authentifizieren möchten, müssen Sie manuell die Berechtigung erteilen, dass BigQuery -Pipelines das Zugriffstoken für Ihr Google-Konto abrufen und in Ihrem Namen auf die Quelldaten zugreifen können. Sie können die manuelle Genehmigung über die OAuth-Dialogoberfläche erteilen. Wenn Sie Erweiterte Zugriffsoptionen auswählen, müssen Sie den Zugriff auf diese Dienste gewähren, z. B. Google Drive oder Knowledge Catalog.

Sie müssen BigQuery-Pipelines nur einmal die Berechtigung erteilen.

So widerrufen Sie die erteilte Berechtigung:

1. Rufen Sie die Seite Ihres Google-Kontos auf.
2. Klicken Sie auf BigQuery-Pipelines.
3. Klicken Sie auf Zugriff entfernen.

Wenn Sie den Inhaber des Zeitplans für die Datenvorbereitung durch Aktualisieren der Anmeldedaten ändern, ist auch eine manuelle Genehmigung erforderlich, falls der neue Inhaber des Google-Kontos noch nie einen Zeitplan erstellt hat.

Geplante Datenvorbereitung manuell ausführen

Wenn Sie eine Datenvorbereitung in einem ausgewählten Zeitplan manuell ausführen, führt BigQuery die Datenvorbereitung einmal aus, unabhängig vom Zeitplan.

So führen Sie eine geplante Datenvorbereitung manuell aus:

1. Rufen Sie in der Cloud de Confiance Console die Seite Planung auf.

   Zur Seite „Planung“

2. Klicken Sie auf den Namen des ausgewählten Zeitplans für die Datenvorbereitung.

3. Klicken Sie auf der Seite Zeitplandetails auf Ausführen.

Terminübersichten ansehen

Sie können Zeitpläne für die Datenvorbereitung im Datenvorbereitungseditor oder auf der Seite Planung aufrufen.

Zeitplan bearbeiten

Sie können einen Zeitplan im Datenvorbereitungseditor oder auf der Seite Planung bearbeiten.

Zeitplan löschen

So löschen Sie einen Zeitplan für eine ausgewählte Datenvorbereitung endgültig:

1. Rufen Sie in der Cloud de Confiance Console die Seite Planung auf.

   Zur Seite „Planung“

2. Klicken Sie in der Zeile mit dem Zeitplan auf more_vert Aktionen > Löschen.

Nächste Schritte

• Informationen zum Erstellen von Datenvorbereitungen.
• Weitere Informationen zum Verwalten von Datenvorbereitungen