Einige oder alle Informationen auf dieser Seite gelten möglicherweise nicht für Cloud de Confiance von S3NS. Weitere Informationen finden Sie unter Unterschiede zu Google Cloud.

Google verwendet KI-Technologie, um Inhalte in Ihre bevorzugte Sprache zu übersetzen. KI-Übersetzungen können Fehler enthalten.

Ereignisgesteuerte Übertragungen

Mit ereignisgesteuerten Übertragungen im BigQuery Data Transfer Service können Sie Daten als Reaktion auf Ereignisbenachrichtigungen automatisch in BigQuery laden. Sie können diesen Ansatz für die kostengünstige, inkrementelle Batchaufnahme verwenden, wenn Ihre Arbeitslast eine Verzögerung von einigen Minuten zwischen Übertragungsausführungen tolerieren kann. Wenn Sie Echtzeitdatenverfügbarkeit mit geringerer Latenz benötigen, verwenden Sie die Storage Write API, um Daten direkt in BigQuery zu streamen.

Datenquellen mit Unterstützung für ereignisgesteuerte Übertragungen

BigQuery Data Transfer Service kann ereignisgesteuerte Übertragungen mit den folgenden Datenquellen verwenden:

Cloud Storage

Beschränkungen

Für ereignisgesteuerte Übertragungen nach BigQuery gelten die folgenden Einschränkungen:

Nachdem eine ereignisgesteuerte Übertragung ausgelöst wurde, wartet der BigQuery Data Transfer Service bis zu 10 Minuten, bevor er die nächste Übertragung auslöst, unabhängig davon, ob innerhalb dieser Zeit ein Ereignis eintrifft.
Ereignisgesteuerte Übertragungen unterstützen keine Laufzeitparameter für Quell-URI oder Datenpfad.
Dasselbe Pub/Sub-Abo kann nicht von mehreren ereignisgesteuerten Transferkonfigurationen wiederverwendet werden.

Ereignisgesteuerte Cloud Storage-Übertragung einrichten

Bei ereignisgesteuerten Übertragungen aus Cloud Storage werden Pub/Sub-Benachrichtigungen verwendet, um zu erfahren, wann Objekte im Quell-Bucket geändert oder hinzugefügt wurden. Wenn Sie den Modus Inkrementelle Übertragung verwenden, werden beim Löschen eines Objekts im Quell-Bucket die zugehörigen Daten in der BigQuery-Tabelle nicht gelöscht.

Hinweis

Bevor Sie eine ereignisgesteuerte Cloud Storage-Übertragung konfigurieren, müssen Sie die folgenden Schritte ausführen:

Aktivieren Sie die Pub/Sub API für das Projekt, das die Benachrichtigungen erhalten wird.

API aktivieren
Wenn Sie Cloud Storage-Administrator (roles/storage.admin) und Pub/Sub-Administrator (roles/pubsub.admin) sind, können Sie mit dem Erstellen einer ereignisgesteuerten Übertragungskonfiguration fortfahren.
Wenn Sie nicht der Cloud Storage-Administrator (roles/storage.admin) und der Pub/Sub-Administrator (roles/pubsub.admin) sind, bitten Sie Ihren Administrator, Ihnen die Rollen roles/storage.admin und roles/pubsub.admin zuzuweisen, oder bitten Sie ihn, Pub/Sub zu konfigurieren und Dienst-Agent-Berechtigungen zu konfigurieren (siehe die folgenden Abschnitte) und das vorkonfigurierte Pub/Sub-Abo zu verwenden, um eine ereignisgesteuerte Übertragungskonfiguration zu erstellen.
Detaillierte Berechtigungen, die zum Einrichten von Benachrichtigungen für ereignisgesteuerte Übertragungskonfigurationen erforderlich sind:
- Wenn Sie Themen und Abos zum Veröffentlichen von Benachrichtigungen erstellen möchten, benötigen Sie die Berechtigungen pubsub.topics.create und pubsub.subscriptions.create.
- Unabhängig davon, ob Sie neue oder vorhandene Themen und Abos verwenden möchten, benötigen Sie die folgenden Berechtigungen. Wenn Sie bereits Themen und Abos in Pub/Sub erstellt haben, haben Sie diese Berechtigungen wahrscheinlich schon.
- Sie benötigen die folgenden Berechtigungen für den Cloud Storage-Bucket, für den Sie Pub/Sub-Benachrichtigungen konfigurieren möchten.
  - storage.buckets.get
  - storage.buckets.update
- Die vordefinierten IAM-Rollen pubsub.admin und storage.admin enthalten alle erforderlichen Berechtigungen, um eine ereignisgesteuerte Cloud Storage-Übertragung zu konfigurieren. Weitere Informationen finden Sie unter Pub/Sub-Zugriffssteuerung.

Pub/Sub-Benachrichtigungen in Cloud Storage konfigurieren

Prüfen Sie, ob Sie die Voraussetzungen für die Verwendung von Pub/Sub mit Cloud Storage erfüllen.
Wenden Sie eine Benachrichtigungskonfiguration auf Ihren Cloud Storage-Bucket an:
```
gcloud storage buckets notifications create gs://BUCKET_NAME --topic=TOPIC_NAME --event-types=OBJECT_FINALIZE
```
Ersetzen Sie Folgendes:
- BUCKET_NAME: Der Name des Cloud Storage-Bucket, für den Sie Dateibenachrichtigungsereignisse auslösen möchten.
- TOPIC_NAME: Der Name des Pub/Sub-Themas, für das Sie die Dateibenachrichtigungsereignisse erhalten möchten.
Sie können eine Benachrichtigungskonfiguration auch mit anderen Methoden als der gcloud CLI hinzufügen. Weitere Informationen finden Sie unter Benachrichtigungskonfiguration anwenden.

Prüfen Sie, ob die Pub/Sub-Benachrichtigung für Cloud Storage richtig konfiguriert ist. Führen Sie den Befehl gcloud storage buckets notifications list aus:

gcloud storage buckets notifications list gs://BUCKET_NAME

Wenn der Vorgang erfolgreich war, sieht die Antwort in etwa so aus:

etag: '132'
id: '132'
kind: storage#notification
payload_format: JSON_API_V1
selfLink: https://www.googleapis.com/storage/v1/b/my-bucket/notificationConfigs/132
topic: //pubsub.googleapis.com/projects/my-project/topics/my-bucket

Erstellen Sie ein Pull-Abo für das Thema:
```
gcloud pubsub subscriptions create SUBSCRIPTION_ID --topic=TOPIC_NAME
```
Ersetzen Sie SUBSCRIPTION_ID durch den Namen oder die ID Ihres neuen Pub/Sub-Pull-Abos.

Sie können ein Pull-Abo auch mit anderen Methoden erstellen.

Hinweis: Ein Pub/Sub-Abo kann nicht von mehreren ereignisgesteuerten Transferkonfigurationen wiederverwendet werden.

Berechtigungen für Dienst-Agenten konfigurieren

Suchen Sie den Namen des BigQuery Data Transfer Service-Agents für Ihr Projekt:
1. Rufen Sie die Seite IAM und Verwaltung auf.
  
  Zu „IAM und Verwaltung“
2. Klicken Sie auf das Kästchen Von Google bereitgestellte Rollenzuweisungen einschließen.
3. Der BigQuery Data Transfer Service-Agent wird mit dem Namen service-<project_number>@gcp-sa-bigquerydatatransfer.s3ns-system.iam.gserviceaccount.com angezeigt und ihm wird die Rolle „BigQuery Data Transfer Service-Agent“ (roles/bigquerydatatransfer.serviceAgent) zugewiesen.
Weitere Informationen zu Dienst-Agents finden Sie unter Dienst-Agents.
Weisen Sie dem BigQuery Data Transfer Service-Agenten die Pub/Sub-Abonnentenrolle (pubsub.subscriber) zu.
Cloud Console
Folgen Sie der Anleitung unter Zugriff über die Cloud de Confiance Console steuern, um dem BigQuery Data Transfer Service-Agenten die Rolle Pub/Sub Subscriber zuzuweisen. Die Rolle kann auf Themen-, Abo- oder Projektebene gewährt werden.
gcloud CLI
Folgen Sie der Anleitung unter Richtlinie festlegen, um die folgende Bindung hinzuzufügen:
{ "role": "roles/pubsub.subscriber", "members": [ "serviceAccount:project-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.s3ns-system.iam.gserviceaccount.com" }
Ersetzen Sie PROJECT_NUMBER durch die Projekt-ID, in der die Übertragungsressourcen erstellt und abgerechnet werden.
Zuordnung der Kontingentnutzung: Wenn der BigQuery Data Transfer Service-Agent auf das Pub/Sub-Abo zugreift, wird die Kontingentnutzung dem Nutzerprojekt in Rechnung gestellt.
Prüfen Sie, ob dem BigQuery Data Transfer Service-Agent die Pub/Sub-Abonnentenrolle (pubsub.subscriber) zugewiesen wurde.
1. Rufen Sie in der Cloud de Confiance Console die Seite Pub/Sub auf.
  
  Zu Pub/Sub
2. Wählen Sie das Pub/Sub-Abo aus, das Sie für die ereignisgesteuerte Übertragung verwendet haben.
3. Wenn das Infofeld ausgeblendet ist, klicken Sie oben rechts auf Infofeld ansehen.
4. Prüfen Sie auf dem Tab Berechtigungen, ob der Dienst-Agent von BigQuery Data Transfer Service die Rolle „Pub/Sub-Abonnent“ (pubsub.subscriber) hat.

Zusammengefasste Befehle zum Konfigurieren von Benachrichtigungen und Berechtigungen

Die folgenden Google Cloud CLI-Befehle enthalten alle erforderlichen Befehle zum Einrichten von Benachrichtigungen und Berechtigungen, wie in den vorherigen Abschnitten beschrieben.

gcloud

PROJECT_ID=project_id
CONFIG_NAME=config_name
RESOURCE_NAME="bqdts-event-driven-${CONFIG_NAME}"
# Create a Pub/Sub topic.
gcloud pubsub topics create "${RESOURCE_NAME}" --project="${PROJECT_ID}"
# Create a Pub/Sub subscription.
gcloud pubsub subscriptions create "${RESOURCE_NAME}" --project="${PROJECT_ID}" --topic="projects/${PROJECT_ID}/topics/${RESOURCE_NAME}"
# Create a Pub/Sub notification.
gcloud storage buckets notifications create gs://"${RESOURCE_NAME}" --topic="projects/${PROJECT_ID}/topics/${RESOURCE_NAME}" --event-types=OBJECT_FINALIZE
# Grant roles/pubsub.subscriber permission to the DTS service agent.
PROJECT_NUMBER=$(gcloud projects describe "${PROJECT_ID}" --format='value(projectNumber)')
gcloud pubsub subscriptions add-iam-policy-binding "${RESOURCE_NAME}"  --project="${PROJECT_ID}"  --member=serviceAccount:service-"${PROJECT_NUMBER}"@gcp-sa-bigquerydatatransfer.s3ns-system.iam.gserviceaccount.com  --role=roles/pubsub.subscriber

Ersetzen Sie Folgendes:

PROJECT_ID: die ID des Projekts
CONFIG_NAME: Ein Name zur Identifizierung dieser Übertragungskonfiguration.

Übertragungskonfiguration erstellen

Sie können eine ereignisgesteuerte Cloud Storage-Übertragung erstellen, indem Sie eine Cloud Storage-Übertragung erstellen und Ereignisgesteuert als Zeitplantyp auswählen. Als Cloud Storage-Administrator (roles/storage.admin) und Pub/Sub-Administrator (roles/pubsub.admin) haben Sie ausreichende Berechtigungen, damit der BigQuery Data Transfer Service Cloud Storage automatisch so konfigurieren kann, dass Benachrichtigungen gesendet werden.

Wenn Sie nicht der Cloud Storage-Administrator (roles/storage.admin) und der Pub/Sub-Administrator (roles/pubsub.admin) sind, müssen Sie Ihren Administrator bitten, Ihnen die Rollen zuzuweisen, oder Ihren Administrator bitten, die erforderlichen Pub/Sub-Benachrichtigungen in Cloud Storage-Konfigurationen und Dienst-Agent-Berechtigungskonfigurationen abzuschließen, bevor Sie die ereignisgesteuerte Übertragung erstellen können.