BigQuery-Abos erstellen

Tabelle

1. Wechseln Sie in der Trusted Cloud Console zu BigQuery Studio.

   Zu BigQuery Studio

2. Geben Sie im Suchfeld des Explorer-Bereichs mit dem Label Nach Name und Labels filtern den Namen der Tabelle ein und drücken Sie die Eingabetaste.

3. Klicken Sie auf die Tabelle, für die Sie Berechtigungen gewähren möchten.

4. Wählen Sie für die Tabelle more_vert > Weitere Aktionen > Freigeben > Berechtigungen aus.

   Alternativ können Sie auf die Tabelle und dann auf der Hauptseite auf Freigabe > Berechtigungen klicken.

   Das Fenster Freigabeberechtigungen wird geöffnet.

5. Klicken Sie auf Hauptkonto hinzufügen.

6. Geben Sie unter Principals hinzufügen den Namen Ihres Pub/Sub-Dienst-Agents für das Projekt ein, das das Abo enthält. Der Dienst-Agent hat das Format service-project-number@gcp-sa-pubsub.s3ns-system.iam.gserviceaccount.com. Für ein Projekt mit project-number=112233445566 hat der Dienst-Agent beispielsweise das Format service-112233445566@gcp-sa-pubsub.s3ns-system.iam.gserviceaccount.com.

7. Geben Sie im Drop-down-Menü Rolle auswählen BigQuery ein und wählen Sie die Rolle BigQuery-Datenbearbeiter aus.

8. Klicken Sie auf Speichern.

Projekt

1. Rufen Sie in der Trusted Cloud Console die Seite IAM auf.

   IAM aufrufen

2. Klicken Sie auf Zugriff erlauben.

3. Geben Sie im Abschnitt Hauptkonten hinzufügen den Namen Ihres Pub/Sub-Dienst-Agents ein. Der Dienst-Agent hat das Format service-project-number@gcp-sa-pubsub.s3ns-system.iam.gserviceaccount.com. Für ein Projekt mit project-number=112233445566 hat der Dienst-Agent beispielsweise das Format service-112233445566@gcp-sa-pubsub.s3ns-system.iam.gserviceaccount.com.

4. Klicken Sie im Bereich Rollen zuweisen auf Weitere Rolle hinzufügen.

5. Geben Sie im Drop-down-Menü Rolle auswählen BigQuery ein und wählen Sie die Rolle BigQuery-Datenbearbeiter aus.

6. Klicken Sie auf Speichern.

Dienstkonto

1. Rufen Sie in der Trusted Cloud Console die Seite Dienstkonten auf.

   Zur Seite „Dienstkonten“

2. Geben Sie den Namen des benutzerdefinierten Dienstkontos in den Filter ein.

3. Wählen Sie das Dienstkonto aus der Liste aus.

4. Klicken Sie auf Hauptkonten mit Zugriff.

5. Klicken Sie auf Zugriff erlauben.

6. Geben Sie im Bereich Hauptkonten hinzufügen den Namen Ihres Pub/Sub-Dienst-Agents für das Projekt mit dem Abo ein. Der Dienst-Agent hat das Format service-project-number@gcp-sa-pubsub.s3ns-system.iam.gserviceaccount.com. Für ein Projekt mit project-number=112233445566 hat der Dienst-Agent beispielsweise das Format service-112233445566@gcp-sa-pubsub.s3ns-system.iam.gserviceaccount.com.

7. Geben Sie im Drop-down-Menü Rolle auswählen Service Account ein und wählen Sie die Rolle Ersteller von Dienstkonto-Tokens aus.

8. Klicken Sie auf Speichern.

Projekt

1. Rufen Sie in der Trusted Cloud Console die Seite IAM auf.

   IAM aufrufen

2. Klicken Sie auf Zugriff erlauben.

3. Geben Sie im Abschnitt Hauptkonten hinzufügen den Namen Ihres benutzerdefinierten Dienstkontos ein.

4. Klicken Sie im Bereich Rollen zuweisen auf Weitere Rolle hinzufügen.

5. Geben Sie im Drop-down-Menü Rolle auswählen Service Account ein und wählen Sie die Rolle Ersteller von Dienstkonto-Tokens aus.

6. Klicken Sie auf Speichern.

Console

1. Rufen Sie in der Trusted Cloud Console die Seite Abos auf.

   Zu den Abos

2. Klicken Sie auf Abo erstellen.

3. Geben Sie im Feld Abo-ID einen Namen ein. Informationen zum Benennen eines Abos finden Sie unter Richtlinien für die Benennung eines Themas oder Abos.

4. Wählen Sie im Drop-down-Menü ein Thema aus oder erstellen Sie ein Thema. Das Abo erhält Nachrichten aus dem Thema.

5. Wählen Sie als Zustellungstyp die Option In BigQuery schreiben aus.

6. Wählen Sie das Projekt für die BigQuery-Tabelle aus.

7. Wählen Sie ein vorhandenes Dataset aus oder erstellen Sie ein neues. Informationen zum Erstellen eines Datasets finden Sie unter Datasets erstellen.

8. Wählen Sie eine vorhandene Tabelle aus oder erstellen Sie eine neue. Informationen zum Erstellen einer Tabelle finden Sie unter Tabellen erstellen.

9. Wir empfehlen dringend, Dead Lettering zu aktivieren, um Nachrichtenfehler zu beheben. Weitere Informationen finden Sie unter Thema für unzustellbare Nachrichten.

10. Klicken Sie auf Erstellen.

Sie können ein Abo auch auf der Seite Themen erstellen. Diese Verknüpfung ist nützlich, um Themen mit Abos zu verknüpfen.

1. Rufen Sie in der Trusted Cloud Console die Seite Themen auf.

   Themen aufrufen

2. Klicken Sie neben dem Thema, für das Sie ein Abo erstellen möchten, auf more_vert.

3. Wählen Sie im Kontextmenü Abo erstellen aus.

4. Wählen Sie als Zustellungstyp die Option In BigQuery schreiben aus.

5. Wählen Sie das Projekt für die BigQuery-Tabelle aus.

6. Wählen Sie ein vorhandenes Dataset aus oder erstellen Sie ein neues. Informationen zum Erstellen eines Datasets finden Sie unter Datasets erstellen.

7. Wählen Sie eine vorhandene Tabelle aus oder erstellen Sie eine neue. Informationen zum Erstellen eines Datasets finden Sie unter Tabellen erstellen.

8. Wir empfehlen dringend, Dead Lettering zu aktivieren, um Nachrichtenfehler zu beheben. Weitere Informationen finden Sie unter Thema für unzustellbare Nachrichten.

9. Klicken Sie auf Erstellen.

gcloud

1. In the Trusted Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   1. Verwenden Sie den Befehl gcloud pubsub subscriptions create, um ein Pub/Sub-Abo zu erstellen:

      gcloud pubsub subscriptions create SUBSCRIPTION_ID \
          --topic=TOPIC_ID \
          --bigquery-table=PROJECT_ID.DATASET_ID.TABLE_ID
      

      Wenn Sie ein benutzerdefiniertes Dienstkonto verwenden möchten, geben Sie es als zusätzliches Argument an:

      gcloud pubsub subscriptions create SUBSCRIPTION_ID \
          --topic=TOPIC_ID \
          --bigquery-table=PROJECT_ID.DATASET_ID.TABLE_ID 
          --bigquery-service-account-email=SERVICE_ACCOUNT_NAME
      

      Ersetzen Sie Folgendes:

      • SUBSCRIPTION_ID: Gibt die ID des Abos an.
      • TOPIC_ID: Gibt die ID des Themas an. Für das Thema ist ein Schema erforderlich.
      • PROJECT_ID: Gibt die ID des Projekts an.
      • DATASET_ID: Gibt die ID eines vorhandenen Datasets an. Informationen zum Erstellen eines Datasets finden Sie unter Datasets erstellen.
      • TABLE_ID: Gibt die ID einer vorhandenen Tabelle an. Die Tabelle erfordert ein Feld data, wenn Ihr Thema kein Schema hat. Informationen zum Erstellen einer Tabelle finden Sie unter Leere Tabelle mit einer Schemadefinition erstellen.
      • SERVICE_ACCOUNT_NAME: Gibt den Namen des Dienstkontos an, das zum Schreiben in BigQuery verwendet werden soll.

   C++

   Bevor Sie dieses Beispiel testen, folgen Sie der Einrichtungsanleitung für C++ in der Kurzanleitung: Clientbibliotheken verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zur Pub/Sub C++ API.

   namespace pubsub = ::google::cloud::pubsub;
   namespace pubsub_admin = ::google::cloud::pubsub_admin;
   [](pubsub_admin::SubscriptionAdminClient client,
      std::string const& project_id, std::string const& topic_id,
      std::string const& subscription_id, std::string const& table_id) {
     google::pubsub::v1::Subscription request;
     request.set_name(
         pubsub::Subscription(project_id, subscription_id).FullName());
     request.set_topic(pubsub::Topic(project_id, topic_id).FullName());
     request.mutable_bigquery_config()->set_table(table_id);
     auto sub = client.CreateSubscription(request);
     if (!sub) {
       if (sub.status().code() == google::cloud::StatusCode::kAlreadyExists) {
         std::cout << "The subscription already exists\n";
         return;
       }
       throw std::move(sub).status();
     }
   
     std::cout << "The subscription was successfully created: "
               << sub->DebugString() << "\n";
   }

   C#

   Bevor Sie dieses Beispiel testen, folgen Sie der Einrichtungsanleitung für C# in der Schnellstart-Anleitung: Clientbibliotheken verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zu Pub/Sub C# API.

   
   using Google.Cloud.PubSub.V1;
   
   public class CreateBigQuerySubscriptionSample
   {
       public Subscription CreateBigQuerySubscription(string projectId, string topicId, string subscriptionId, string bigqueryTableId)
       {
           SubscriberServiceApiClient subscriber = SubscriberServiceApiClient.Create();
           TopicName topicName = TopicName.FromProjectTopic(projectId, topicId);
           SubscriptionName subscriptionName = SubscriptionName.FromProjectSubscription(projectId, subscriptionId);
   
           var subscriptionRequest = new Subscription
           {
               SubscriptionName = subscriptionName,
               TopicAsTopicName = topicName,
               BigqueryConfig = new BigQueryConfig
               {
                   Table = bigqueryTableId
               }
           };
           var subscription = subscriber.CreateSubscription(subscriptionRequest);
           return subscription;
       }
   }

   Go

   Im folgenden Beispiel wird die Hauptversion der Go Pub/Sub-Clientbibliothek (v2) verwendet. Wenn Sie noch die v1-Bibliothek verwenden, finden Sie hier den Migrationsleitfaden für v2. Eine Liste der Codebeispiele für Version 1 finden Sie unter Eingestellte Codebeispiele.

   Bevor Sie dieses Beispiel testen, folgen Sie der Einrichtungsanleitung für Go in der Schnellstart-Anleitung: Clientbibliotheken verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zu Pub/Sub Go API.

   import (
   	"context"
   	"fmt"
   	"io"
   
   	"cloud.google.com/go/pubsub/v2"
   	"cloud.google.com/go/pubsub/v2/apiv1/pubsubpb"
   )
   
   // createBigQuerySubscription creates a Pub/Sub subscription that exports messages to BigQuery.
   func createBigQuerySubscription(w io.Writer, projectID, topic, subscription, table string) error {
   	// projectID := "my-project"
   	// topic := "projects/my-project-id/topics/my-topic"
   	// subscription := "projects/my-project/subscriptions/my-sub"
   	// table := "my-project-id.dataset_id.table_id"
   	ctx := context.Background()
   	client, err := pubsub.NewClient(ctx, projectID)
   	if err != nil {
   		return fmt.Errorf("pubsub.NewClient: %w", err)
   	}
   	defer client.Close()
   
   	sub, err := client.SubscriptionAdminClient.CreateSubscription(ctx, &pubsubpb.Subscription{
   		Name:  subscription,
   		Topic: topic,
   		BigqueryConfig: &pubsubpb.BigQueryConfig{
   			Table:         table,
   			WriteMetadata: true,
   		},
   	})
   	if err != nil {
   		return fmt.Errorf("failed to create subscription: %w", err)
   	}
   	fmt.Fprintf(w, "Created BigQuery subscription: %v\n", sub)
   
   	return nil
   }
   

   Java

   Bevor Sie dieses Beispiel testen, folgen Sie der Einrichtungsanleitung für Java in der Kurzanleitung: Clientbibliotheken verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zu Pub/Sub Java API.

   import com.google.cloud.pubsub.v1.SubscriptionAdminClient;
   import com.google.pubsub.v1.BigQueryConfig;
   import com.google.pubsub.v1.ProjectSubscriptionName;
   import com.google.pubsub.v1.ProjectTopicName;
   import com.google.pubsub.v1.Subscription;
   import java.io.IOException;
   
   public class CreateBigQuerySubscriptionExample {
     public static void main(String... args) throws Exception {
       // TODO(developer): Replace these variables before running the sample.
       String projectId = "your-project-id";
       String topicId = "your-topic-id";
       String subscriptionId = "your-subscription-id";
       String bigqueryTableId = "your-project.your-dataset.your-table";
   
       createBigQuerySubscription(projectId, topicId, subscriptionId, bigqueryTableId);
     }
   
     public static void createBigQuerySubscription(
         String projectId, String topicId, String subscriptionId, String bigqueryTableId)
         throws IOException {
       try (SubscriptionAdminClient subscriptionAdminClient = SubscriptionAdminClient.create()) {
   
         ProjectTopicName topicName = ProjectTopicName.of(projectId, topicId);
         ProjectSubscriptionName subscriptionName =
             ProjectSubscriptionName.of(projectId, subscriptionId);
   
         BigQueryConfig bigqueryConfig =
             BigQueryConfig.newBuilder().setTable(bigqueryTableId).setWriteMetadata(true).build();
   
         Subscription subscription =
             subscriptionAdminClient.createSubscription(
                 Subscription.newBuilder()
                     .setName(subscriptionName.toString())
                     .setTopic(topicName.toString())
                     .setBigqueryConfig(bigqueryConfig)
                     .build());
   
         System.out.println("Created a BigQuery subscription: " + subscription.getAllFields());
       }
     }
   }

   Node.js

   Bevor Sie dieses Beispiel testen, folgen Sie der Einrichtungsanleitung für PHP in der Schnellstart-Anleitung: Clientbibliotheken verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zu Pub/Sub Node.js API.

   /**
    * TODO(developer): Uncomment these variables before running the sample.
    */
   // const topicNameOrId = 'YOUR_TOPIC_NAME_OR_ID';
   // const subscriptionNameOrId = 'YOUR_SUBSCRIPTION_NAME_OR_ID';
   // const bigqueryTableId = 'YOUR_TABLE_ID';
   
   // Imports the Google Cloud client library
   const {PubSub} = require('@google-cloud/pubsub');
   
   // Creates a client; cache this for further use
   const pubSubClient = new PubSub();
   
   async function createBigQuerySubscription(
     topicNameOrId,
     subscriptionNameOrId,
     bigqueryTableId,
   ) {
     const options = {
       bigqueryConfig: {
         table: bigqueryTableId,
         writeMetadata: true,
       },
     };
   
     await pubSubClient
       .topic(topicNameOrId)
       .createSubscription(subscriptionNameOrId, options);
   
     console.log(`Subscription ${subscriptionNameOrId} created.`);
   }

   Node.ts

   Bevor Sie dieses Beispiel testen, folgen Sie der Einrichtungsanleitung für PHP in der Schnellstart-Anleitung: Clientbibliotheken verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zu Pub/Sub Node.js API.

   /**
    * TODO(developer): Uncomment these variables before running the sample.
    */
   // const topicNameOrId = 'YOUR_TOPIC_NAME_OR_ID';
   // const subscriptionNameOrId = 'YOUR_SUBSCRIPTION_NAME_OR_ID';
   // const bigqueryTableId = 'YOUR_TABLE_ID';
   
   // Imports the Google Cloud client library
   import {PubSub, CreateSubscriptionOptions} from '@google-cloud/pubsub';
   
   // Creates a client; cache this for further use
   const pubSubClient = new PubSub();
   
   async function createBigQuerySubscription(
     topicNameOrId: string,
     subscriptionNameOrId: string,
     bigqueryTableId: string,
   ) {
     const options: CreateSubscriptionOptions = {
       bigqueryConfig: {
         table: bigqueryTableId,
         writeMetadata: true,
       },
     };
   
     await pubSubClient
       .topic(topicNameOrId)
       .createSubscription(subscriptionNameOrId, options);
   
     console.log(`Subscription ${subscriptionNameOrId} created.`);
   }

   PHP

   Folgen Sie der Einrichtungsanleitung für PHP unter Schnellstart: Clientbibliotheken verwenden, bevor Sie dieses Beispiel ausprobieren. Weitere Informationen finden Sie in der Referenzdokumentation zur PHP-API von Pub/Sub.

   use Google\Cloud\PubSub\PubSubClient;
   use Google\Cloud\PubSub\V1\BigQueryConfig;
   
   /**
    * Creates a Pub/Sub BigQuery subscription.
    *
    * @param string $projectId  The Google project ID.
    * @param string $topicName  The Pub/Sub topic name.
    * @param string $subscriptionName  The Pub/Sub subscription name.
    * @param string $table      The BigQuery table to which to write.
    */
   function create_bigquery_subscription($projectId, $topicName, $subscriptionName, $table)
   {
       $pubsub = new PubSubClient([
           'projectId' => $projectId,
       ]);
       $topic = $pubsub->topic($topicName);
       $subscription = $topic->subscription($subscriptionName);
       $config = new BigQueryConfig(['table' => $table]);
       $subscription->create([
           'bigqueryConfig' => $config
       ]);
   
       printf('Subscription created: %s' . PHP_EOL, $subscription->name());
   }

   Python

   Bevor Sie dieses Beispiel testen, folgen Sie der Einrichtungsanleitung für Python in der Schnellstart-Anleitung: Clientbibliotheken verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zu Pub/Sub Python API.

   from google.cloud import pubsub_v1
   
   # TODO(developer)
   # project_id = "your-project-id"
   # topic_id = "your-topic-id"
   # subscription_id = "your-subscription-id"
   # bigquery_table_id = "your-project.your-dataset.your-table"
   
   publisher = pubsub_v1.PublisherClient()
   subscriber = pubsub_v1.SubscriberClient()
   topic_path = publisher.topic_path(project_id, topic_id)
   subscription_path = subscriber.subscription_path(project_id, subscription_id)
   
   bigquery_config = pubsub_v1.types.BigQueryConfig(
       table=bigquery_table_id, write_metadata=True
   )
   
   # Wrap the subscriber in a 'with' block to automatically call close() to
   # close the underlying gRPC channel when done.
   with subscriber:
       subscription = subscriber.create_subscription(
           request={
               "name": subscription_path,
               "topic": topic_path,
               "bigquery_config": bigquery_config,
           }
       )
   
   print(f"BigQuery subscription created: {subscription}.")
   print(f"Table for subscription is: {bigquery_table_id}")

   Ruby

   Im folgenden Beispiel wird die Ruby-Pub/Sub-Clientbibliothek v3 verwendet. Wenn Sie noch die v2-Bibliothek verwenden, finden Sie hier die Migrationsanleitung für v3. Eine Liste der Ruby v2-Codebeispiele finden Sie unter Eingestellte Codebeispiele.

   Bevor Sie dieses Beispiel ausprobieren, folgen Sie der Einrichtungsanleitung für Ruby im Schnellstart: Clientbibliotheken verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zu Pub/Sub Ruby API.

   # project_id = "your-project-id"
   # topic_id = "your-topic-id"
   # subscription_id = "your-subscription-id"
   # bigquery_table_id = "my-project:dataset-id.table-id"
   
   pubsub = Google::Cloud::PubSub.new project_id: project_id
   subscription_admin = pubsub.subscription_admin
   
   subscription = subscription_admin.create_subscription \
     name: pubsub.subscription_path(subscription_id),
     topic: pubsub.topic_path(topic_id),
     bigquery_config: {
       table: bigquery_table_id,
       write_metadata: true
     }
   
   puts "BigQuery subscription created: #{subscription_id}."
   puts "Table for subscription is: #{bigquery_table_id}"