创建 BigQuery 订阅

表

1. 在 Trusted Cloud 控制台中，前往 BigQuery Studio。

   进入 BigQuery Studio

2. 在标有按名称和标签过滤的“探索器”窗格搜索框中，输入表的名称，然后按 Enter 键。

3. 点击要授予权限的表。

4. 对于相应表格，依次选择 more_vert 更多操作 > 共享 > 权限。

   或者，点击表格，然后在主页面中依次点击共享 > 权限。

   系统会打开共享权限窗口。

5. 点击添加主账号。

6. 在添加主账号部分，输入包含订阅的项目所对应的 Pub/Sub 服务代理的名称。服务代理的格式为 service-project-number@gcp-sa-pubsub.s3ns.iam.gserviceaccount.com。例如，对于项目 project-number=112233445566，服务代理的格式为 service-112233445566@gcp-sa-pubsub.s3ns.iam.gserviceaccount.com。

7. 在选择角色下拉菜单中，输入 BigQuery，然后选择 BigQuery Data Editor 角色。

8. 点击保存。

项目

1. 在 Trusted Cloud 控制台中，前往 IAM 页面。

   转到 IAM

2. 点击授予访问权限。

3. 在添加主账号部分，输入 Pub/Sub 服务代理的名称。服务代理的格式为 service-project-number@gcp-sa-pubsub.s3ns.iam.gserviceaccount.com。例如，对于项目 project-number=112233445566，服务代理的格式为 service-112233445566@gcp-sa-pubsub.s3ns.iam.gserviceaccount.com。

4. 在分配角色部分中，点击添加其他角色。

5. 在选择角色下拉菜单中，输入 BigQuery，然后选择 BigQuery Data Editor 角色。

6. 点击保存。

服务账号

1. 在 Trusted Cloud 控制台中，打开服务账号页面。

   转到“服务账号”

2. 在过滤条件中输入自定义服务账号的名称。

3. 从列表中选择服务账号。

4. 点击具有访问权限的主账号。

5. 点击授予访问权限。

6. 在添加主账号部分，输入包含订阅的项目对应的 Pub/Sub 服务代理的名称。服务代理的格式为 service-project-number@gcp-sa-pubsub.s3ns.iam.gserviceaccount.com。例如，对于项目 project-number=112233445566，服务代理的格式为 service-112233445566@gcp-sa-pubsub.s3ns.iam.gserviceaccount.com。

7. 在请选择一个角色下拉菜单中，输入 Service Account，然后选择 Service Account Token Creator 角色。

8. 点击保存。

项目

1. 在 Trusted Cloud 控制台中，前往 IAM 页面。

   转到 IAM

2. 点击授予访问权限。

3. 在添加主账号部分，输入自定义服务账号的名称。

4. 在分配角色部分中，点击添加其他角色。

5. 在请选择一个角色下拉菜单中，输入 Service Account，然后选择 Service Account Token Creator 角色。

6. 点击保存。

控制台

1. 在 Trusted Cloud 控制台中，前往订阅页面。

   前往订阅页面。

2. 点击创建订阅。

3. 在订阅 ID 字段中，输入一个名称。 如需了解如何命名订阅，请参阅主题或订阅命名指南。

4. 从下拉菜单中选择或创建一个主题。订阅将接收来自该主题的消息。

5. 选择交付类型，然后选择写入 BigQuery。

6. 选择 BigQuery 表的项目。

7. 选择现有数据集或创建新数据集。 如需了解如何创建数据集，请参阅创建数据集。

8. 选择现有表格或创建新表格。 如需了解如何创建表格，请参阅创建表格。

9. 我们强烈建议您启用 Dead lettering 来处理消息失败问题。 如需了解详情，请参阅死信主题。

10. 点击创建。

您还可以通过主题页面创建订阅。 此快捷方式可帮助您将主题与订阅关联。

1. 在 Trusted Cloud 控制台中，前往主题页面。

   打开“主题”。

2. 点击要创建订阅的主题旁边的 more_vert。

3. 从上下文菜单中，选择创建订阅。

4. 选择交付类型，然后选择写入 BigQuery。

5. 选择 BigQuery 表的项目。

6. 选择现有数据集或创建新数据集。 如需了解如何创建数据集，请参阅创建数据集。

7. 选择现有表格或创建新表格。 如需了解如何创建数据集，请参阅创建表。

8. 我们强烈建议您启用 Dead lettering 来处理消息失败问题。 如需了解详情，请参阅死信主题。

9. 点击创建。

gcloud

1. In the Trusted Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   1. 如需创建 Pub/Sub 订阅，请使用 gcloud pubsub subscriptions create 命令：

      gcloud pubsub subscriptions create SUBSCRIPTION_ID \
          --topic=TOPIC_ID \
          --bigquery-table=PROJECT_ID.DATASET_ID.TABLE_ID
      

      如果您想使用自定义服务账号，请将其作为额外的实参提供：

      gcloud pubsub subscriptions create SUBSCRIPTION_ID \
          --topic=TOPIC_ID \
          --bigquery-table=PROJECT_ID.DATASET_ID.TABLE_ID 
          --bigquery-service-account-email=SERVICE_ACCOUNT_NAME
      

      替换以下内容：

      • SUBSCRIPTION_ID：指定订阅的 ID。
      • TOPIC_ID：指定主题的 ID。主题需要架构。
      • PROJECT_ID：指定项目的 ID。
      • DATASET_ID：指定现有数据集的 ID。如需创建数据集，请参阅 创建数据集。
      • TABLE_ID：指定现有表的 ID。如果主题没有架构，则表需要包含 data 字段。如需创建表，请参阅创建具有架构定义的空表。
      • SERVICE_ACCOUNT_NAME：指定用于写入 BigQuery 的服务账号的名称。

   C++

   在尝试此示例之前，请按照《快速入门：使用客户端库》中的 C++ 设置说明进行操作。如需了解详情，请参阅 Pub/Sub C++ API 参考文档。

   namespace pubsub = ::google::cloud::pubsub;
   namespace pubsub_admin = ::google::cloud::pubsub_admin;
   [](pubsub_admin::SubscriptionAdminClient client,
      std::string const& project_id, std::string const& topic_id,
      std::string const& subscription_id, std::string const& table_id) {
     google::pubsub::v1::Subscription request;
     request.set_name(
         pubsub::Subscription(project_id, subscription_id).FullName());
     request.set_topic(pubsub::Topic(project_id, topic_id).FullName());
     request.mutable_bigquery_config()->set_table(table_id);
     auto sub = client.CreateSubscription(request);
     if (!sub) {
       if (sub.status().code() == google::cloud::StatusCode::kAlreadyExists) {
         std::cout << "The subscription already exists\n";
         return;
       }
       throw std::move(sub).status();
     }
   
     std::cout << "The subscription was successfully created: "
               << sub->DebugString() << "\n";
   }

   C#

   在尝试此示例之前，请按照《快速入门：使用客户端库》中的 C# 设置说明进行操作。 如需了解详情，请参阅 Pub/Sub C# API 参考文档。

   
   using Google.Cloud.PubSub.V1;
   
   public class CreateBigQuerySubscriptionSample
   {
       public Subscription CreateBigQuerySubscription(string projectId, string topicId, string subscriptionId, string bigqueryTableId)
       {
           SubscriberServiceApiClient subscriber = SubscriberServiceApiClient.Create();
           TopicName topicName = TopicName.FromProjectTopic(projectId, topicId);
           SubscriptionName subscriptionName = SubscriptionName.FromProjectSubscription(projectId, subscriptionId);
   
           var subscriptionRequest = new Subscription
           {
               SubscriptionName = subscriptionName,
               TopicAsTopicName = topicName,
               BigqueryConfig = new BigQueryConfig
               {
                   Table = bigqueryTableId
               }
           };
           var subscription = subscriber.CreateSubscription(subscriptionRequest);
           return subscription;
       }
   }

   Go

   以下示例使用 Go Pub/Sub 客户端库的主要版本 (v2)。如果您仍在使用 v1 库，请参阅迁移到 v2 的指南。如需查看 v1 代码示例的列表，请参阅 已弃用的代码示例。

   在尝试此示例之前，请按照《快速入门：使用客户端库》中的 Go 设置说明进行操作。如需了解详情，请参阅 Pub/Sub Go API 参考文档。

   import (
   	"context"
   	"fmt"
   	"io"
   
   	"cloud.google.com/go/pubsub/v2"
   	"cloud.google.com/go/pubsub/v2/apiv1/pubsubpb"
   )
   
   // createBigQuerySubscription creates a Pub/Sub subscription that exports messages to BigQuery.
   func createBigQuerySubscription(w io.Writer, projectID, topic, subscription, table string) error {
   	// projectID := "my-project"
   	// topic := "projects/my-project-id/topics/my-topic"
   	// subscription := "projects/my-project/subscriptions/my-sub"
   	// table := "my-project-id.dataset_id.table_id"
   	ctx := context.Background()
   	client, err := pubsub.NewClient(ctx, projectID)
   	if err != nil {
   		return fmt.Errorf("pubsub.NewClient: %w", err)
   	}
   	defer client.Close()
   
   	sub, err := client.SubscriptionAdminClient.CreateSubscription(ctx, &pubsubpb.Subscription{
   		Name:  subscription,
   		Topic: topic,
   		BigqueryConfig: &pubsubpb.BigQueryConfig{
   			Table:         table,
   			WriteMetadata: true,
   		},
   	})
   	if err != nil {
   		return fmt.Errorf("failed to create subscription: %w", err)
   	}
   	fmt.Fprintf(w, "Created BigQuery subscription: %v\n", sub)
   
   	return nil
   }
   

   Java

   在尝试此示例之前，请按照《快速入门：使用客户端库》中的 Java 设置说明进行操作。 如需了解详情，请参阅 Pub/Sub Java API 参考文档。

   import com.google.cloud.pubsub.v1.SubscriptionAdminClient;
   import com.google.pubsub.v1.BigQueryConfig;
   import com.google.pubsub.v1.ProjectSubscriptionName;
   import com.google.pubsub.v1.ProjectTopicName;
   import com.google.pubsub.v1.Subscription;
   import java.io.IOException;
   
   public class CreateBigQuerySubscriptionExample {
     public static void main(String... args) throws Exception {
       // TODO(developer): Replace these variables before running the sample.
       String projectId = "your-project-id";
       String topicId = "your-topic-id";
       String subscriptionId = "your-subscription-id";
       String bigqueryTableId = "your-project.your-dataset.your-table";
   
       createBigQuerySubscription(projectId, topicId, subscriptionId, bigqueryTableId);
     }
   
     public static void createBigQuerySubscription(
         String projectId, String topicId, String subscriptionId, String bigqueryTableId)
         throws IOException {
       try (SubscriptionAdminClient subscriptionAdminClient = SubscriptionAdminClient.create()) {
   
         ProjectTopicName topicName = ProjectTopicName.of(projectId, topicId);
         ProjectSubscriptionName subscriptionName =
             ProjectSubscriptionName.of(projectId, subscriptionId);
   
         BigQueryConfig bigqueryConfig =
             BigQueryConfig.newBuilder().setTable(bigqueryTableId).setWriteMetadata(true).build();
   
         Subscription subscription =
             subscriptionAdminClient.createSubscription(
                 Subscription.newBuilder()
                     .setName(subscriptionName.toString())
                     .setTopic(topicName.toString())
                     .setBigqueryConfig(bigqueryConfig)
                     .build());
   
         System.out.println("Created a BigQuery subscription: " + subscription.getAllFields());
       }
     }
   }

   Node.js

   在尝试此示例之前，请按照《快速入门：使用客户端库》中的 Node.js 设置说明进行操作。如需了解详情，请参阅 Pub/Sub Node.js API 参考文档。

   /**
    * TODO(developer): Uncomment these variables before running the sample.
    */
   // const topicNameOrId = 'YOUR_TOPIC_NAME_OR_ID';
   // const subscriptionNameOrId = 'YOUR_SUBSCRIPTION_NAME_OR_ID';
   // const bigqueryTableId = 'YOUR_TABLE_ID';
   
   // Imports the Google Cloud client library
   const {PubSub} = require('@google-cloud/pubsub');
   
   // Creates a client; cache this for further use
   const pubSubClient = new PubSub();
   
   async function createBigQuerySubscription(
     topicNameOrId,
     subscriptionNameOrId,
     bigqueryTableId,
   ) {
     const options = {
       bigqueryConfig: {
         table: bigqueryTableId,
         writeMetadata: true,
       },
     };
   
     await pubSubClient
       .topic(topicNameOrId)
       .createSubscription(subscriptionNameOrId, options);
   
     console.log(`Subscription ${subscriptionNameOrId} created.`);
   }

   Node.ts

   在尝试此示例之前，请按照《快速入门：使用客户端库》中的 Node.js 设置说明进行操作。如需了解详情，请参阅 Pub/Sub Node.js API 参考文档。

   /**
    * TODO(developer): Uncomment these variables before running the sample.
    */
   // const topicNameOrId = 'YOUR_TOPIC_NAME_OR_ID';
   // const subscriptionNameOrId = 'YOUR_SUBSCRIPTION_NAME_OR_ID';
   // const bigqueryTableId = 'YOUR_TABLE_ID';
   
   // Imports the Google Cloud client library
   import {PubSub, CreateSubscriptionOptions} from '@google-cloud/pubsub';
   
   // Creates a client; cache this for further use
   const pubSubClient = new PubSub();
   
   async function createBigQuerySubscription(
     topicNameOrId: string,
     subscriptionNameOrId: string,
     bigqueryTableId: string,
   ) {
     const options: CreateSubscriptionOptions = {
       bigqueryConfig: {
         table: bigqueryTableId,
         writeMetadata: true,
       },
     };
   
     await pubSubClient
       .topic(topicNameOrId)
       .createSubscription(subscriptionNameOrId, options);
   
     console.log(`Subscription ${subscriptionNameOrId} created.`);
   }

   PHP

   在尝试此示例之前，请按照《快速入门：使用客户端库》中的 PHP 设置说明进行操作。如需了解详情，请参阅 Pub/Sub PHP API 参考文档。

   use Google\Cloud\PubSub\PubSubClient;
   use Google\Cloud\PubSub\V1\BigQueryConfig;
   
   /**
    * Creates a Pub/Sub BigQuery subscription.
    *
    * @param string $projectId  The Google project ID.
    * @param string $topicName  The Pub/Sub topic name.
    * @param string $subscriptionName  The Pub/Sub subscription name.
    * @param string $table      The BigQuery table to which to write.
    */
   function create_bigquery_subscription($projectId, $topicName, $subscriptionName, $table)
   {
       $pubsub = new PubSubClient([
           'projectId' => $projectId,
       ]);
       $topic = $pubsub->topic($topicName);
       $subscription = $topic->subscription($subscriptionName);
       $config = new BigQueryConfig(['table' => $table]);
       $subscription->create([
           'bigqueryConfig' => $config
       ]);
   
       printf('Subscription created: %s' . PHP_EOL, $subscription->name());
   }

   Python

   在尝试此示例之前，请按照《快速入门：使用客户端库》中的 Python 设置说明进行操作。 如需了解详情，请参阅 Pub/Sub Python API 参考文档。

   from google.cloud import pubsub_v1
   
   # TODO(developer)
   # project_id = "your-project-id"
   # topic_id = "your-topic-id"
   # subscription_id = "your-subscription-id"
   # bigquery_table_id = "your-project.your-dataset.your-table"
   
   publisher = pubsub_v1.PublisherClient()
   subscriber = pubsub_v1.SubscriberClient()
   topic_path = publisher.topic_path(project_id, topic_id)
   subscription_path = subscriber.subscription_path(project_id, subscription_id)
   
   bigquery_config = pubsub_v1.types.BigQueryConfig(
       table=bigquery_table_id, write_metadata=True
   )
   
   # Wrap the subscriber in a 'with' block to automatically call close() to
   # close the underlying gRPC channel when done.
   with subscriber:
       subscription = subscriber.create_subscription(
           request={
               "name": subscription_path,
               "topic": topic_path,
               "bigquery_config": bigquery_config,
           }
       )
   
   print(f"BigQuery subscription created: {subscription}.")
   print(f"Table for subscription is: {bigquery_table_id}")

   Ruby

   以下示例使用 Ruby Pub/Sub 客户端库 v3。如果您仍在使用 v2 库，请参阅 迁移到 v3 的指南。如需查看 Ruby v2 代码示例的列表，请参阅 已弃用的代码示例。

   在尝试此示例之前，请按照《快速入门：使用客户端库》中的 Ruby 设置说明进行操作。如需了解详情，请参阅 Pub/Sub Ruby API 参考文档。

   # project_id = "your-project-id"
   # topic_id = "your-topic-id"
   # subscription_id = "your-subscription-id"
   # bigquery_table_id = "my-project:dataset-id.table-id"
   
   pubsub = Google::Cloud::PubSub.new project_id: project_id
   subscription_admin = pubsub.subscription_admin
   
   subscription = subscription_admin.create_subscription \
     name: pubsub.subscription_path(subscription_id),
     topic: pubsub.topic_path(topic_id),
     bigquery_config: {
       table: bigquery_table_id,
       write_metadata: true
     }
   
   puts "BigQuery subscription created: #{subscription_id}."
   puts "Table for subscription is: #{bigquery_table_id}"