Beberapa atau semua informasi di halaman ini mungkin tidak berlaku untuk Trusted Cloud oleh S3NS.

Halaman ini diterjemahkan oleh Cloud Translation API.

Membuat topik impor Amazon Managed Streaming for Apache Kafka

Topik impor Amazon Managed Streaming for Apache Kafka (Amazon MSK) memungkinkan Anda terus-menerus menyerap data dari Amazon MSK sebagai sumber eksternal dan ke Pub/Sub. Kemudian, Anda dapat melakukan streaming data ke tujuan mana pun yang didukung Pub/Sub.

Dokumen ini menunjukkan cara membuat dan mengelola topik impor Amazon MSK. Untuk membuat topik standar, lihat Membuat topik standar.

Untuk mengetahui informasi selengkapnya tentang topik impor, lihat Tentang topik impor.

Sebelum memulai

Ketahui lebih lanjut proses penerbitan Pub/Sub.
Konfigurasi peran dan izin yang diperlukan untuk mengelola topik impor Amazon MSK, termasuk yang berikut:
Siapkan workload identity federation agar Trusted Cloud dapat mengakses layanan streaming eksternal.

Peran dan izin yang diperlukan

Untuk mendapatkan izin yang Anda perlukan guna membuat dan mengelola topik impor Amazon MSK, minta administrator untuk memberi Anda peran IAM Pub/Sub Editor (roles/pubsub.editor) di topik atau project Anda. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat dan mengelola topik impor Amazon MSK. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat dan mengelola topik impor Amazon MSK:

Buat topik impor: pubsub.topics.create
Menghapus topik impor: pubsub.topics.delete
Dapatkan topik impor: pubsub.topics.get
Cantumkan topik impor: pubsub.topics.list
Memublikasikan ke topik impor: pubsub.topics.publish and pubsub.serviceAgent
Perbarui topik impor: pubsub.topics.update
Dapatkan kebijakan IAM untuk topik impor: pubsub.topics.getIamPolicy
Konfigurasi kebijakan IAM untuk topik impor: pubsub.topics.setIamPolicy

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Anda dapat mengonfigurasi kontrol akses di level project dan level resource individual.

Menyiapkan identitas gabungan untuk mengakses Amazon MSK

Workload Identity Federation memungkinkan Trusted Cloud layanan mengakses beban kerja yang berjalan di luar Trusted Cloud. Dengan federasi identitas, Anda tidak perlu memelihara atau meneruskan kredensial ke Trusted Cloud untuk mengakses resource Anda di cloud lain. Sebagai gantinya, Anda dapat menggunakan identitas workload itu sendiri untuk melakukan autentikasi ke Trusted Cloud dan mengakses resource.

Buat akun layanan di Trusted Cloud

Ini langkah opsional. Jika sudah memiliki akun layanan, Anda dapat menggunakannya dalam prosedur ini, bukan membuat akun layanan baru. Jika Anda menggunakan akun layanan yang sudah ada, buka Mencatat ID unik akun layanan untuk langkah berikutnya.

Untuk topik impor Amazon MSK, Pub/Sub menggunakan akun layanan sebagai identitas untuk mengakses resource dari AWS.

Untuk mengetahui informasi selengkapnya tentang cara membuat akun layanan, termasuk prasyarat, peran dan izin yang diperlukan, serta panduan penamaan, lihat Membuat akun layanan. Setelah membuat akun layanan, Anda mungkin perlu menunggu selama 60 detik atau lebih sebelum menggunakan akun layanan tersebut. Perilaku ini terjadi karena operasi baca pada akhirnya konsisten; perlu waktu hingga akun layanan baru terlihat.

Mencatat ID unik akun layanan

Anda memerlukan ID unik akun layanan untuk menyiapkan peran di konsol AWS.

Di konsol Trusted Cloud , buka halaman detail Service account.

Buka akun layanan
Klik akun layanan yang baru saja Anda buat atau yang akan Anda gunakan.
Dari halaman Service account details, catat nomor ID Unik.

Anda memerlukan ID sebagai bagian dari alur kerja untuk menyiapkan peran di konsol AWS.

Tambahkan peran pembuat token akun layanan ke akun layanan Pub/Sub

Peran pembuat token akun layanan (roles/iam.serviceAccountTokenCreator) memungkinkan akun utama membuat kredensial berumur pendek untuk akun layanan. Token atau kredensial ini digunakan untuk meniru identitas akun layanan.

Untuk informasi selengkapnya tentang peniruan akun layanan, lihat Peniruan akun layanan.

Anda juga dapat menambahkan peran penerbit Pub/Sub (roles/pubsub.publisher) selama prosedur ini. Untuk mengetahui informasi selengkapnya tentang peran dan alasan Anda menambahkannya, lihat Menambahkan peran Pub/Sub Publisher ke akun layanan Pub/Sub.

Di konsol Trusted Cloud , buka halaman IAM.

Buka IAM
Centang kotak Include S3NS-provided role grants.
Cari akun layanan yang memiliki format service-{PROJECT_NUMBER}@gcp-sa-pubsub.s3ns-system.iam.gserviceaccount.com.
Untuk akun layanan ini, klik tombol Edit Principal.
Jika diperlukan, klik Tambahkan peran lain.
Cari dan klik Service account token creator role (roles/iam.serviceAccountTokenCreator).
Klik Simpan.

Membuat kebijakan di AWS

Anda memerlukan kebijakan di AWS agar Pub/Sub dapat mengautentikasi ke AWS sehingga Pub/Sub dapat menyerap data dari Amazon MSK.

Untuk mengetahui metode dan informasi selengkapnya tentang cara membuat kebijakan di AWS, lihat Membuat kebijakan IAM.

Untuk membuat kebijakan di AWS, lakukan langkah-langkah berikut:

Login ke AWS Management Console, lalu buka konsol IAM.
Di panel navigasi konsol untuk IAM, klik Access Management > Policies.
Klik Create policy.
Untuk Click a service, klik MSK.
Untuk Action allowed, klik Read > GetBootstrapBrokers.

Tindakan ini memberikan izin untuk mendapatkan broker bootstrap yang digunakan Pub/Sub untuk terhubung ke cluster MSK.
Klik Tambahkan izin lainnya.
Untuk Select a service, klik Apache Kafka APIs for MSK.
Untuk Tindakan yang diizinkan, pilih opsi berikut:
- List > DescribeTopic
  
  Tindakan ini memberikan izin untuk mengizinkan topik penyerapan Pub/Sub mendapatkan detail tentang topik Kafka Amazon MSK.
- Read > ReadData
  
  Tindakan ini memberikan izin untuk membaca data dari topik Kafka Amazon MSK.
- Tulis > Hubungkan
  
  Tindakan ini memberikan izin untuk terhubung dan mengautentikasi ke cluster Kafka Amazon MSK.
Untuk Resources, tentukan ARN cluster (jika Anda ingin membatasi kebijakan ke cluster tertentu, yang direkomendasikan).
Klik Tambahkan izin lainnya.
Untuk Select a service, klik STS.
Untuk Action allowed, klik Write > AssumeRoleWithWebIdentity.

Tindakan ini memberikan izin untuk mendapatkan serangkaian kredensial keamanan sementara untuk Pub/Sub agar dapat melakukan autentikasi ke Amazon MSK menggunakan federasi identitas.
Klik Berikutnya.
Masukkan nama dan deskripsi kebijakan.
Klik Create policy.

Membuat peran di AWS menggunakan kebijakan kepercayaan kustom

Anda harus membuat peran di AWS agar Pub/Sub dapat melakukan autentikasi ke AWS untuk menyerap data dari Amazon MSK.

Login ke AWS Management Console, lalu buka konsol IAM.
Di panel navigasi konsol untuk IAM, klik Roles.
Klik Buat peran.
Untuk Pilih entitas tepercaya, klik Kebijakan kepercayaan kustom.

Di bagian Custom trust policy, masukkan atau tempelkan berikut:

{
  "Version": "2012-10-17",
  "Statement": [
    {
     "Effect": "Allow",
     "Principal": {
        "Federated": "accounts.google.com"
     },
     "Action": "sts:AssumeRoleWithWebIdentity",
     "Condition": {
         "StringEquals": {
           "accounts.google.com:sub": "<SERVICE_ACCOUNT_UNIQUE_ID>"
         }
      }
    }
  ]
}

Ganti <SERVICE_ACCOUNT_UNIQUE_ID> dengan ID unik akun layanan yang Anda catat di Mencatat ID unik akun layanan.

Klik Berikutnya.
Untuk Tambahkan izin, telusuri dan klik kebijakan kustom yang baru saja Anda buat.
Klik Berikutnya.
Masukkan nama dan deskripsi peran.
Klik Buat peran.

Tambahkan peran penerbit Pub/Sub ke akun utama Pub/Sub

Untuk mengaktifkan publikasi, Anda harus menetapkan peran publisher ke akun layanan Pub/Sub agar Pub/Sub dapat memublikasikan ke topik impor Amazon MSK.

Menambahkan peran agen layanan Pub/Sub ke akun layanan Pub/Sub

Agar Pub/Sub dapat menggunakan kuota publikasi project topik impor Anda, agen layanan Pub/Sub memerlukan izin serviceusage.services.use di project topik impor Anda.

Untuk memberikan izin ini, sebaiknya tambahkan peran agen layanan Pub/Sub ke akun layanan Pub/Sub.

Jika akun layanan Pub/Sub tidak memiliki peran agen layanan Pub/Sub, peran tersebut dapat diberikan sebagai berikut:

Di konsol Trusted Cloud , buka halaman IAM.

Buka IAM
Centang kotak Include S3NS-provided role grants.
Cari akun layanan yang memiliki format service-{PROJECT_NUMBER}@gcp-sa-pubsub.s3ns-system.iam.gserviceaccount.com.
Untuk akun layanan ini, klik tombol Edit principal.
Jika diperlukan, klik Tambahkan peran lain.
Cari dan klik peran Pub/Sub Service Agent (roles/pubsub.serviceAgent).
Klik Simpan.

Mengaktifkan publikasi dari semua topik

Gunakan metode ini jika Anda belum membuat topik impor Amazon MSK.

Di konsol Trusted Cloud , buka halaman IAM.

Buka IAM
Centang kotak Include S3NS-provided role grants.
Cari akun layanan yang memiliki format service-{PROJECT_NUMBER}@gcp-sa-pubsub.s3ns-system.iam.gserviceaccount.com.
Untuk akun layanan ini, klik tombol Edit principal.
Jika diperlukan, klik Tambahkan peran lain.
Cari dan klik Pub/Sub publisher role (roles/pubsub.publisher).
Klik Simpan.

Mengaktifkan publikasi dari satu topik

Gunakan metode ini hanya jika topik impor Amazon MSK sudah ada.

In the Trusted Cloud console, activate Cloud Shell.

Activate Cloud Shell

At the bottom of the Trusted Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
Jalankan perintah gcloud pubsub topics add-iam-policy-binding:
```
gcloud pubsub topics add-iam-policy-binding TOPIC_ID \
   --member="serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.s3ns-system.iam.gserviceaccount.com" \
   --role="roles/pubsub.publisher"
```
Ganti kode berikut:
- TOPIC_ID: ID topik dari topik impor Amazon MSK.
- PROJECT_NUMBER: nomor project. Untuk melihat nomor project, lihat Mengidentifikasi project.

Menambahkan peran pengguna akun layanan ke akun layanan

Peran Pengguna Akun Layanan (roles/iam.serviceAccountUser) mencakup izin iam.serviceAccounts.actAs yang memungkinkan akun utama melampirkan akun layanan ke setelan penyerapan topik impor Amazon MSK dan menggunakan akun layanan tersebut untuk identitas gabungan.

Di konsol Trusted Cloud , buka halaman IAM.

Buka IAM
Untuk akun utama yang mengeluarkan panggilan buat atau perbarui topik, klik tombol Edit akun utama.
Jika diperlukan, klik Tambahkan peran lain.
Cari dan klik Service account user role (roles/iam.serviceAccountUser).
Klik Simpan.

Menggunakan topik impor Amazon MSK

Anda dapat membuat topik impor baru atau mengedit topik yang ada.

Pertimbangan

Membuat topik dan langganan secara terpisah, meskipun dilakukan secara berurutan dengan cepat, dapat menyebabkan hilangnya data. Ada jendela singkat tempat topik tersedia tanpa langganan. Jika ada data yang dikirim ke topik selama waktu ini, data tersebut akan hilang. Dengan membuat topik terlebih dahulu, membuat langganan, lalu mengonversi topik menjadi topik impor, Anda menjamin bahwa tidak ada pesan yang terlewat selama proses impor.
Jika perlu membuat ulang topik Kafka dari topik impor yang ada dengan nama yang sama, Anda tidak dapat begitu saja menghapus topik Kafka dan membuatnya ulang. Tindakan ini dapat membatalkan pengelolaan offset Pub/Sub, yang dapat menyebabkan kehilangan data. Untuk memitigasi hal ini, ikuti langkah-langkah berikut:
- Hapus topik impor Pub/Sub.
- Hapus topik Kafka.
- Buat topik Kafka.
- Buat topik impor Pub/Sub.
Data dari topik Kafka Amazon MSK selalu dibaca dari offset paling awal.

Membuat topik impor Amazon MSK

Untuk mengetahui lebih lanjut properti yang terkait dengan topik, lihat Properti topik.

Pastikan Anda telah menyelesaikan prosedur berikut:

Menyiapkan identitas gabungan untuk mengakses Amazon MSK
Tambahkan peran Pub/Sub Publisher ke akun layanan Pub/Sub
Menambahkan peran pengguna akun layanan ke akun layanan

Untuk membuat topik impor Amazon MSK, ikuti langkah-langkah berikut:

Konsol

Di konsol Trusted Cloud , buka halaman Topics.

Buka Topik
Klik Create topic.
Di kolom Topic ID, masukkan ID untuk topik impor Amazon MSK Anda. Untuk mengetahui informasi selengkapnya tentang penamaan topik, lihat panduan penamaan.
Pilih Tambahkan langganan default.
Pilih Aktifkan penyerapan.
Untuk sumber penyerapan, pilih Amazon MSK.
Masukkan detail berikut:
- ARN Cluster: ARN Amazon MSK yang Anda masukkan ke Pub/Sub. Format ARN adalah sebagai berikut: arn:aws:kafka:${Region}:${Account}:cluster/${ClusterName}/${ClusterId}.
- Topic: Nama topik Kafka Amazon MSK yang Anda serap ke Pub/Sub.
- ARN Peran AWS: ARN peran AWS. Format ARN peran adalah sebagai berikut: arn:aws:iam::${Account}:role/${RoleName}.
- Akun layanan: Akun layanan yang Anda buat di Membuat akun layanan di Trusted Cloud.
Klik Create topic.

gcloud

In the Trusted Cloud console, activate Cloud Shell.

Activate Cloud Shell

At the bottom of the Trusted Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
Jalankan perintah gcloud pubsub topics create:
```
gcloud pubsub topics create TOPIC_ID \
      --aws-msk-ingestion-cluster-arn MSK_CLUSTER_ARN \
      --aws-msk-ingestion-topic MSK_TOPIC \
      --aws-msk-ingestion-aws-role-arn MSK_ROLE_ARN \
      --aws-msk-ingestion-service-account PUBSUB_SERVICE_ACCOUNT
```
Ganti kode berikut:
- TOPIC_ID: nama atau ID topik Pub/Sub Anda.
- MSK_CLUSTER_ARN: ARN untuk cluster Amazon MSK yang Anda gunakan untuk melakukan penyerapan ke Pub/Sub. Format ARN adalah sebagai berikut: arn:aws:kafka:${Region}:${Account}:cluster/${ClusterName}/${ClusterId}.
- MSK_TOPIC: nama topik Kafka Amazon MSK yang Anda masukkan ke Pub/Sub.
- MSK_ROLE_ARN: ARN peran AWS. Format ARN peran adalah sebagai berikut: arn:aws:iam::${Account}:role/${RoleName}.
- PUBSUB_SERVICE_ACCOUNT: akun layanan yang Anda buat di Membuat akun layanan di Google Cloud.

C++

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan C++ di Panduan memulai: Menggunakan Library Klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Pub/Sub C++ API.

namespace pubsub = ::google::cloud::pubsub;
namespace pubsub_admin = ::google::cloud::pubsub_admin;
[](pubsub_admin::TopicAdminClient client, std::string project_id,
   std::string topic_id, std::string const& cluster_arn,
   std::string const& msk_topic, std::string const& aws_role_arn,
   std::string const& gcp_service_account) {
  google::pubsub::v1::Topic request;
  request.set_name(
      pubsub::Topic(std::move(project_id), std::move(topic_id)).FullName());
  auto* aws_msk =
      request.mutable_ingestion_data_source_settings()->mutable_aws_msk();
  aws_msk->set_cluster_arn(cluster_arn);
  aws_msk->set_topic(msk_topic);
  aws_msk->set_aws_role_arn(aws_role_arn);
  aws_msk->set_gcp_service_account(gcp_service_account);

  auto topic = client.CreateTopic(request);
  // Note that kAlreadyExists is a possible error when the library retries.
  if (topic.status().code() == google::cloud::StatusCode::kAlreadyExists) {
    std::cout << "The topic already exists\n";
    return;
  }
  if (!topic) throw std::move(topic).status();

  std::cout << "The topic was successfully created: " << topic->DebugString()
            << "\n";
}

Go

Contoh berikut menggunakan library klien Go Pub/Sub versi utama (v2). Jika Anda masih menggunakan library v1, lihat panduan migrasi ke v2. Untuk melihat daftar contoh kode v1, lihat contoh kode yang tidak digunakan lagi.

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Go di Panduan memulai: Menggunakan Library Klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Pub/Sub Go API.

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/pubsub"
)

func createTopicWithAWSMSKIngestion(w io.Writer, projectID, topicID, clusterARN, mskTopic, awsRoleARN, gcpSA string) error {
	// projectID := "my-project-id"
	// topicID := "my-topic"

	// // AWS MSK ingestion settings.
	// clusterARN := "cluster-arn"
	// mskTopic := "msk-topic"
	// awsRoleARN := "aws-role-arn"
	// gcpSA := "gcp-service-account"

	ctx := context.Background()
	client, err := pubsub.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("pubsub.NewClient: %w", err)
	}
	defer client.Close()

	cfg := &pubsub.TopicConfig{
		IngestionDataSourceSettings: &pubsub.IngestionDataSourceSettings{
			Source: &pubsub.IngestionDataSourceAmazonMSK{
				ClusterARN:        clusterARN,
				Topic:             mskTopic,
				AWSRoleARN:        awsRoleARN,
				GCPServiceAccount: gcpSA,
			},
		},
	}
	t, err := client.CreateTopicWithConfig(ctx, topicID, cfg)
	if err != nil {
		return fmt.Errorf("CreateTopic: %w", err)
	}
	fmt.Fprintf(w, "Created topic with AWS MSK ingestion settings: %v\n", t)
	return nil
}

Java

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai: Menggunakan Library Klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Pub/Sub Java API.


import com.google.cloud.pubsub.v1.TopicAdminClient;
import com.google.pubsub.v1.IngestionDataSourceSettings;
import com.google.pubsub.v1.Topic;
import com.google.pubsub.v1.TopicName;
import java.io.IOException;

public class CreateTopicWithAwsMskIngestionExample {
  public static void main(String... args) throws Exception {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "your-project-id";
    String topicId = "your-topic-id";
    // AWS MSK ingestion settings.
    String clusterArn = "cluster-arn";
    String mskTopic = "msk-topic";
    String awsRoleArn = "aws-role-arn";
    String gcpServiceAccount = "gcp-service-account";

    createTopicWithAwsMskIngestionExample(
        projectId, topicId, clusterArn, mskTopic, awsRoleArn, gcpServiceAccount);
  }

  public static void createTopicWithAwsMskIngestionExample(
      String projectId,
      String topicId,
      String clusterArn,
      String mskTopic,
      String awsRoleArn,
      String gcpServiceAccount)
      throws IOException {
    try (TopicAdminClient topicAdminClient = TopicAdminClient.create()) {
      TopicName topicName = TopicName.of(projectId, topicId);

      IngestionDataSourceSettings.AwsMsk awsMsk =
          IngestionDataSourceSettings.AwsMsk.newBuilder()
              .setClusterArn(clusterArn)
              .setTopic(mskTopic)
              .setAwsRoleArn(awsRoleArn)
              .setGcpServiceAccount(gcpServiceAccount)
              .build();
      IngestionDataSourceSettings ingestionDataSourceSettings =
          IngestionDataSourceSettings.newBuilder().setAwsMsk(awsMsk).build();

      Topic topic =
          topicAdminClient.createTopic(
              Topic.newBuilder()
                  .setName(topicName.toString())
                  .setIngestionDataSourceSettings(ingestionDataSourceSettings)
                  .build());

      System.out.println("Created topic with AWS MSK ingestion settings: " + topic.getAllFields());
    }
  }
}

Node.js

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Node.js di Panduan memulai: Menggunakan Library Klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Node.js Pub/Sub.

/**
 * TODO(developer): Uncomment these variables before running the sample.
 */
// const topicNameOrId = 'YOUR_TOPIC_NAME_OR_ID';
// const clusterArn = 'arn:aws:kafka:...';
// const mskTopic = 'YOUR_MSK_TOPIC';
// const roleArn = 'arn:aws:iam:...';
// const gcpServiceAccount = 'ingestion-account@...';

// Imports the Google Cloud client library
const {PubSub} = require('@google-cloud/pubsub');

// Creates a client; cache this for further use
const pubSubClient = new PubSub();

async function createTopicWithAwsMskIngestion(
  topicNameOrId,
  clusterArn,
  mskTopic,
  awsRoleArn,
  gcpServiceAccount,
) {
  // Creates a new topic with AWS MSK ingestion.
  await pubSubClient.createTopic({
    name: topicNameOrId,
    ingestionDataSourceSettings: {
      awsMsk: {
        clusterArn,
        topic: mskTopic,
        awsRoleArn,
        gcpServiceAccount,
      },
    },
  });
  console.log(`Topic ${topicNameOrId} created with AWS MSK ingestion.`);
}

Node.ts

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Node.js di Panduan memulai: Menggunakan Library Klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Node.js Pub/Sub.

/**
 * TODO(developer): Uncomment these variables before running the sample.
 */
// const topicNameOrId = 'YOUR_TOPIC_NAME_OR_ID';
// const clusterArn = 'arn:aws:kafka:...';
// const mskTopic = 'YOUR_MSK_TOPIC';
// const roleArn = 'arn:aws:iam:...';
// const gcpServiceAccount = 'ingestion-account@...';

// Imports the Google Cloud client library
import {PubSub} from '@google-cloud/pubsub';

// Creates a client; cache this for further use
const pubSubClient = new PubSub();

async function createTopicWithAwsMskIngestion(
  topicNameOrId: string,
  clusterArn: string,
  mskTopic: string,
  awsRoleArn: string,
  gcpServiceAccount: string,
) {
  // Creates a new topic with AWS MSK ingestion.
  await pubSubClient.createTopic({
    name: topicNameOrId,
    ingestionDataSourceSettings: {
      awsMsk: {
        clusterArn,
        topic: mskTopic,
        awsRoleArn,
        gcpServiceAccount,
      },
    },
  });
  console.log(`Topic ${topicNameOrId} created with AWS MSK ingestion.`);
}

Python

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di Panduan memulai: Menggunakan Library Klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Pub/Sub Python API.

from google.cloud import pubsub_v1
from google.pubsub_v1.types import Topic
from google.pubsub_v1.types import IngestionDataSourceSettings

# TODO(developer)
# project_id = "your-project-id"
# topic_id = "your-topic-id"
# cluster_arn = "your-cluster-arn"
# msk_topic = "your-msk-topic"
# aws_role_arn = "your-aws-role-arn"
# gcp_service_account = "your-gcp-service-account"

publisher = pubsub_v1.PublisherClient()
topic_path = publisher.topic_path(project_id, topic_id)

request = Topic(
    name=topic_path,
    ingestion_data_source_settings=IngestionDataSourceSettings(
        aws_msk=IngestionDataSourceSettings.AwsMsk(
            cluster_arn=cluster_arn,
            topic=msk_topic,
            aws_role_arn=aws_role_arn,
            gcp_service_account=gcp_service_account,
        )
    ),
)

topic = publisher.create_topic(request=request)

print(f"Created topic: {topic.name} with AWS MSK Ingestion Settings")

Untuk mengetahui informasi selengkapnya tentang ARN, lihat Amazon Resource Names (ARN) dan IAM Identifiers.

Jika Anda mengalami masalah, lihat Memecahkan masalah topik impor Amazon MSK.

Mengedit topik impor Amazon MSK

Untuk mengedit setelan sumber data penyerapan topik impor Amazon MSK, ikuti langkah-langkah berikut:

Konsol

Di konsol Trusted Cloud , buka halaman Topics.

Buka Topik
Klik topik impor Amazon MSK.
Di halaman detail topik, klik Edit.
Perbarui kolom yang ingin Anda ubah.
Klik Perbarui.

gcloud

In the Trusted Cloud console, activate Cloud Shell.

Activate Cloud Shell

At the bottom of the Trusted Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
Jalankan perintah gcloud pubsub topics update dengan semua flag yang disebutkan dalam contoh berikut:
```
gcloud pubsub topics update TOPIC_ID \
    --aws-msk-ingestion-cluster-arn MSK_CLUSTER_ARN \
    --aws-msk-ingestion-topic MSK_TOPIC \
    --aws-msk-ingestion-aws-role-arn MSK_ROLE_ARN \
    --aws-msk-ingestion-service-account PUBSUB_SERVICE_ACCOUNT
```
Ganti kode berikut:
- TOPIC_ID: nama atau ID topik Pub/Sub Anda.
- MSK_CLUSTER_ARN: ARN untuk cluster Amazon MSK yang Anda gunakan untuk melakukan penyerapan ke Pub/Sub. Format ARN adalah sebagai berikut: arn:aws:kafka:${Region}:${Account}:cluster/${ClusterName}/${ClusterId}.
- MSK_TOPIC: nama topik Kafka Amazon MSK yang Anda masukkan ke Pub/Sub.
- MSK_ROLE_ARN: ARN peran AWS. Format ARN peran adalah sebagai berikut: arn:aws:iam::${Account}:role/${RoleName}.
- PUBSUB_SERVICE_ACCOUNT: akun layanan yang Anda buat di Membuat akun layanan di Google Cloud.

Kuota dan batas

Throughput penayang untuk topik impor dibatasi oleh kuota publikasi topik. Untuk mengetahui informasi selengkapnya, lihat Kuota dan batas Pub/Sub.

Langkah berikutnya

Memantau topik impor.
Pilih jenis langganan untuk topik Anda.
Pelajari cara memublikasikan pesan ke topik.
Buat atau ubah topik dengan gcloud CLI, REST API, atau Library klien.
Memecahkan masalah topik impor Amazon MSK

Apache Kafka® adalah merek dagang terdaftar dari The Apache Software Foundation atau afiliasinya di Amerika Serikat dan/atau negara lain.