Crie um tópico de importação do Amazon Managed Streaming para Apache Kafka

Um tópico de importação do Amazon Managed Streaming for Apache Kafka (Amazon MSK) permite-lhe carregar continuamente dados do Amazon MSK como uma origem externa e para o Pub/Sub. Em seguida, pode transmitir os dados para qualquer um dos destinos suportados pelo Pub/Sub.

Este documento mostra como criar e gerir tópicos de importação do Amazon MSK. Para criar um tópico padrão, consulte o artigo Crie um tópico padrão.

Para mais informações sobre tópicos de importação, consulte o artigo Acerca dos tópicos de importação.

Antes de começar

Funções e autorizações necessárias

Para receber as autorizações de que precisa para criar e gerir tópicos de importação do Amazon MSK, peça ao seu administrador para lhe conceder a função de IAM de editor do Pub/Sub (roles/pubsub.editor) no seu tópico ou projeto. Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Esta função predefinida contém as autorizações necessárias para criar e gerir tópicos de importação do Amazon MSK. Para ver as autorizações exatas que são necessárias, expanda a secção Autorizações necessárias:

Autorizações necessárias

São necessárias as seguintes autorizações para criar e gerir tópicos de importação do Amazon MSK:

  • Crie um tópico de importação: pubsub.topics.create
  • Elimine um tópico de importação: pubsub.topics.delete
  • Obtenha um tópico de importação: pubsub.topics.get
  • Indique um tópico de importação: pubsub.topics.list
  • Publicar num tópico de importação: pubsub.topics.publish and pubsub.serviceAgent
  • Atualize um tópico de importação: pubsub.topics.update
  • Obtenha a Política IAM para um tópico de importação: pubsub.topics.getIamPolicy
  • Configure a política IAM para um tópico de importação: pubsub.topics.setIamPolicy

Também pode conseguir estas autorizações com funções personalizadas ou outras funções predefinidas.

Pode configurar o controlo de acesso ao nível do projeto e ao nível do recurso individual.

Configure a identidade federada para aceder ao Amazon MSK

A federação de identidades da carga de trabalho permite que os Trusted Cloud serviços acedam a cargas de trabalho executadas fora do Trusted Cloud. Com a federação de identidades, não precisa de manter nem transmitir credenciais para Trusted Cloud aceder aos seus recursos noutras nuvens. Em alternativa, pode usar as identidades das próprias cargas de trabalho para fazer a autenticação no Trusted Cloud e aceder aos recursos.

Crie uma conta de serviço em Trusted Cloud

Este passo é opcional. Se já tiver uma conta de serviço, pode usá-la neste procedimento em vez de criar uma nova conta de serviço. Se estiver a usar uma conta de serviço existente, aceda a Registe o ID exclusivo da conta de serviço para o passo seguinte.

Para tópicos de importação do Amazon MSK, o Pub/Sub usa a conta de serviço como a identidade para aceder a recursos da AWS.

Para mais informações sobre como criar uma conta de serviço, incluindo pré-requisitos, funções e autorizações necessárias, e diretrizes de nomenclatura, consulte o artigo Crie contas de serviço. Depois de criar uma conta de serviço, pode ter de aguardar 60 segundos ou mais antes de usar a conta de serviço. Este comportamento ocorre porque as operações de leitura são eventualmente consistentes. Pode demorar algum tempo até que a nova conta de serviço fique visível.

Registe o ID exclusivo da conta de serviço

Precisa de um ID exclusivo da conta de serviço para configurar uma função na consola da AWS.

  1. Na Trusted Cloud consola, aceda à página de detalhes da conta de serviço.

    Aceder à conta de serviço

  2. Clique na conta de serviço que acabou de criar ou na que planeia usar.

  3. Na página Detalhes da conta de serviço, registe o número do ID exclusivo.

    Precisa do ID como parte do fluxo de trabalho para configurar uma função na consola da AWS.

Adicione a função de criador de tokens da conta de serviço à conta de serviço do Pub/Sub

A função de criador de tokens de contas de serviço (roles/iam.serviceAccountTokenCreator) permite que os principais criem credenciais de curta duração para uma conta de serviço. Estes tokens ou credenciais são usados para se fazer passar pela conta de serviço.

Para mais informações sobre a simulação da conta de serviço, consulte o artigo Simulação da conta de serviço.

Também pode adicionar a função de publicador do Pub/Sub (roles/pubsub.publisher) durante este procedimento. Para mais informações sobre a função e o motivo pelo qual a está a adicionar, consulte o artigo Adicione a função de publicador do Pub/Sub à conta de serviço do Pub/Sub.

  1. Na Trusted Cloud consola, aceda à página IAM.

    Aceda ao IAM

  2. Clique na caixa de verificação Incluir concessões de funções fornecidas pela Google. S3NS

  3. Procure a conta de serviço com o formato service-{PROJECT_NUMBER}@gcp-sa-pubsub.s3ns-system.iam.gserviceaccount.com.

  4. Para esta conta de serviço, clique no botão Editar principal.

  5. Se necessário, clique em Adicionar outra função.

  6. Pesquise e clique na função Criador de tokens de conta de serviço (roles/iam.serviceAccountTokenCreator).

  7. Clique em Guardar.

Crie uma política na AWS

Precisa de uma política na AWS para permitir que o Pub/Sub se autentique na AWS, de modo que o Pub/Sub possa carregar dados do Amazon MSK.

  • Para ver mais métodos e informações sobre como criar uma política na AWS, consulte o artigo Criar políticas de IAM.

Para criar uma política na AWS, siga estes passos:

  1. Inicie sessão na AWS Management Console e abra a consola do IAM.

  2. No painel de navegação da consola do IAM, clique em Gestão de acesso > Políticas.

  3. Clique em Criar política.

  4. Para Clique num serviço, clique em MSK.

  5. Para Ação permitida,clique em Ler > GetBootstrapBrokers.

    Esta ação concede autorização para obter os agentes de arranque que o Pub/Sub usa para se ligar ao cluster MSK.

  6. Clique em Adicionar mais autorizações.

  7. Para Selecionar um serviço, clique em APIs Apache Kafka para MSK.

  8. Para Ação permitida, selecione o seguinte:

    • List > DescribeTopic

      Esta ação concede autorização para permitir que o tópico de carregamento do Pub/Sub obtenha detalhes sobre o tópico do Amazon MSK Kafka.

    • Read > ReadData

      Esta ação concede autorização para ler dados do tópico do Amazon MSK Kafka.

    • Escrever > Ligar

      Esta ação concede autorização para estabelecer ligação e autenticar no cluster Kafka do Amazon MSK.

  9. Para Recursos, especifique o ARN do cluster (se quiser restringir a política a clusters específicos, o que é recomendado).

  10. Clique em Adicionar mais autorizações.

  11. Em Selecionar um serviço, clique em STS.

  12. Para Ação permitida, clique em Escrever > AssumeRoleWithWebIdentity.

    Esta ação concede autorização para obter um conjunto de credenciais de segurança temporárias para o Pub/Sub para autenticar no Amazon MSK através da federação de identidades.

  13. Clicar em Seguinte.

  14. Introduza um nome e uma descrição para a política.

  15. Clique em Criar política.

Crie uma função na AWS com uma política de confiança personalizada

Tem de criar uma função na AWS para que o Pub/Sub possa autenticar-se na AWS para carregar dados do Amazon MSK.

  1. Inicie sessão na AWS Management Console e abra a consola do IAM.

  2. No painel de navegação da consola do IAM, clique em Funções.

  3. Clique em Criar função.

  4. Em Selecionar entidade fidedigna, clique em Política de fidedignidade personalizada.

  5. Na secção Política de fidedignidade personalizada, introduza ou cole o seguinte:

    {
  "Version": "2012-10-17",
  "Statement": [
    {
     "Effect": "Allow",
     "Principal": {
        "Federated": "accounts.google.com"
     },
     "Action": "sts:AssumeRoleWithWebIdentity",
     "Condition": {
         "StringEquals": {
           "accounts.google.com:sub": "<SERVICE_ACCOUNT_UNIQUE_ID>"
         }
      }
    }
  ]
}

    Substitua <SERVICE_ACCOUNT_UNIQUE_ID> pelo ID exclusivo da conta de serviço que registou em Registe o ID exclusivo da conta de serviço.

  6. Clicar em Seguinte.

  7. Para Adicionar autorizações, pesquise e clique na política personalizada que acabou de criar.

  8. Clicar em Seguinte.

  9. Introduza um nome e uma descrição para a função.

  10. Clique em Criar função.

Adicione a função de publicador do Pub/Sub ao principal do Pub/Sub

Para ativar a publicação, tem de atribuir uma função de publicador à conta de serviço do Pub/Sub para que o Pub/Sub possa publicar no tópico de importação do Amazon MSK.

Adicione a função de agente de serviço do Pub/Sub à conta de serviço do Pub/Sub

Para permitir que o Pub/Sub use a quota de publicação do projeto do tópico de importação, o agente de serviço do Pub/Sub requer a autorização serviceusage.services.use no projeto do tópico de importação.

Para conceder esta autorização, recomendamos que adicione a função de agente do serviço Pub/Sub à conta de serviço Pub/Sub.

Se a conta de serviço do Pub/Sub não tiver a função de agente de serviço do Pub/Sub, pode ser concedida da seguinte forma:

  1. Na Trusted Cloud consola, aceda à página IAM.

    Aceda ao IAM

  2. Clique na caixa de verificação Incluir concessões de funções fornecidas pela Google. S3NS

  3. Procure a conta de serviço com o formato service-{PROJECT_NUMBER}@gcp-sa-pubsub.s3ns-system.iam.gserviceaccount.com.

  4. Para esta conta de serviço, clique no botão Editar principal.

  5. Se necessário, clique em Adicionar outra função.

  6. Pesquise e clique na função de agente do serviço Pub/Sub (roles/pubsub.serviceAgent).

  7. Clique em Guardar.

Ative a publicação de todos os tópicos

Use este método se não tiver criado tópicos de importação do Amazon MSK.

  1. Na Trusted Cloud consola, aceda à página IAM.

    Aceda ao IAM

  2. Clique na caixa de verificação Incluir concessões de funções fornecidas pela Google. S3NS

  3. Procure a conta de serviço com o formato service-{PROJECT_NUMBER}@gcp-sa-pubsub.s3ns-system.iam.gserviceaccount.com.

  4. Para esta conta de serviço, clique no botão Editar principal.

  5. Se necessário, clique em Adicionar outra função.

  6. Pesquise e clique na função de publicador do Pub/Sub (roles/pubsub.publisher).

  7. Clique em Guardar.

Ative a publicação a partir de um único tópico

Use este método apenas se o tópico de importação do Amazon MSK já existir.

  1. In the Trusted Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Trusted Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. Execute o comando gcloud pubsub topics add-iam-policy-binding:

    gcloud pubsub topics add-iam-policy-binding TOPIC_ID \
   --member="serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.s3ns-system.iam.gserviceaccount.com" \
   --role="roles/pubsub.publisher"

    Substitua o seguinte:

    • TOPIC_ID: o ID do tópico do tópico de importação do Amazon MSK.

    • PROJECT_NUMBER: o número do projeto. Para ver o número do projeto, consulte o artigo Identificar projetos.

    3. Adicione a função de utilizador da conta de serviço à conta de serviço

    A função de utilizador da conta de serviço (roles/iam.serviceAccountUser) inclui a autorização iam.serviceAccounts.actAs que permite a um principal anexar uma conta de serviço às definições de carregamento do tópico de importação do Amazon MSK e usar essa conta de serviço para a identidade federada.

    1. Na Trusted Cloud consola, aceda à página IAM.

      Aceda ao IAM

    2. Para o principal que está a emitir as chamadas de criação ou atualização de tópicos, clique no botão Editar principal.

    3. Se necessário, clique em Adicionar outra função.

    4. Pesquise e clique na função Utilizador da conta de serviço (roles/iam.serviceAccountUser).

    5. Clique em Guardar.

    Use tópicos de importação do Amazon MSK

    Pode criar um novo tópico de importação ou editar um tópico existente.

    Considerações

    • A criação do tópico e da subscrição em separado, mesmo que seja feita em rápida sucessão, pode levar à perda de dados. Existe um curto período durante o qual o tópico existe sem uma subscrição. Se forem enviados dados para o tópico durante este período, estes são perdidos. Se criar primeiro o tópico, criar a subscrição e, em seguida, converter o tópico num tópico de importação, garante que não perde nenhuma mensagem durante o processo de importação.

    • Se precisar de recriar o tópico do Kafka de um tópico de importação existente com o mesmo nome, não pode apenas eliminar o tópico do Kafka e recriá-lo. Esta ação pode invalidar a gestão de deslocamentos do Pub/Sub, o que pode levar à perda de dados. Para mitigar esta situação, siga estes passos:

      • Elimine o tópico de importação do Pub/Sub.
      • Elimine o tópico do Kafka.
      • Crie o tópico do Kafka.
      • Crie o tópico de importação do Pub/Sub.

    • Os dados de um tópico do Amazon MSK Kafka são sempre lidos a partir do desvio mais antigo.

    Crie tópicos de importação do Amazon MSK

    Para saber mais sobre as propriedades associadas a um tópico, consulte o artigo Propriedades de um tópico.

    Certifique-se de que concluiu os seguintes procedimentos:

    Para criar um tópico de importação do Amazon MSK, siga estes passos:

    Consola

    1. Na Trusted Cloud consola, aceda à página Tópicos.

      Aceda a Tópicos

    2. Clique em Criar tópico.

    3. No campo ID do tópico, introduza um ID para o tópico de importação do Amazon MSK. Para mais informações sobre a nomenclatura de tópicos, consulte as diretrizes de nomenclatura.

    4. Selecione Adicionar uma subscrição predefinida.

    5. Selecione Ativar carregamento.

    6. Para a origem da ingestão, selecione Amazon MSK.

    7. Introduza os seguintes detalhes:

      • ARN do cluster: o ARN do Amazon MSK que está a carregar para o Pub/Sub. O formato ARN é o seguinte: arn:aws:kafka:${Region}:${Account}:cluster/${ClusterName}/${ClusterId}.
      • Tópico: o nome do tópico do Amazon MSK Kafka que está a carregar para o Pub/Sub.
      • ARN da função do AWS: o ARN da função do AWS. O formato ARN da função é o seguinte: arn:aws:iam::${Account}:role/${RoleName}.
      • Conta de serviço: a conta de serviço que criou em Crie uma conta de serviço em Trusted Cloud.

    8. Clique em Criar tópico.

    gcloud

    1. In the Trusted Cloud console, activate Cloud Shell.

      Activate Cloud Shell

      At the bottom of the Trusted Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

    2. Execute o comando gcloud pubsub topics create:

      gcloud pubsub topics create TOPIC_ID \
      --aws-msk-ingestion-cluster-arn MSK_CLUSTER_ARN \
      --aws-msk-ingestion-topic MSK_TOPIC \
      --aws-msk-ingestion-aws-role-arn MSK_ROLE_ARN \
      --aws-msk-ingestion-service-account PUBSUB_SERVICE_ACCOUNT

      Substitua o seguinte:

      • TOPIC_ID: o nome ou o ID do tópico do Pub/Sub.
      • MSK_CLUSTER_ARN: o ARN do cluster do Amazon MSK que está a carregar para o Pub/Sub. O formato ARN é o seguinte: arn:aws:kafka:${Region}:${Account}:cluster/${ClusterName}/${ClusterId}.
      • MSK_TOPIC: o nome do tópico do Kafka do Amazon MSK que está a carregar para o Pub/Sub.
      • MSK_ROLE_ARN: o ARN da função do AWS. O formato ARN da função é o seguinte: arn:aws:iam::${Account}:role/${RoleName}.
      • PUBSUB_SERVICE_ACCOUNT: a conta de serviço que criou em Crie uma conta de serviço no Google Cloud.

      3. C++

      Antes de experimentar este exemplo, siga as instruções de configuração do C++ no artigo Início rápido: usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API C++ do Pub/Sub. 

      namespace pubsub = ::google::cloud::pubsub;
namespace pubsub_admin = ::google::cloud::pubsub_admin;
[](pubsub_admin::TopicAdminClient client, std::string project_id,
   std::string topic_id, std::string const& cluster_arn,
   std::string const& msk_topic, std::string const& aws_role_arn,
   std::string const& gcp_service_account) {
  google::pubsub::v1::Topic request;
  request.set_name(
      pubsub::Topic(std::move(project_id), std::move(topic_id)).FullName());
  auto* aws_msk =
      request.mutable_ingestion_data_source_settings()->mutable_aws_msk();
  aws_msk->set_cluster_arn(cluster_arn);
  aws_msk->set_topic(msk_topic);
  aws_msk->set_aws_role_arn(aws_role_arn);
  aws_msk->set_gcp_service_account(gcp_service_account);

  auto topic = client.CreateTopic(request);
  // Note that kAlreadyExists is a possible error when the library retries.
  if (topic.status().code() == google::cloud::StatusCode::kAlreadyExists) {
    std::cout << "The topic already exists\n";
    return;
  }
  if (!topic) throw std::move(topic).status();

  std::cout << "The topic was successfully created: " << topic->DebugString()
            << "\n";
}

      Ir

      O exemplo seguinte usa a versão principal da biblioteca de cliente Go Pub/Sub (v2). Se ainda estiver a usar a biblioteca v1, consulte o guia de migração para a v2. Para ver uma lista de exemplos de código da v1, consulte os exemplos de código descontinuados.

      Antes de experimentar este exemplo, siga as instruções de configuração do Go em Início rápido: usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Go do Pub/Sub.

      import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/pubsub"
)

func createTopicWithAWSMSKIngestion(w io.Writer, projectID, topicID, clusterARN, mskTopic, awsRoleARN, gcpSA string) error {
	// projectID := "my-project-id"
	// topicID := "my-topic"

	// // AWS MSK ingestion settings.
	// clusterARN := "cluster-arn"
	// mskTopic := "msk-topic"
	// awsRoleARN := "aws-role-arn"
	// gcpSA := "gcp-service-account"

	ctx := context.Background()
	client, err := pubsub.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("pubsub.NewClient: %w", err)
	}
	defer client.Close()

	cfg := &pubsub.TopicConfig{
		IngestionDataSourceSettings: &pubsub.IngestionDataSourceSettings{
			Source: &pubsub.IngestionDataSourceAmazonMSK{
				ClusterARN:        clusterARN,
				Topic:             mskTopic,
				AWSRoleARN:        awsRoleARN,
				GCPServiceAccount: gcpSA,
			},
		},
	}
	t, err := client.CreateTopicWithConfig(ctx, topicID, cfg)
	if err != nil {
		return fmt.Errorf("CreateTopic: %w", err)
	}
	fmt.Fprintf(w, "Created topic with AWS MSK ingestion settings: %v\n", t)
	return nil
}

      Java

      Antes de experimentar este exemplo, siga as instruções de configuração do Java no artigo Início rápido: usar bibliotecas cliente. Para mais informações, consulte a documentação de referência da API Java do Pub/Sub. 

      
import com.google.cloud.pubsub.v1.TopicAdminClient;
import com.google.pubsub.v1.IngestionDataSourceSettings;
import com.google.pubsub.v1.Topic;
import com.google.pubsub.v1.TopicName;
import java.io.IOException;

public class CreateTopicWithAwsMskIngestionExample {
  public static void main(String... args) throws Exception {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "your-project-id";
    String topicId = "your-topic-id";
    // AWS MSK ingestion settings.
    String clusterArn = "cluster-arn";
    String mskTopic = "msk-topic";
    String awsRoleArn = "aws-role-arn";
    String gcpServiceAccount = "gcp-service-account";

    createTopicWithAwsMskIngestionExample(
        projectId, topicId, clusterArn, mskTopic, awsRoleArn, gcpServiceAccount);
  }

  public static void createTopicWithAwsMskIngestionExample(
      String projectId,
      String topicId,
      String clusterArn,
      String mskTopic,
      String awsRoleArn,
      String gcpServiceAccount)
      throws IOException {
    try (TopicAdminClient topicAdminClient = TopicAdminClient.create()) {
      TopicName topicName = TopicName.of(projectId, topicId);

      IngestionDataSourceSettings.AwsMsk awsMsk =
          IngestionDataSourceSettings.AwsMsk.newBuilder()
              .setClusterArn(clusterArn)
              .setTopic(mskTopic)
              .setAwsRoleArn(awsRoleArn)
              .setGcpServiceAccount(gcpServiceAccount)
              .build();
      IngestionDataSourceSettings ingestionDataSourceSettings =
          IngestionDataSourceSettings.newBuilder().setAwsMsk(awsMsk).build();

      Topic topic =
          topicAdminClient.createTopic(
              Topic.newBuilder()
                  .setName(topicName.toString())
                  .setIngestionDataSourceSettings(ingestionDataSourceSettings)
                  .build());

      System.out.println("Created topic with AWS MSK ingestion settings: " + topic.getAllFields());
    }
  }
}

      Node.js

      Antes de experimentar este exemplo, siga as instruções de configuração do Node.js em Início rápido: usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Node.js do Pub/Sub. 

      /**
 * TODO(developer): Uncomment these variables before running the sample.
 */
// const topicNameOrId = 'YOUR_TOPIC_NAME_OR_ID';
// const clusterArn = 'arn:aws:kafka:...';
// const mskTopic = 'YOUR_MSK_TOPIC';
// const roleArn = 'arn:aws:iam:...';
// const gcpServiceAccount = 'ingestion-account@...';

// Imports the Google Cloud client library
const {PubSub} = require('@google-cloud/pubsub');

// Creates a client; cache this for further use
const pubSubClient = new PubSub();

async function createTopicWithAwsMskIngestion(
  topicNameOrId,
  clusterArn,
  mskTopic,
  awsRoleArn,
  gcpServiceAccount,
) {
  // Creates a new topic with AWS MSK ingestion.
  await pubSubClient.createTopic({
    name: topicNameOrId,
    ingestionDataSourceSettings: {
      awsMsk: {
        clusterArn,
        topic: mskTopic,
        awsRoleArn,
        gcpServiceAccount,
      },
    },
  });
  console.log(`Topic ${topicNameOrId} created with AWS MSK ingestion.`);
}

      Node.ts

      Antes de experimentar este exemplo, siga as instruções de configuração do Node.js em Início rápido: usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Node.js do Pub/Sub. 

      /**
 * TODO(developer): Uncomment these variables before running the sample.
 */
// const topicNameOrId = 'YOUR_TOPIC_NAME_OR_ID';
// const clusterArn = 'arn:aws:kafka:...';
// const mskTopic = 'YOUR_MSK_TOPIC';
// const roleArn = 'arn:aws:iam:...';
// const gcpServiceAccount = 'ingestion-account@...';

// Imports the Google Cloud client library
import {PubSub} from '@google-cloud/pubsub';

// Creates a client; cache this for further use
const pubSubClient = new PubSub();

async function createTopicWithAwsMskIngestion(
  topicNameOrId: string,
  clusterArn: string,
  mskTopic: string,
  awsRoleArn: string,
  gcpServiceAccount: string,
) {
  // Creates a new topic with AWS MSK ingestion.
  await pubSubClient.createTopic({
    name: topicNameOrId,
    ingestionDataSourceSettings: {
      awsMsk: {
        clusterArn,
        topic: mskTopic,
        awsRoleArn,
        gcpServiceAccount,
      },
    },
  });
  console.log(`Topic ${topicNameOrId} created with AWS MSK ingestion.`);
}

      Python

      Antes de experimentar este exemplo, siga as instruções de configuração do Python em Início rápido: usar bibliotecas cliente. Para mais informações, consulte a documentação de referência da API Python Pub/Sub. 

      from google.cloud import pubsub_v1
from google.pubsub_v1.types import Topic
from google.pubsub_v1.types import IngestionDataSourceSettings

# TODO(developer)
# project_id = "your-project-id"
# topic_id = "your-topic-id"
# cluster_arn = "your-cluster-arn"
# msk_topic = "your-msk-topic"
# aws_role_arn = "your-aws-role-arn"
# gcp_service_account = "your-gcp-service-account"

publisher = pubsub_v1.PublisherClient()
topic_path = publisher.topic_path(project_id, topic_id)

request = Topic(
    name=topic_path,
    ingestion_data_source_settings=IngestionDataSourceSettings(
        aws_msk=IngestionDataSourceSettings.AwsMsk(
            cluster_arn=cluster_arn,
            topic=msk_topic,
            aws_role_arn=aws_role_arn,
            gcp_service_account=gcp_service_account,
        )
    ),
)

topic = publisher.create_topic(request=request)

print(f"Created topic: {topic.name} with AWS MSK Ingestion Settings")

    Para mais informações sobre ARNs, consulte os artigos Nomes de recursos da Amazon (ARNs) e Identificadores do IAM.

    Se tiver problemas, consulte o artigo Resolução de problemas de um tópico de importação do Amazon MSK.

    Edite tópicos de importação do Amazon MSK

    Para editar as definições da origem de dados de carregamento de um tópico de importação do Amazon MSK, siga estes passos:

    Consola

    1. Na Trusted Cloud consola, aceda à página Tópicos.

      Aceda a Tópicos

    2. Clique no tópico de importação do Amazon MSK.

    3. Na página de detalhes do tópico, clique em Editar.

    4. Atualize os campos que quer alterar.

    5. Clique em Atualizar.

    gcloud

    1. In the Trusted Cloud console, activate Cloud Shell.

      Activate Cloud Shell

      At the bottom of the Trusted Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

    2. Execute o comando gcloud pubsub topics update com todas as flags mencionadas no seguinte exemplo:

      gcloud pubsub topics update TOPIC_ID \
    --aws-msk-ingestion-cluster-arn MSK_CLUSTER_ARN \
    --aws-msk-ingestion-topic MSK_TOPIC \
    --aws-msk-ingestion-aws-role-arn MSK_ROLE_ARN \
    --aws-msk-ingestion-service-account PUBSUB_SERVICE_ACCOUNT

      Substitua o seguinte:

      • TOPIC_ID: o nome ou o ID do seu tópico do Pub/Sub.
      • MSK_CLUSTER_ARN: o ARN do cluster do Amazon MSK que está a carregar para o Pub/Sub. O formato ARN é o seguinte: arn:aws:kafka:${Region}:${Account}:cluster/${ClusterName}/${ClusterId}.
      • MSK_TOPIC: o nome do tópico do Amazon MSK Kafka que está a carregar para o Pub/Sub.
      • MSK_ROLE_ARN: o ARN da função do AWS. O formato ARN da função é o seguinte: arn:aws:iam::${Account}:role/${RoleName}.
      • PUBSUB_SERVICE_ACCOUNT: a conta de serviço que criou em Crie uma conta de serviço no Google Cloud.

    Quotas e limites

    O débito do publicador para tópicos de importação está limitado pela quota de publicação do tópico. Para mais informações, consulte o artigo Quotas e limites do Pub/Sub.

    O que se segue?

    Apache Kafka® é uma marca comercial registada da The Apache Software Foundation ou das respetivas afiliadas nos Estados Unidos e/ou noutros países.