Crie um tópico de importação do Amazon Kinesis Data Streams

Um tópico de importação do Amazon Kinesis Data Streams permite-lhe carregar continuamente dados do Amazon Kinesis Data Streams como uma origem externa e para o Pub/Sub. Em seguida, pode transmitir os dados para qualquer um dos destinos suportados pelo Pub/Sub.

Para mais informações sobre tópicos de importação, consulte o artigo Acerca dos tópicos de importação.

Antes de começar

• Saiba mais sobre o processo de publicação do Pub/Sub.

• Configure as funções e as autorizações necessárias para gerir os tópicos de importação do Amazon Kinesis Data Streams, incluindo o seguinte:

  • Adicione a função de publicador do Pub/Sub à conta de serviço do Pub/Sub

  • Adicione a função de agente de serviço do Pub/Sub à conta de serviço do Pub/Sub, se ainda não tiver sido concedida.

  • Adicione a função de utilizador da conta de serviço à conta de serviço

• Configure a federação de identidade da carga de trabalho para que o Trusted Cloud possa aceder ao serviço de streaming externo.

Funções e autorizações necessárias

Para receber as autorizações de que precisa para criar e gerir tópicos de importação do Amazon Kinesis Data Streams, peça ao seu administrador para lhe conceder a função IAM de editor do Pub/Sub (roles/pubsub.editor) no seu tópico ou projeto. Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Esta função predefinida contém as autorizações necessárias para criar e gerir tópicos de importação do Amazon Kinesis Data Streams. Para ver as autorizações exatas que são necessárias, expanda a secção Autorizações necessárias:

Autorizações necessárias

São necessárias as seguintes autorizações para criar e gerir tópicos de importação do Amazon Kinesis Data Streams:

• Crie um tópico de importação: pubsub.topics.create
• Elimine um tópico de importação: pubsub.topics.delete
• Obtenha um tópico de importação: pubsub.topics.get
• Indique um tópico de importação: pubsub.topics.list
• Publicar num tópico de importação: pubsub.topics.publish and pubsub.serviceAgent
• Atualize um tópico de importação: pubsub.topics.update
• Obtenha a Política IAM para um tópico de importação: pubsub.topics.getIamPolicy
• Configure a política IAM para um tópico de importação: pubsub.topics.setIamPolicy

Também pode conseguir estas autorizações com funções personalizadas ou outras funções predefinidas.

Pode configurar o controlo de acesso ao nível do projeto e ao nível do recurso individual.

Configure a identidade federada para aceder ao Amazon Kinesis Data Streams

A federação de identidades da carga de trabalho permite que os Trusted Cloud serviços acedam a cargas de trabalho executadas fora do Trusted Cloud. Com a federação de identidades, não precisa de manter nem transmitir credenciais para Trusted Cloud aceder aos seus recursos noutras nuvens. Em alternativa, pode usar as identidades das próprias cargas de trabalho para fazer a autenticação no Trusted Cloud e aceder aos recursos.

Crie uma conta de serviço em Trusted Cloud

Este passo é opcional. Se já tiver uma conta de serviço, pode usá-la neste procedimento em vez de criar uma nova conta de serviço. Se estiver a usar uma conta de serviço existente, aceda a Registe o ID exclusivo da conta de serviço para o passo seguinte.

Para tópicos de importação do Amazon Kinesis Data Streams, o Pub/Sub usa a conta de serviço como a identidade para aceder aos recursos da AWS.

Para mais informações sobre como criar uma conta de serviço, incluindo pré-requisitos, funções e autorizações necessárias, e diretrizes de nomenclatura, consulte o artigo Crie contas de serviço. Depois de criar uma conta de serviço, pode ter de aguardar 60 segundos ou mais antes de usar a conta de serviço. Este comportamento ocorre porque as operações de leitura são eventualmente consistentes. Pode demorar algum tempo até que a nova conta de serviço fique visível.

Registe o ID exclusivo da conta de serviço

Precisa de um ID exclusivo da conta de serviço para configurar uma função na AWS.

1. Na Trusted Cloud consola, aceda à página de detalhes da conta de serviço.

   Aceder à conta de serviço

2. Clique na conta de serviço que acabou de criar ou na que planeia usar.

3. Na página Detalhes da conta de serviço, registe o número do ID exclusivo.

   Precisa do ID como parte do fluxo de trabalho para configurar uma função na AWS.

Adicione a função de criador de tokens da conta de serviço à conta de serviço do Pub/Sub

A função de criador de tokens de contas de serviço (roles/iam.serviceAccountTokenCreator) permite que os principais criem credenciais de curta duração para uma conta de serviço. Estes tokens ou credenciais são usados para se fazer passar pela conta de serviço.

Para mais informações sobre a simulação da conta de serviço, consulte o artigo Simulação da conta de serviço.

Também pode adicionar a função de publicador do Pub/Sub (roles/pubsub.publisher) durante este procedimento. Para mais informações sobre a função e o motivo pelo qual a está a adicionar, consulte o artigo Adicione a função de publicador do Pub/Sub à conta de serviço do Pub/Sub.

1. Na Trusted Cloud consola, aceda à página IAM.

   Aceda ao IAM

2. Clique na caixa de verificação Incluir concessões de funções fornecidas pela Google. S3NS

3. Procure a conta de serviço com o formato service-{PROJECT_NUMBER}@gcp-sa-pubsub.s3ns-system.iam.gserviceaccount.com.

4. Para esta conta de serviço, clique no botão Editar principal.

5. Se necessário, clique em Adicionar outra função.

6. Pesquise e clique na função Criador de tokens de conta de serviço (roles/iam.serviceAccountTokenCreator).

7. Clique em Guardar.

Crie uma política na AWS

Precisa de uma política na AWS para permitir que o Pub/Sub se autentique na AWS, de modo que o Pub/Sub possa carregar dados do Amazon Kinesis Data Streams.

• Para ver mais métodos e informações sobre como criar uma política na AWS, consulte o artigo Criar políticas de IAM.

Para criar uma política na AWS, siga estes passos:

1. Inicie sessão na AWS Management Console e abra a consola do IAM.

2. No painel de navegação da consola do IAM, clique em Gestão de acesso > Políticas.

3. Clique em Criar política.

4. Para Selecionar um serviço, clique em Kinesis.

5. Para Ação permitida, clique no seguinte:

   • List > ListShards.

     Esta ação concede autorização para listar os fragmentos num fluxo e fornece informações sobre cada fragmento.

   • Read > SubscribeToShard.

     Esta ação concede autorização para ouvir um fragmento específico com distribuição melhorada.

   • Read > DescribeStreamConsumer.

     Esta ação concede autorização para obter a descrição de um consumidor de stream registado.

   Estas autorizações abrangem a leitura da stream. O Pub/Sub só suporta a leitura a partir de uma stream do Kinesis com Enhanced Fan-Out através da API SubscribeToShard de streaming.

6. Para Resources, se quiser restringir a política a um fluxo ou um consumidor específico (recomendado), especifique o ARN do consumidor e o ARN do fluxo.

7. Clique em Adicionar mais autorizações.

8. Em Selecionar um serviço, clique em STS.

9. Para Ação permitida, clique em Escrever > AssumeRoleWithWebIdentity.

   Esta ação concede autorização para obter um conjunto de credenciais de segurança temporárias para o Pub/Sub para autenticar no Amazon Kinesis Data Streams através da federação de identidades.

10. Clicar em Seguinte.

11. Introduza um nome e uma descrição para a política.

12. Clique em Criar política.

Crie uma função na AWS com uma política de confiança personalizada

Tem de criar uma função na AWS para que o Pub/Sub possa autenticar-se na AWS para carregar dados do Amazon Kinesis Data Streams.

1. Inicie sessão na AWS Management Console e abra a consola do IAM.

2. No painel de navegação da consola do IAM, clique em Funções.

3. Clique em Criar função.

4. Em Selecionar entidade fidedigna, clique em Política de fidedignidade personalizada.

5. Na secção Política de fidedignidade personalizada, introduza ou cole o seguinte:

   {
     "Version": "2012-10-17",
     "Statement": [
       {
        "Effect": "Allow",
        "Principal": {
           "Federated": "accounts.google.com"
        },
        "Action": "sts:AssumeRoleWithWebIdentity",
        "Condition": {
            "StringEquals": {
              "accounts.google.com:sub": "<SERVICE_ACCOUNT_UNIQUE_ID>"
            }
         }
       }
     ]
   }
   

   Substitua <SERVICE_ACCOUNT_UNIQUE_ID> pelo ID exclusivo da conta de serviço que registou em Registe o ID exclusivo da conta de serviço.

6. Clicar em Seguinte.

7. Para Adicionar autorizações, pesquise e clique na política personalizada que acabou de criar.

8. Clicar em Seguinte.

9. Introduza um nome e uma descrição para a função.

10. Clique em Criar função.

Adicione a função de publicador do Pub/Sub ao principal do Pub/Sub

Para ativar a publicação, tem de atribuir uma função de publicador à conta de serviço do Pub/Sub para que o Pub/Sub possa publicar no tópico de importação do Amazon Kinesis Data Streams.

Adicione a função de agente de serviço do Pub/Sub à conta de serviço do Pub/Sub

Para permitir que o Pub/Sub use a quota de publicação do projeto do tópico de importação, o agente de serviço do Pub/Sub requer a autorização serviceusage.services.use no projeto do tópico de importação.

Para conceder esta autorização, recomendamos que adicione a função de agente do serviço Pub/Sub à conta de serviço Pub/Sub.

Se a conta de serviço do Pub/Sub não tiver a função de agente de serviço do Pub/Sub, pode ser concedida da seguinte forma:

1. Na Trusted Cloud consola, aceda à página IAM.

   Aceda ao IAM

2. Clique na caixa de verificação Incluir concessões de funções fornecidas pela Google. S3NS

3. Procure a conta de serviço com o formato service-{PROJECT_NUMBER}@gcp-sa-pubsub.s3ns-system.iam.gserviceaccount.com.

4. Para esta conta de serviço, clique no botão Editar principal.

5. Se necessário, clique em Adicionar outra função.

6. Pesquise e clique na função de agente do serviço Pub/Sub (roles/pubsub.serviceAgent).

7. Clique em Guardar.

Ative a publicação de todos os tópicos

Use este método se não tiver criado tópicos de importação do Amazon Kinesis Data Streams.

1. Na Trusted Cloud consola, aceda à página IAM.

   Aceda ao IAM

2. Clique na caixa de verificação Incluir concessões de funções fornecidas pela Google. S3NS

3. Procure a conta de serviço com o formato service-{PROJECT_NUMBER}@gcp-sa-pubsub.s3ns-system.iam.gserviceaccount.com.

4. Para esta conta de serviço, clique no botão Editar principal.

5. Se necessário, clique em Adicionar outra função.

6. Pesquise e clique na função de publicador do Pub/Sub (roles/pubsub.publisher).

7. Clique em Guardar.

Ative a publicação a partir de um único tópico

Use este método apenas se o tópico de importação do Amazon Kinesis Data Streams já existir.

1. In the Trusted Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Trusted Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Execute o comando gcloud pubsub topics add-iam-policy-binding:

   gcloud pubsub topics add-iam-policy-binding TOPIC_ID \
      --member="serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.s3ns-system.iam.gserviceaccount.com" \
      --role="roles/pubsub.publisher"

   Substitua o seguinte:

   • TOPIC_ID: o ID do tópico de importação do Amazon Kinesis Data Streams.

   • PROJECT_NUMBER: o número do projeto. Para ver o número do projeto, consulte o artigo Identificar projetos.

Adicione a função de utilizador da conta de serviço à conta de serviço

A função de utilizador da conta de serviço (roles/iam.serviceAccountUser) inclui a autorização iam.serviceAccounts.actAs que permite a um principal anexar uma conta de serviço às definições de carregamento do tópico de importação do Amazon Kinesis Data Streams e usar essa conta de serviço para a identidade federada.

1. Na Trusted Cloud consola, aceda à página IAM.

   Aceda ao IAM

2. Para o principal que está a emitir as chamadas de criação ou atualização de tópicos, clique no botão Editar principal.

3. Se necessário, clique em Adicionar outra função.

4. Pesquise e clique na função Utilizador da conta de serviço (roles/iam.serviceAccountUser).

5. Clique em Guardar.

Use tópicos do Amazon Kinesis Data Streams

Pode criar um novo tópico de importação ou editar um tópico existente.

Considerações

• A criação do tópico e da subscrição em separado, mesmo que seja feita em rápida sucessão, pode levar à perda de dados. Existe um curto período durante o qual o tópico existe sem uma subscrição. Se forem enviados dados para o tópico durante este período, estes são perdidos. Ao criar primeiro o tópico, criar a subscrição e, em seguida, converter o tópico num tópico de importação, garante que não são perdidas mensagens durante o processo de importação.

Crie um tópico de importação do Amazon Kinesis Data Streams

Para saber mais sobre as propriedades associadas a um tópico, consulte o artigo Propriedades de um tópico.

Certifique-se de que concluiu os seguintes procedimentos:

• Configure a identidade federada para aceder ao Kinesis Data Streams

• Adicione a função de publicador do Pub/Sub à conta de serviço do Pub/Sub

• Adicione a função de utilizador da conta de serviço à conta de serviço

Para criar um tópico de importação do Amazon Kinesis Data Streams, siga estes passos:

Consola

1. Na Trusted Cloud consola, aceda à página Tópicos.

   Aceda a Tópicos

2. Clique em Criar tópico.

3. No campo ID do tópico, introduza um ID para o tópico de importação do Amazon Kinesis Data Streams.

   Para mais informações sobre a atribuição de nomes a tópicos, consulte as diretrizes de nomenclatura.

4. Selecione Adicionar uma subscrição predefinida.

5. Selecione Ativar carregamento.

6. Para a origem da carregamento, selecione Amazon Kinesis Data Streams.

7. Introduza os seguintes detalhes:

   • ARN da stream do Kinesis: o ARN da stream de dados do Kinesis que planeia carregar para o Pub/Sub. O formato ARN é o seguinte: arn:${Partition}:kinesis:${Region}:${Account}:stream/${StreamName}.

   • ARN do consumidor do Kinesis: o ARN do recurso do consumidor que está registado na stream de dados do AWS Kinesis. O formato ARN é o seguinte: arn:${Partition}:kinesis:${Region}:${Account}:${StreamType}/${StreamName}/consumer/${ConsumerName}:${ConsumerCreationTimestamp}.

   • ARN da função do AWS: o ARN da função do AWS. O formato ARN da função é o seguinte: arn:aws:iam::${Account}:role/${RoleName}

   • Conta de serviço: a conta de serviço que criou em Crie uma conta de serviço em Trusted Cloud.

8. Clique em Criar tópico.

gcloud

1. In the Trusted Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Trusted Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Execute o comando gcloud pubsub topics create:

   gcloud pubsub topics create TOPIC_ID \
       --kinesis-ingestion-stream-arn KINESIS_STREAM_ARN \
       --kinesis-ingestion-consumer-arn KINESIS_CONSUMER_ARN \
       --kinesis-ingestion-role-arn KINESIS_ROLE_ARN \
       --kinesis-ingestion-service-account PUBSUB_SERVICE_ACCOUNT
   

   Substitua o seguinte:

   • TOPIC_ID: o ID do tópico.
   • KINESIS_STREAM_ARN: o ARN para os Kinesis Data Streams que planeia carregar para o Pub/Sub. O formato ARN é o seguinte: arn:${Partition}:kinesis:${Region}:${Account}:stream/${StreamName}.
   • KINESIS_CONSUMER_ARN: o ARN do recurso consumidor registado nos AWS Kinesis Data Streams. O formato ARN é o seguinte: arn:${Partition}:kinesis:${Region}:${Account}:${StreamType}/${StreamName}/consumer/${ConsumerName}:${ConsumerCreationTimestamp}.
   • KINESIS_ROLE_ARN: o ARN da função da AWS. O formato ARN da função é o seguinte: arn:aws:iam::${Account}:role/${RoleName}.
   • PUBSUB_SERVICE_ACCOUNT: a conta de serviço que criou em Crie uma conta de serviço no Google Cloud.

C++

Antes de experimentar este exemplo, siga as instruções de configuração do C++ no artigo Início rápido: usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API C++ do Pub/Sub.

namespace pubsub = ::google::cloud::pubsub;
namespace pubsub_admin = ::google::cloud::pubsub_admin;
[](pubsub_admin::TopicAdminClient client, std::string project_id,
   std::string topic_id, std::string stream_arn, std::string consumer_arn,
   std::string aws_role_arn, std::string gcp_service_account) {
  google::pubsub::v1::Topic request;
  request.set_name(
      pubsub::Topic(std::move(project_id), std::move(topic_id)).FullName());
  auto* aws_kinesis =
      request.mutable_ingestion_data_source_settings()->mutable_aws_kinesis();
  aws_kinesis->set_stream_arn(stream_arn);
  aws_kinesis->set_consumer_arn(consumer_arn);
  aws_kinesis->set_aws_role_arn(aws_role_arn);
  aws_kinesis->set_gcp_service_account(gcp_service_account);

  auto topic = client.CreateTopic(request);
  // Note that kAlreadyExists is a possible error when the library retries.
  if (topic.status().code() == google::cloud::StatusCode::kAlreadyExists) {
    std::cout << "The topic already exists\n";
    return;
  }
  if (!topic) throw std::move(topic).status();

  std::cout << "The topic was successfully created: " << topic->DebugString()
            << "\n";
}

Ir

O exemplo seguinte usa a versão principal da biblioteca de cliente Go Pub/Sub (v2). Se ainda estiver a usar a biblioteca v1, consulte o guia de migração para a v2. Para ver uma lista de exemplos de código da v1, consulte os exemplos de código descontinuados.

Antes de experimentar este exemplo, siga as instruções de configuração do Go em Início rápido: usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Go do Pub/Sub.

import (
	"context"
	"fmt"
	"io"

	pubsub "cloud.google.com/go/pubsub/v2"
	"cloud.google.com/go/pubsub/v2/apiv1/pubsubpb"
)

func createTopicWithKinesisIngestion(w io.Writer, projectID, topic string) error {
	// projectID := "my-project-id"
	// topicID := "projects/my-project-id/topics/my-topic"
	streamARN := "stream-arn"
	consumerARN := "consumer-arn"
	awsRoleARN := "aws-role-arn"
	gcpServiceAccount := "gcp-service-account"

	ctx := context.Background()
	client, err := pubsub.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("pubsub.NewClient: %w", err)
	}
	defer client.Close()

	topicpb := &pubsubpb.Topic{
		Name: topic,
		IngestionDataSourceSettings: &pubsubpb.IngestionDataSourceSettings{
			Source: &pubsubpb.IngestionDataSourceSettings_AwsKinesis_{
				AwsKinesis: &pubsubpb.IngestionDataSourceSettings_AwsKinesis{
					StreamArn:         streamARN,
					ConsumerArn:       consumerARN,
					AwsRoleArn:        awsRoleARN,
					GcpServiceAccount: gcpServiceAccount,
				},
			},
		},
	}
	topicpb, err = client.TopicAdminClient.CreateTopic(ctx, topicpb)
	if err != nil {
		return fmt.Errorf("failed to create topic with kinesis: %w", err)
	}
	fmt.Fprintf(w, "Kinesis topic created: %v\n", topicpb)
	return nil
}

Java

Antes de experimentar este exemplo, siga as instruções de configuração do Java no artigo Início rápido: usar bibliotecas cliente. Para mais informações, consulte a documentação de referência da API Java do Pub/Sub.

import com.google.cloud.pubsub.v1.TopicAdminClient;
import com.google.pubsub.v1.IngestionDataSourceSettings;
import com.google.pubsub.v1.Topic;
import com.google.pubsub.v1.TopicName;
import java.io.IOException;

public class CreateTopicWithKinesisIngestionExample {
  public static void main(String... args) throws Exception {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "your-project-id";
    String topicId = "your-topic-id";
    // Kinesis ingestion settings.
    String streamArn = "stream-arn";
    String consumerArn = "consumer-arn";
    String awsRoleArn = "aws-role-arn";
    String gcpServiceAccount = "gcp-service-account";

    createTopicWithKinesisIngestionExample(
        projectId, topicId, streamArn, consumerArn, awsRoleArn, gcpServiceAccount);
  }

  public static void createTopicWithKinesisIngestionExample(
      String projectId,
      String topicId,
      String streamArn,
      String consumerArn,
      String awsRoleArn,
      String gcpServiceAccount)
      throws IOException {
    try (TopicAdminClient topicAdminClient = TopicAdminClient.create()) {
      TopicName topicName = TopicName.of(projectId, topicId);

      IngestionDataSourceSettings.AwsKinesis awsKinesis =
          IngestionDataSourceSettings.AwsKinesis.newBuilder()
              .setStreamArn(streamArn)
              .setConsumerArn(consumerArn)
              .setAwsRoleArn(awsRoleArn)
              .setGcpServiceAccount(gcpServiceAccount)
              .build();
      IngestionDataSourceSettings ingestionDataSourceSettings =
          IngestionDataSourceSettings.newBuilder().setAwsKinesis(awsKinesis).build();

      Topic topic =
          topicAdminClient.createTopic(
              Topic.newBuilder()
                  .setName(topicName.toString())
                  .setIngestionDataSourceSettings(ingestionDataSourceSettings)
                  .build());

      System.out.println("Created topic with Kinesis ingestion settings: " + topic.getAllFields());
    }
  }
}

Node.js

Antes de experimentar este exemplo, siga as instruções de configuração do Node.js em Início rápido: usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Node.js do Pub/Sub.

/**
 * TODO(developer): Uncomment these variables before running the sample.
 */
// const topicNameOrId = 'YOUR_TOPIC_NAME_OR_ID';
// const roleArn = 'arn:aws:iam:...';
// const gcpServiceAccount = 'ingestion-account@...';
// const streamArn = 'arn:aws:kinesis:...';
// const consumerArn = 'arn:aws:kinesis:...';

// Imports the Google Cloud client library
const {PubSub} = require('@google-cloud/pubsub');

// Creates a client; cache this for further use
const pubSubClient = new PubSub();

async function createTopicWithKinesisIngestion(
  topicNameOrId,
  awsRoleArn,
  gcpServiceAccount,
  streamArn,
  consumerArn,
) {
  // Creates a new topic with Kinesis ingestion.
  await pubSubClient.createTopic({
    name: topicNameOrId,
    ingestionDataSourceSettings: {
      awsKinesis: {
        awsRoleArn,
        gcpServiceAccount,
        streamArn,
        consumerArn,
      },
    },
  });
  console.log(`Topic ${topicNameOrId} created with AWS Kinesis ingestion.`);
}

Node.ts

Antes de experimentar este exemplo, siga as instruções de configuração do Node.js em Início rápido: usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Node.js do Pub/Sub.

/**
 * TODO(developer): Uncomment these variables before running the sample.
 */
// const topicNameOrId = 'YOUR_TOPIC_NAME_OR_ID';
// const roleArn = 'arn:aws:iam:...';
// const gcpServiceAccount = 'ingestion-account@...';
// const streamArn = 'arn:aws:kinesis:...';
// const consumerArn = 'arn:aws:kinesis:...';

// Imports the Google Cloud client library
import {PubSub} from '@google-cloud/pubsub';

// Creates a client; cache this for further use
const pubSubClient = new PubSub();

async function createTopicWithKinesisIngestion(
  topicNameOrId: string,
  awsRoleArn: string,
  gcpServiceAccount: string,
  streamArn: string,
  consumerArn: string,
) {
  // Creates a new topic with Kinesis ingestion.
  await pubSubClient.createTopic({
    name: topicNameOrId,
    ingestionDataSourceSettings: {
      awsKinesis: {
        awsRoleArn,
        gcpServiceAccount,
        streamArn,
        consumerArn,
      },
    },
  });
  console.log(`Topic ${topicNameOrId} created with AWS Kinesis ingestion.`);
}

Python

Antes de experimentar este exemplo, siga as instruções de configuração do Python em Início rápido: usar bibliotecas cliente. Para mais informações, consulte a documentação de referência da API Python Pub/Sub.

from google.cloud import pubsub_v1
from google.pubsub_v1.types import Topic
from google.pubsub_v1.types import IngestionDataSourceSettings

# TODO(developer)
# project_id = "your-project-id"
# topic_id = "your-topic-id"
# stream_arn = "your-stream-arn"
# consumer_arn = "your-consumer-arn"
# aws_role_arn = "your-aws-role-arn"
# gcp_service_account = "your-gcp-service-account"

publisher = pubsub_v1.PublisherClient()
topic_path = publisher.topic_path(project_id, topic_id)

request = Topic(
    name=topic_path,
    ingestion_data_source_settings=IngestionDataSourceSettings(
        aws_kinesis=IngestionDataSourceSettings.AwsKinesis(
            stream_arn=stream_arn,
            consumer_arn=consumer_arn,
            aws_role_arn=aws_role_arn,
            gcp_service_account=gcp_service_account,
        )
    ),
)

topic = publisher.create_topic(request=request)

print(f"Created topic: {topic.name} with AWS Kinesis Ingestion Settings")

Para mais informações sobre ARNs, consulte os artigos Nomes de recursos da Amazon (ARNs) e Identificadores do IAM.

Se tiver problemas, consulte o artigo Resolução de problemas de um tópico de importação do Amazon Kinesis Data Streams.

Edite um tópico de importação do Amazon Kinesis Data Streams

Pode editar as definições da origem de dados de carregamento de um tópico de importação do Amazon Kinesis Data Streams. Siga estes passos:

Consola

1. Na Trusted Cloud consola, aceda à página Tópicos.

   Aceda a Tópicos

2. Clique no tópico de importação do Amazon Kinesis Data Streams.

3. Na página de detalhes do tópico, clique em Editar.

4. Atualize os campos que quer alterar.

5. Clique em Atualizar.

gcloud

1. In the Trusted Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Trusted Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Para evitar perder as definições do tópico de importação, certifique-se de que inclui todas as definições sempre que atualizar o tópico. Se omitir algo, o Pub/Sub repõe a definição para o respetivo valor predefinido original.

   Execute o comando gcloud pubsub topics update com todos os sinalizadores mencionados no seguinte exemplo:

   gcloud pubsub topics update TOPIC_ID 
   
       --kinesis-ingestion-stream-arn KINESIS_STREAM_ARN 
   
       --kinesis-ingestion-consumer-arn KINESIS_CONSUMER_ARN 
   
       --kinesis-ingestion-role-arn KINESIS_ROLE_ARN 
   
       --kinesis-ingestion-service-account PUBSUB_SERVICE_ACCOUNT

   Substitua o seguinte:

   • TOPIC_ID é o ID do tópico. Não é possível atualizar este campo.

   • KINESIS_STREAM_ARN é o ARN para o Kinesis Data Streams que planeia carregar para o Pub/Sub. O formato ARN é o seguinte: arn:${Partition}:kinesis:${Region}:${Account}:stream/${StreamName}.

   • KINESIS_CONSUMER_ARN é o ARN do recurso de consumidor registado nos AWS Kinesis Data Streams. O formato ARN é o seguinte: arn:${Partition}:kinesis:${Region}:${Account}:${StreamType}/${StreamName}/consumer/${ConsumerName}:${ConsumerCreationTimestamp}.

   • KINESIS_ROLE_ARN é o ARN da função do AWS. O formato ARN da função é o seguinte: arn:aws:iam::${Account}:role/${RoleName}.

   • PUBSUB_SERVICE_ACCOUNT é a conta de serviço que criou em Crie uma conta de serviço em Trusted Cloud.

Quotas e limites para tópicos de importação do Amazon Kinesis Data Streams

O débito do publicador para tópicos de importação está limitado pela quota de publicação do tópico. Para mais informações, consulte o artigo Quotas e limites do Pub/Sub.

O que se segue?

• Monitorize um tópico de importação.

• Escolha o tipo de subscrição para o seu tópico.

• Saiba como publicar uma mensagem num tópico.

• Crie ou modifique um tópico com a CLI gcloud, as APIs REST ou as bibliotecas cliente.

• Resolva problemas de um tópico de importação do Amazon Kinesis Data Streams.

• Passos para configurar uma tarefa de transferência de armazenamento para transferir dados do AWS S3 para o Cloud Storage.

Apache Kafka® é uma marca comercial registada da The Apache Software Foundation ou das respetivas afiliadas nos Estados Unidos e/ou noutros países.