Crea un argomento di importazione Amazon Managed Streaming for Apache Kafka

Un argomento di importazione di Amazon Managed Streaming for Apache Kafka (Amazon MSK) consente di importare continuamente dati da Amazon MSK come origine esterna e in Pub/Sub. Poi puoi trasmettere i dati in streaming a una qualsiasi delle destinazioni supportate da Pub/Sub.

Questo documento mostra come creare e gestire gli argomenti di importazione di Amazon MSK. Per creare un argomento standard, vedi Creare un argomento standard.

Per saperne di più sugli argomenti di importazione, consulta Informazioni sugli argomenti di importazione.

Prima di iniziare

• Scopri di più sulla procedura di pubblicazione Pub/Sub.

• Configura i ruoli e le autorizzazioni richiesti per gestire gli argomenti di importazione di Amazon MSK, tra cui:

  • Aggiungi il ruolo Publisher Pub/Sub all'account di servizio Pub/Sub

  • Aggiungi il ruolo di agente di servizio Pub/Sub all'account di servizio Pub/Sub, se non è già stato concesso.

  • Aggiungere il ruolo Utente account di servizio al service account

• Configura la federazione delle identità per i workload in modo che Trusted Cloud possa accedere al servizio di streaming esterno.

Ruoli e autorizzazioni richiesti

Per ottenere le autorizzazioni necessarie per creare e gestire argomenti di importazione Amazon MSK, chiedi all'amministratore di concederti il ruolo IAM Editor Pub/Sub (roles/pubsub.editor) nell'argomento o nel progetto. Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questo ruolo predefinito contiene le autorizzazioni necessarie per creare e gestire gli argomenti di importazione di Amazon MSK. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per creare e gestire gli argomenti di importazione Amazon MSK sono necessarie le seguenti autorizzazioni:

• Crea un argomento di importazione: pubsub.topics.create
• Elimina un argomento di importazione: pubsub.topics.delete
• Recuperare un argomento di importazione: pubsub.topics.get
• Elenca un argomento di importazione: pubsub.topics.list
• Pubblica in un argomento di importazione: pubsub.topics.publish and pubsub.serviceAgent
• Aggiorna un argomento di importazione: pubsub.topics.update
• Recupera il criterio IAM per un argomento di importazione: pubsub.topics.getIamPolicy
• Configura il criterio IAM per un argomento di importazione: pubsub.topics.setIamPolicy

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Puoi configurare il controllo dell'accesso a livello di progetto e a livello di singola risorsa.

Configurare l'identità federata per accedere ad Amazon MSK

La federazione delle identità per i workload consente ai servizi di accedere ai workload in esecuzione al di fuori di Trusted Cloud. Trusted Cloud Con la federazione delle identità, non devi mantenere o trasmettere le credenziali a Trusted Cloud per accedere alle tue risorse in altri cloud. Puoi invece utilizzare le identità dei carichi di lavoro stessi per autenticarti su Trusted Cloud e accedere alle risorse.

Crea un account di servizio in Trusted Cloud

Questo passaggio è facoltativo. Se hai già un account di servizio, puoi utilizzarlo in questa procedura anziché crearne uno nuovo. Se utilizzi un account di servizio esistente, vai a Registra l'ID univoco del service account per il passaggio successivo.

Per gli argomenti di importazione di Amazon MSK, Pub/Sub utilizza il account di serviziot come identità per accedere alle risorse da AWS.

Per ulteriori informazioni sulla creazione di un account di servizio, inclusi prerequisiti, ruoli e autorizzazioni richiesti e linee guida per la denominazione, consulta Creare service account. Dopo aver creato un account di servizio, potresti dover attendere 60 secondi o più prima di account di servizio utilizzare. Questo comportamento si verifica perché le operazioni di lettura sono alla fine coerenti; potrebbe essere necessario del tempo prima che il nuovoaccount di serviziot diventi visibile.

Registra l'ID univoco del account di servizio

Per configurare un ruolo nella console AWS, è necessario un ID univoco del account di servizio.

1. Nella Trusted Cloud console, vai alla pagina dei dettagli del service account.

   Vai all'account di servizio

2. Fai clic sul account di servizio che hai appena creato o su quello che intendi utilizzare.

3. Nella pagina Dettagli del service account, annota il numero dell'ID univoco.

   L'ID è necessario come parte del flusso di lavoro per configurare un ruolo nella console AWS.

Aggiungi il ruolo di creatore token account di servizio al account di servizio Pub/Sub

Il ruolo Creatore token service account (roles/iam.serviceAccountTokenCreator) consente alle entità di creare credenziali di breve durata per un account di servizio. Questi token o credenziali vengono utilizzati per rappresentare ilaccount di serviziot.

Per ulteriori informazioni sull'impersonificazione del account di servizio, consulta Impersonificazione del service account.

Puoi anche aggiungere il ruolo Publisher Pub/Sub (roles/pubsub.publisher) durante questa procedura. Per saperne di più sul ruolo e sul motivo per cui lo stai aggiungendo, consulta Aggiungere il ruolo Publisher Pub/Sub all'account di servizio Pub/Sub.

1. Nella console Trusted Cloud , vai alla pagina IAM.

   Vai a IAM

2. Fai clic sulla casella di controllo Includi concessioni di ruoli fornite da S3NS.

3. Cerca il account di servizio con il formato service-{PROJECT_NUMBER}@gcp-sa-pubsub.s3ns-system.iam.gserviceaccount.com.

4. Per questo account di servizio, fai clic sul pulsante Modifica entità.

5. Se necessario, fai clic su Aggiungi un altro ruolo.

6. Cerca e fai clic sul ruolo Creatore token service account (roles/iam.serviceAccountTokenCreator).

7. Fai clic su Salva.

Crea una policy in AWS

Per consentire a Pub/Sub di autenticarsi su AWS, in AWS è necessaria una policy in modo che Pub/Sub possa importare dati da Amazon MSK.

• Per altri metodi e informazioni su come creare una policy in AWS, consulta Creazione di policy IAM.

Per creare una policy in AWS, segui questi passaggi:

1. Accedi alla Console di gestione AWS e apri la console IAM.

2. Nel riquadro di navigazione della console per IAM, fai clic su Gestione accessi > Policy.

3. Fai clic su Crea criterio.

4. Per Fai clic su un servizio, fai clic su MSK.

5. Per Azione consentita,fai clic su Lettura > GetBootstrapBrokers.

   Questa azione concede l'autorizzazione per ottenere i broker di bootstrap che Pub/Sub utilizza per connettersi al cluster MSK.

6. Fai clic su Aggiungi altre autorizzazioni.

7. In Seleziona un servizio, fai clic su API Apache Kafka per MSK.

8. Per Azione consentita, seleziona quanto segue:

   • Elenco > DescribeTopic

     Questa azione concede l'autorizzazione per consentire all'argomento di importazione Pub/Sub di ottenere dettagli sull'argomento Kafka di Amazon MSK.

   • Read > ReadData

     Questa azione concede l'autorizzazione a leggere i dati dall'argomento Kafka di Amazon MSK.

   • Scrivi > Connetti

     Questa azione concede l'autorizzazione per connettersi e autenticarsi al cluster Kafka Amazon MSK.

9. Per Risorse, specifica l'ARN del cluster (se vuoi limitare la policy a cluster specifici, il che è consigliato).

10. Fai clic su Aggiungi altre autorizzazioni.

11. Per Seleziona un servizio, fai clic su STS.

12. Per Azione consentita, fai clic su Scrittura > AssumeRoleWithWebIdentity.

    Questa azione concede l'autorizzazione per ottenere un insieme di credenziali di sicurezza temporanee per Pub/Sub per l'autenticazione ad Amazon MSK utilizzando la federazione delle identità.

13. Fai clic su Avanti.

14. Inserisci un nome e una descrizione per la norma.

15. Fai clic su Crea criterio.

Creare un ruolo in AWS utilizzando una policy di attendibilità personalizzata

Devi creare un ruolo in AWS in modo che Pub/Sub possa autenticarsi in AWS per importare i dati da Amazon MSK.

1. Accedi alla Console di gestione AWS e apri la console IAM.

2. Nel riquadro di navigazione della console per IAM, fai clic su Ruoli.

3. Fai clic su Crea ruolo.

4. In Seleziona entità attendibile, fai clic su Policy di attendibilità personalizzata.

5. Nella sezione Norma di attendibilità personalizzata, inserisci o incolla quanto segue:

   {
     "Version": "2012-10-17",
     "Statement": [
       {
        "Effect": "Allow",
        "Principal": {
           "Federated": "accounts.google.com"
        },
        "Action": "sts:AssumeRoleWithWebIdentity",
        "Condition": {
            "StringEquals": {
              "accounts.google.com:sub": "<SERVICE_ACCOUNT_UNIQUE_ID>"
            }
         }
       }
     ]
   }
   

   Sostituisci <SERVICE_ACCOUNT_UNIQUE_ID> con l'ID univoco delaccount di serviziot che hai registrato in Registra l'ID univoco deaccount di servizioce account.

6. Fai clic su Avanti.

7. Per Aggiungi autorizzazioni, cerca e fai clic sul criterio personalizzato che hai appena creato.

8. Fai clic su Avanti.

9. Inserisci un nome e una descrizione per il ruolo.

10. Fai clic su Crea ruolo.

Aggiungi il ruolo Publisher Pub/Sub all'entità Pub/Sub

Per attivare la pubblicazione, devi assegnare un ruolo Publisher all'account di servizio Pub/Sub in modo che Pub/Sub possa pubblicare nell'argomento di importazione Amazon MSK.

Aggiungi il ruolo di agente di servizio Pub/Sub all'account di servizio Pub/Sub

Per consentire a Pub/Sub di utilizzare la quota di pubblicazione del progetto dell'argomento di importazione, l'agente di servizio Pub/Sub richiede l'autorizzazione serviceusage.services.use per il progetto dell'argomento di importazione.

Per fornire questa autorizzazione, ti consigliamo di aggiungere il ruolo di agente di servizio Pub/Sub all'account di servizio Pub/Sub.

Se l'account di servizio Pub/Sub non dispone del ruolo Agente di servizio Pub/Sub, può essere concesso nel seguente modo:

1. Nella console Trusted Cloud , vai alla pagina IAM.

   Vai a IAM

2. Fai clic sulla casella di controllo Includi concessioni di ruoli fornite da S3NS.

3. Cerca il account di servizio con il formato service-{PROJECT_NUMBER}@gcp-sa-pubsub.s3ns-system.iam.gserviceaccount.com.

4. Per questo account di servizio, fai clic sul pulsante Modifica entità.

5. Se necessario, fai clic su Aggiungi un altro ruolo.

6. Cerca e fai clic sul ruolo Agente di servizio Pub/Sub (roles/pubsub.serviceAgent).

7. Fai clic su Salva.

Attivare la pubblicazione da tutti gli argomenti

Utilizza questo metodo se non hai creato argomenti di importazione Amazon MSK.

1. Nella console Trusted Cloud , vai alla pagina IAM.

   Vai a IAM

2. Fai clic sulla casella di controllo Includi concessioni di ruoli fornite da S3NS.

3. Cerca il account di servizio con il formato service-{PROJECT_NUMBER}@gcp-sa-pubsub.s3ns-system.iam.gserviceaccount.com.

4. Per questo account di servizio, fai clic sul pulsante Modifica entità.

5. Se necessario, fai clic su Aggiungi un altro ruolo.

6. Cerca e fai clic sul ruolo Publisher Pub/Sub (roles/pubsub.publisher).

7. Fai clic su Salva.

Abilitare la pubblicazione da un singolo argomento

Utilizza questo metodo solo se l'argomento di importazione Amazon MSK esiste già.

1. In the Trusted Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Trusted Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Esegui il comando gcloud pubsub topics add-iam-policy-binding:

   gcloud pubsub topics add-iam-policy-binding TOPIC_ID \
      --member="serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.s3ns-system.iam.gserviceaccount.com" \
      --role="roles/pubsub.publisher"

   Sostituisci quanto segue:

   • TOPIC_ID: l'ID argomento dell'argomento di importazione Amazon MSK.

   • PROJECT_NUMBER: il numero di progetto. Per visualizzare il numero del progetto, consulta Identificazione dei progetti.

Aggiungi il ruolo Utente account di servizio al account di servizio

Il ruolo Utente service account (roles/iam.serviceAccountUser) include l'autorizzazione iam.serviceAccounts.actAs che consente a un'entità di collegare un service account alle impostazioni di importazione dell'argomento di importazione Amazon MSK e di utilizzare questo account di servizio per l'identità federata.

1. Nella console Trusted Cloud , vai alla pagina IAM.

   Vai a IAM

2. Per l'entità che effettua le chiamate di creazione o aggiornamento dell'argomento, fai clic sul pulsante Modifica entità.

3. Se necessario, fai clic su Aggiungi un altro ruolo.

4. Cerca e fai clic sul ruolo Utente service account (roles/iam.serviceAccountUser).

5. Fai clic su Salva.

Utilizzare gli argomenti di importazione di Amazon MSK

Puoi creare un nuovo argomento di importazione o modificarne uno esistente.

Considerazioni

• La creazione separata dell'argomento e della sottoscrizione, anche se eseguita in rapida successione, può comportare la perdita di dati. Esiste un breve periodo di tempo in cui l'argomento esiste senza un abbonamento. Se vengono inviati dati all'argomento durante questo periodo, vanno persi. Se crei prima l'argomento, poi la sottoscrizione e infine converti l'argomento in un argomento di importazione, ti assicuri che nessun messaggio venga perso durante il processo di importazione.

• Se devi ricreare l'argomento Kafka di un argomento di importazione esistente con lo stesso nome, non puoi semplicemente eliminare l'argomento Kafka e ricrearlo. Questa azione può invalidare la gestione degli offset di Pub/Sub, il che può comportare la perdita di dati. Per risolvere il problema, segui questi passaggi:

  • Elimina l'argomento di importazione Pub/Sub.
  • Elimina l'argomento Kafka.
  • Crea l'argomento Kafka.
  • Crea l'argomento di importazione Pub/Sub.

• I dati di un argomento Kafka Amazon MSK vengono sempre letti dall'offset iniziale.

Crea argomenti di importazione Amazon MSK

Per saperne di più sulle proprietà associate a un argomento, consulta Proprietà di un argomento.

Assicurati di aver completato le seguenti procedure:

• Configurare l'identità federata per accedere ad Amazon MSK

• Aggiungi il ruolo Publisher Pub/Sub all'account di servizio Pub/Sub

• Aggiungere il ruolo Utente account di servizio al service account

Per creare un argomento di importazione Amazon MSK:

Console

1. Nella console Trusted Cloud , vai alla pagina Argomenti.

   Vai ad Argomenti

2. Fai clic su Crea argomento.

3. Nel campo ID argomento, inserisci un ID per l'argomento di importazione di Amazon MSK. Per ulteriori informazioni sulla denominazione degli argomenti, consulta le linee guida per la denominazione.

4. Seleziona Aggiungi una sottoscrizione predefinita.

5. Seleziona Abilita importazione.

6. Per l'origine dell'importazione, seleziona Amazon MSK.

7. Inserisci i seguenti dettagli:

   • ARN cluster: l'ARN di Amazon MSK che stai importando in Pub/Sub. Il formato ARN è il seguente: arn:aws:kafka:${Region}:${Account}:cluster/${ClusterName}/${ClusterId}.
   • Argomento: il nome dell'argomento Kafka di Amazon MSK che stai importando in Pub/Sub.
   • ARN del ruolo AWS: l'ARN del ruolo AWS. Il formato ARN del ruolo è il seguente: arn:aws:iam::${Account}:role/${RoleName}.
   • Service account: il account di servizio che hai creato in Creare un account di servizio in Trusted Cloud.

8. Fai clic su Crea argomento.

gcloud

1. In the Trusted Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Trusted Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Esegui il comando gcloud pubsub topics create:

   gcloud pubsub topics create TOPIC_ID \
         --aws-msk-ingestion-cluster-arn MSK_CLUSTER_ARN \
         --aws-msk-ingestion-topic MSK_TOPIC \
         --aws-msk-ingestion-aws-role-arn MSK_ROLE_ARN \
         --aws-msk-ingestion-service-account PUBSUB_SERVICE_ACCOUNT
   

   Sostituisci quanto segue:

   • TOPIC_ID: il nome o l'ID dell'argomento Pub/Sub.
   • MSK_CLUSTER_ARN: l'ARN del cluster Amazon MSK che stai importando in Pub/Sub. Il formato ARN è il seguente: arn:aws:kafka:${Region}:${Account}:cluster/${ClusterName}/${ClusterId}.
   • MSK_TOPIC: il nome dell'argomento Kafka di Amazon MSK che stai importando in Pub/Sub.
   • MSK_ROLE_ARN: l'ARN del ruolo AWS. Il formato ARN del ruolo è il seguente: arn:aws:iam::${Account}:role/${RoleName}.
   • PUBSUB_SERVICE_ACCOUNT: il account di servizio che hai creato in Crea un account di servizio in Google Cloud.

C++

Prima di provare questo esempio, segui le istruzioni di configurazione di C++ nella guida rapida all'utilizzo delle librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API Pub/Sub C++.

namespace pubsub = ::google::cloud::pubsub;
namespace pubsub_admin = ::google::cloud::pubsub_admin;
[](pubsub_admin::TopicAdminClient client, std::string project_id,
   std::string topic_id, std::string const& cluster_arn,
   std::string const& msk_topic, std::string const& aws_role_arn,
   std::string const& gcp_service_account) {
  google::pubsub::v1::Topic request;
  request.set_name(
      pubsub::Topic(std::move(project_id), std::move(topic_id)).FullName());
  auto* aws_msk =
      request.mutable_ingestion_data_source_settings()->mutable_aws_msk();
  aws_msk->set_cluster_arn(cluster_arn);
  aws_msk->set_topic(msk_topic);
  aws_msk->set_aws_role_arn(aws_role_arn);
  aws_msk->set_gcp_service_account(gcp_service_account);

  auto topic = client.CreateTopic(request);
  // Note that kAlreadyExists is a possible error when the library retries.
  if (topic.status().code() == google::cloud::StatusCode::kAlreadyExists) {
    std::cout << "The topic already exists\n";
    return;
  }
  if (!topic) throw std::move(topic).status();

  std::cout << "The topic was successfully created: " << topic->DebugString()
            << "\n";
}

Vai

L'esempio seguente utilizza la versione principale della libreria client Go Pub/Sub (v2). Se utilizzi ancora la libreria v1, consulta la guida alla migrazione alla v2. Per visualizzare un elenco di esempi di codice della versione 1, consulta gli esempi di codice ritirati.

Prima di provare questo esempio, segui le istruzioni di configurazione di Go nella guida rapida all'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API Pub/Sub Go.

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/pubsub"
)

func createTopicWithAWSMSKIngestion(w io.Writer, projectID, topicID, clusterARN, mskTopic, awsRoleARN, gcpSA string) error {
	// projectID := "my-project-id"
	// topicID := "my-topic"

	// // AWS MSK ingestion settings.
	// clusterARN := "cluster-arn"
	// mskTopic := "msk-topic"
	// awsRoleARN := "aws-role-arn"
	// gcpSA := "gcp-service-account"

	ctx := context.Background()
	client, err := pubsub.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("pubsub.NewClient: %w", err)
	}
	defer client.Close()

	cfg := &pubsub.TopicConfig{
		IngestionDataSourceSettings: &pubsub.IngestionDataSourceSettings{
			Source: &pubsub.IngestionDataSourceAmazonMSK{
				ClusterARN:        clusterARN,
				Topic:             mskTopic,
				AWSRoleARN:        awsRoleARN,
				GCPServiceAccount: gcpSA,
			},
		},
	}
	t, err := client.CreateTopicWithConfig(ctx, topicID, cfg)
	if err != nil {
		return fmt.Errorf("CreateTopic: %w", err)
	}
	fmt.Fprintf(w, "Created topic with AWS MSK ingestion settings: %v\n", t)
	return nil
}

Java

Prima di provare questo esempio, segui le istruzioni di configurazione di Java nella guida rapida all'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API Java di Pub/Sub.

import com.google.cloud.pubsub.v1.TopicAdminClient;
import com.google.pubsub.v1.IngestionDataSourceSettings;
import com.google.pubsub.v1.Topic;
import com.google.pubsub.v1.TopicName;
import java.io.IOException;

public class CreateTopicWithAwsMskIngestionExample {
  public static void main(String... args) throws Exception {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "your-project-id";
    String topicId = "your-topic-id";
    // AWS MSK ingestion settings.
    String clusterArn = "cluster-arn";
    String mskTopic = "msk-topic";
    String awsRoleArn = "aws-role-arn";
    String gcpServiceAccount = "gcp-service-account";

    createTopicWithAwsMskIngestionExample(
        projectId, topicId, clusterArn, mskTopic, awsRoleArn, gcpServiceAccount);
  }

  public static void createTopicWithAwsMskIngestionExample(
      String projectId,
      String topicId,
      String clusterArn,
      String mskTopic,
      String awsRoleArn,
      String gcpServiceAccount)
      throws IOException {
    try (TopicAdminClient topicAdminClient = TopicAdminClient.create()) {
      TopicName topicName = TopicName.of(projectId, topicId);

      IngestionDataSourceSettings.AwsMsk awsMsk =
          IngestionDataSourceSettings.AwsMsk.newBuilder()
              .setClusterArn(clusterArn)
              .setTopic(mskTopic)
              .setAwsRoleArn(awsRoleArn)
              .setGcpServiceAccount(gcpServiceAccount)
              .build();
      IngestionDataSourceSettings ingestionDataSourceSettings =
          IngestionDataSourceSettings.newBuilder().setAwsMsk(awsMsk).build();

      Topic topic =
          topicAdminClient.createTopic(
              Topic.newBuilder()
                  .setName(topicName.toString())
                  .setIngestionDataSourceSettings(ingestionDataSourceSettings)
                  .build());

      System.out.println("Created topic with AWS MSK ingestion settings: " + topic.getAllFields());
    }
  }
}

Node.js

Prima di provare questo esempio, segui le istruzioni di configurazione di Node.js nella Guida rapida all'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API Pub/Sub Node.js.

/**
 * TODO(developer): Uncomment these variables before running the sample.
 */
// const topicNameOrId = 'YOUR_TOPIC_NAME_OR_ID';
// const clusterArn = 'arn:aws:kafka:...';
// const mskTopic = 'YOUR_MSK_TOPIC';
// const roleArn = 'arn:aws:iam:...';
// const gcpServiceAccount = 'ingestion-account@...';

// Imports the Google Cloud client library
const {PubSub} = require('@google-cloud/pubsub');

// Creates a client; cache this for further use
const pubSubClient = new PubSub();

async function createTopicWithAwsMskIngestion(
  topicNameOrId,
  clusterArn,
  mskTopic,
  awsRoleArn,
  gcpServiceAccount,
) {
  // Creates a new topic with AWS MSK ingestion.
  await pubSubClient.createTopic({
    name: topicNameOrId,
    ingestionDataSourceSettings: {
      awsMsk: {
        clusterArn,
        topic: mskTopic,
        awsRoleArn,
        gcpServiceAccount,
      },
    },
  });
  console.log(`Topic ${topicNameOrId} created with AWS MSK ingestion.`);
}

Node.ts

Prima di provare questo esempio, segui le istruzioni di configurazione di Node.js nella Guida rapida all'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API Pub/Sub Node.js.

/**
 * TODO(developer): Uncomment these variables before running the sample.
 */
// const topicNameOrId = 'YOUR_TOPIC_NAME_OR_ID';
// const clusterArn = 'arn:aws:kafka:...';
// const mskTopic = 'YOUR_MSK_TOPIC';
// const roleArn = 'arn:aws:iam:...';
// const gcpServiceAccount = 'ingestion-account@...';

// Imports the Google Cloud client library
import {PubSub} from '@google-cloud/pubsub';

// Creates a client; cache this for further use
const pubSubClient = new PubSub();

async function createTopicWithAwsMskIngestion(
  topicNameOrId: string,
  clusterArn: string,
  mskTopic: string,
  awsRoleArn: string,
  gcpServiceAccount: string,
) {
  // Creates a new topic with AWS MSK ingestion.
  await pubSubClient.createTopic({
    name: topicNameOrId,
    ingestionDataSourceSettings: {
      awsMsk: {
        clusterArn,
        topic: mskTopic,
        awsRoleArn,
        gcpServiceAccount,
      },
    },
  });
  console.log(`Topic ${topicNameOrId} created with AWS MSK ingestion.`);
}

Python

Prima di provare questo esempio, segui le istruzioni di configurazione di Python nella guida rapida all'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API Pub/Sub Python.

from google.cloud import pubsub_v1
from google.pubsub_v1.types import Topic
from google.pubsub_v1.types import IngestionDataSourceSettings

# TODO(developer)
# project_id = "your-project-id"
# topic_id = "your-topic-id"
# cluster_arn = "your-cluster-arn"
# msk_topic = "your-msk-topic"
# aws_role_arn = "your-aws-role-arn"
# gcp_service_account = "your-gcp-service-account"

publisher = pubsub_v1.PublisherClient()
topic_path = publisher.topic_path(project_id, topic_id)

request = Topic(
    name=topic_path,
    ingestion_data_source_settings=IngestionDataSourceSettings(
        aws_msk=IngestionDataSourceSettings.AwsMsk(
            cluster_arn=cluster_arn,
            topic=msk_topic,
            aws_role_arn=aws_role_arn,
            gcp_service_account=gcp_service_account,
        )
    ),
)

topic = publisher.create_topic(request=request)

print(f"Created topic: {topic.name} with AWS MSK Ingestion Settings")

Per ulteriori informazioni sugli ARN, consulta Amazon Resource Names (ARN) e Identificatori IAM.

Se riscontri problemi, consulta Risoluzione dei problemi relativi a un argomento di importazione Amazon MSK.

Modifica gli argomenti di importazione di Amazon MSK

Per modificare le impostazioni dell'origine dati di importazione di un argomento Amazon MSK:

Console

1. Nella console Trusted Cloud , vai alla pagina Argomenti.

   Vai ad Argomenti

2. Fai clic sull'argomento di importazione di Amazon MSK.

3. Nella pagina dei dettagli dell'argomento, fai clic su Modifica.

4. Aggiorna i campi che vuoi modificare.

5. Fai clic su Aggiorna.

gcloud

1. In the Trusted Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Trusted Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Esegui il comando gcloud pubsub topics update con tutti i flag menzionati nell'esempio seguente:

   gcloud pubsub topics update TOPIC_ID \
       --aws-msk-ingestion-cluster-arn MSK_CLUSTER_ARN \
       --aws-msk-ingestion-topic MSK_TOPIC \
       --aws-msk-ingestion-aws-role-arn MSK_ROLE_ARN \
       --aws-msk-ingestion-service-account PUBSUB_SERVICE_ACCOUNT

   Sostituisci quanto segue:

   • TOPIC_ID: il nome o l'ID dell'argomento Pub/Sub.
   • MSK_CLUSTER_ARN: l'ARN del cluster Amazon MSK che stai importando in Pub/Sub. Il formato ARN è il seguente: arn:aws:kafka:${Region}:${Account}:cluster/${ClusterName}/${ClusterId}.
   • MSK_TOPIC: il nome dell'argomento Amazon MSK Kafka che stai importando in Pub/Sub.
   • MSK_ROLE_ARN: l'ARN del ruolo AWS. Il formato ARN del ruolo è il seguente: arn:aws:iam::${Account}:role/${RoleName}.
   • PUBSUB_SERVICE_ACCOUNT: il account di servizio che hai creato in Crea un account di servizio in Google Cloud.

Quote e limiti

Il throughput del publisher per gli argomenti di importazione è vincolato alla quota di pubblicazione dell'argomento. Per maggiori informazioni, consulta Quote e limiti di Pub/Sub.

Passaggi successivi

• Monitorare un argomento di importazione.

• Scegli il tipo di abbonamento per l'argomento.

• Scopri come pubblicare un messaggio in un argomento.

• Crea o modifica un argomento con gcloud CLI, API REST o librerie client.

• Risolvere i problemi relativi a un argomento di importazione Amazon MSK

Apache Kafka® è un marchio registrato di Apache Software Foundation o delle sue affiliate negli Stati Uniti e/o in altri paesi.