Trasmetti le modifiche a Pub/Sub utilizzando l'attivatore facoltativo della funzione Cloud Run

Crea un argomento Pub/Sub

1. Nella console Cloud de Confiance , vai alla pagina Argomenti di Pub/Sub.

   Vai ad Argomenti

2. Fai clic su Crea argomento.

3. Imposta l'ID su bigtable-change-stream-topic.

4. Seleziona Utilizza uno schema.

5. Nel menu a discesa Seleziona uno schema Pub/Sub, fai clic su Crea nuovo schema. Si apre una nuova scheda in cui definisci lo schema.

   1. Imposta l'ID schema su bigtable-change-stream-schema.
   2. Imposta il tipo di schema su Avro.
   3. Incolla il seguente codice come definizione dello schema. Per saperne di più sullo schema, consulta la pagina della documentazione del modello.

     {
         "name" : "ChangelogEntryMessage",
         "type" : "record",
         "namespace" : "com.google.cloud.teleport.bigtable",
         "fields" : [
           { "name" : "rowKey", "type" : "bytes"},
           {
             "name" : "modType",
             "type" : {
               "name": "ModType",
               "type": "enum",
               "symbols": ["SET_CELL", "DELETE_FAMILY", "DELETE_CELLS", "UNKNOWN"]}
           },
           { "name": "isGC", "type": "boolean" },
           { "name": "tieBreaker", "type": "int"},
           { "name": "columnFamily", "type": "string"},
           { "name": "commitTimestamp", "type" : "long"},
           { "name" : "sourceInstance", "type" : "string"},
           { "name" : "sourceCluster", "type" : "string"},
           { "name" : "sourceTable", "type" : "string"},
           { "name": "column", "type" : ["null", "bytes"]},
           { "name": "timestamp", "type" : ["null", "long"]},
           { "name": "timestampFrom", "type" : ["null", "long"]},
           { "name": "timestampTo", "type" : ["null", "long"]},
           { "name" : "value", "type" : ["null", "bytes"]}
       ]
     }
   

   1. Fai clic su Crea per creare lo schema.

6. Chiudi la scheda Crea schema, aggiorna l'elenco degli schemi e seleziona lo schema che hai appena definito.

7. Fai clic su Crea per creare l'argomento.

(Facoltativo) Crea una funzione Cloud Run

Potresti voler elaborare lo stream Pub/Sub con una funzione Cloud Run.

1. Nella pagina Dettagli dell'argomento bigtable-change-stream-topic, fai clic su Attiva funzione Cloud .
2. Nel campo Nome funzione, inserisci il nome bt-ps-tutorial-function.
3. Nella sezione Codice sorgente, fai clic sul menu a discesa Runtime, poi seleziona il runtime e il linguaggio di programmazione che preferisci. Viene generato un hello world che stampa il flusso di modifiche man mano che viene ricevuto. Per saperne di più sulla scrittura di funzioni Cloud Run, consulta la documentazione.
4. Utilizza i valori predefiniti per tutti gli altri campi.
5. Fai clic su Esegui il deployment della funzione.

Crea una tabella con un flusso di modifiche abilitato

1. Nella console Cloud de Confiance , vai alla pagina Bigtable Istanze.

   Vai a Istanze

2. Fai clic sull'ID dell'istanza che stai utilizzando per questo tutorial.

   Se non hai un'istanza disponibile, creane una con le configurazioni predefinite in una regione vicina.

3. Nel riquadro di navigazione a sinistra, fai clic su Tabelle.

4. Fai clic su Crea una tabella.

5. Assegna un nome alla tabella change-streams-pubsub-tutorial.

6. Aggiungi una famiglia di colonne denominata cf.

7. Seleziona Abilita flusso di modifiche.

8. Fai clic su Crea.

Inizializza una pipeline dei dati per acquisire il flusso di modifiche

1. Nella pagina Tabelle di Bigtable, trova la tua tabella change-streams-pubsub-tutorial.
2. Nella colonna Change stream (Stream di modifiche), fai clic su Connetti.
3. Nella finestra di dialogo, seleziona Pub/Sub.
4. Fai clic su Crea job Dataflow.
5. Nella pagina Crea job di Dataflow, imposta il nome del topic Pub/Sub di output su: bigtable-change-stream-topic.
6. Imposta l'ID profilo dell'applicazione Bigtable su default.
7. Fai clic su Esegui job.
8. Attendi che lo stato del job sia Avvio o In esecuzione prima di procedere. Una volta messo in coda, il job richiede circa 5 minuti.

Scrivi alcuni dati in Bigtable

1. In Cloud Shell, scrivi alcune righe in Bigtable in modo che il log delle modifiche possa scrivere alcuni dati nel flusso Pub/Sub. Se scrivi i dati dopo la creazione del job, le modifiche vengono visualizzate. Non devi attendere che lo stato del job diventi running.

   cbt -instance=BIGTABLE_INSTANCE_ID -project=YOUR_PROJECT_ID \
       set change-streams-pubsub-tutorial user123 cf:col1=abc
   cbt -instance=BIGTABLE_INSTANCE_ID -project=YOUR_PROJECT_ID \
       set change-streams-pubsub-tutorial user546 cf:col1=def
   cbt -instance=BIGTABLE_INSTANCE_ID -project=YOUR_PROJECT_ID \
       set change-streams-pubsub-tutorial user789 cf:col1=ghi
   

Visualizzare i log delle modifiche in Pub/Sub

1. Nella console Cloud de Confiance , vai alla pagina Sottoscrizioni di Pub/Sub.

   Vai ad Abbonamenti

2. Fai clic sulla sottoscrizione creata automaticamente per l'argomento bigtable-change-stream-topic. Dovrebbe essere denominato bigtable-change-stream-topic-sub.

3. Vai alla scheda Messaggi.

4. Fai clic su Pull.

5. Esplora l'elenco dei messaggi e visualizza i dati che hai scritto.

   

(Facoltativo) Visualizza le modifiche nei log di Cloud Run Functions

Se hai creato una funzione Cloud Run Functions, puoi visualizzare le modifiche nei log.

1. Nella console Cloud de Confiance , vai a Cloud Run Functions.

   Vai alle funzioni Cloud Run

2. Fai clic sulla tua funzione bt-ps-tutorial-function.

3. Vai alla scheda Log.

4. Assicurati che Gravità sia impostato almeno su Info per poter visualizzare i log.

5. Esplora i log e visualizza i dati che hai scritto.

L'output è simile al seguente:

Pub/Sub message: {"rowKey":"user789","modType":"SET_CELL","isGC":false,"tieBreaker":0,"columnFamily":"cf","commitTimestamp":1695653833064548,"sourceInstance":"YOUR-INSTANCE","sourceCluster":"YOUR-INSTANCE-c1","sourceTable":"change-streams-pubsub-tutorial","column":{"bytes":"col1"},"timestamp":{"long":1695653832278000},"timestampFrom":null,"timestampTo":null,"value":{"bytes":"ghi"}}