Membuat topik dengan SMT

Konsol

1. Di Cloud de Confiance konsol, buka halaman Topics Pub/Sub.

   Buka Topik

2. Klik Create topic.

3. Di kolom Topic ID, masukkan ID untuk topik Anda. Untuk mengetahui informasi selengkapnya tentang penamaan topik, lihat panduan penamaan.

4. Di bagian Transforms, klik Add a transform.

5. Pilih Transform type. Untuk mengetahui informasi selengkapnya tentang jenis SMT yang didukung, lihat Jenis SMT.

6. Tetapkan properti konfigurasi untuk SMT. Kumpulan properti bergantung pada jenis SMT. Untuk mengetahui informasi selengkapnya, lihat dokumentasi untuk jenis SMT tersebut.

7. Opsional. Untuk memvalidasi SMT, klik Validate. Jika SMT valid, pesan "Validation passed" akan ditampilkan. Jika tidak, pesan error akan ditampilkan.

8. Untuk menambahkan transformasi lain, klik Add a transform dan ulangi langkah-langkah sebelumnya.

   Untuk mengatur SMT dalam urutan tertentu, klik arrow_upwardMove up atau arrow_downwardMove down. Untuk menghapus an SMT, klik delete Delete.

9. Opsional. Untuk menguji SMT pada pesan contoh, lakukan langkah-langkah berikut:

   1. Klik Test transforms.

   2. Di jendela Test transform, pilih fungsi yang ingin Anda uji.

   3. Di jendela Input message, masukkan pesan contoh.

   4. Untuk menambahkan atribut ke pesan, klik Add an attribute , lalu masukkan kunci dan nilai atribut. Anda dapat menambahkan beberapa atribut.

   5. Klik Test. Hasil penerapan SMT pada pesan akan ditampilkan di bagian Output message.

   6. Untuk menutup jendela Test transforms, klik close Close.

   Jika membuat lebih dari satu SMT, Anda dapat menguji seluruh urutan transformasi sebagai berikut:

   1. Uji SMT pertama dalam urutan, seperti yang dijelaskan dalam langkah-langkah sebelumnya.
   2. Pilih SMT berikutnya. Pesan input akan diisi otomatis dengan pesan output dari pengujian sebelumnya.
   3. Lanjutkan pengujian SMT secara berurutan, untuk memastikan seluruh urutan berfungsi seperti yang diharapkan.

10. Untuk membuat topik, klik Create.

gcloud

1. Di konsol, aktifkan Cloud Shell. Cloud de Confiance

   Aktifkan Cloud Shell

   Di bagian bawah konsol Cloud de Confiance , sesi Cloud Shell akan dimulai dan menampilkan prompt command line. Cloud Shell adalah lingkungan shell dengan Google Cloud CLI yang sudah terinstal, dan dengan nilai yang sudah ditetapkan untuk project Anda saat ini. Diperlukan waktu beberapa detik untuk melakukan inisialisasi pada sesi.

2. Buat file YAML atau JSON yang menentukan satu atau beberapa SMT. Definisi YAML atau JSON bergantung pada jenis SMT. Untuk mengetahui informasi selengkapnya, lihat Jenis SMT.

   Jika file menyertakan lebih dari satu SMT, Pub/Sub akan mengeksekusinya dalam urutan yang tercantum.

3. Opsional. Untuk memvalidasi SMT, jalankan gcloud pubsub message-transforms validate perintah:

   gcloud pubsub message-transforms validate \
     --message-transform-file=TRANSFORM_FILE
   

   Ganti kode berikut:

   • TRANSFORM_FILE: Jalur ke file YAML atau JSON yang menentukan satu SMT. Jika membuat beberapa SMT, Anda harus memvalidasinya satu per satu.

4. Opsional. Untuk menguji satu atau beberapa SMT pada pesan Pub/Sub contoh, jalankan perintah gcloud pubsub message-transforms test:

   gcloud pubsub message-transforms test \
     --message-transforms-file=TRANSFORMS_FILE \
     --message=MESSAGE \
     --attribute=ATTRIBUTES
   

   Ganti kode berikut:

   • TRANSFORMS_FILE: Jalur ke file YAML atau JSON yang menentukan satu atau beberapa SMT.
   • MESSAGE: Isi pesan contoh.
   • ATTRIBUTES: Opsional. Daftar atribut pesan yang dipisahkan koma. Setiap atribut adalah pasangan nilai kunci yang diformat sebagai KEY="VALUE".

   Perintah ini mengeksekusi SMT secara berurutan, menggunakan output dari setiap SMT sebagai input ke SMT berikutnya. Perintah ini menampilkan hasil setiap langkah.

5. Untuk membuat topik, jalankan gcloud pubsub topics create perintah:

   gcloud pubsub topics create TOPIC_ID \
     --message-transforms-file=TRANSFORMS_FILE
   

   Ganti kode berikut:

   • TOPIC_ID: ID atau nama topik yang ingin Anda buat. Untuk mengetahui panduan tentang cara memberi nama topik, lihat Nama resource. Nama topik tidak dapat diubah.
   • TRANSFORMS_FILE: Jalur ke file YAML atau JSON yang menentukan satu atau beberapa SMT.

Java

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai: Menggunakan Library Klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Pub/Sub Java API.

import com.google.api.gax.rpc.AlreadyExistsException;
import com.google.cloud.pubsub.v1.TopicAdminClient;
import com.google.pubsub.v1.JavaScriptUDF;
import com.google.pubsub.v1.MessageTransform;
import com.google.pubsub.v1.Topic;
import com.google.pubsub.v1.TopicName;
import java.io.IOException;

public class CreateTopicWithSmtExample {

  public static void main(String... args) throws Exception {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "your-project-id";
    String topicId = "your-topic-id";

    createTopicWithSmtExample(projectId, topicId);
  }

  public static void createTopicWithSmtExample(String projectId, String topicId)
      throws IOException {
    TopicName topicName = TopicName.of(projectId, topicId);

    // UDF that removes the 'ssn' field, if present
    String code =
        "function redactSSN(message, metadata) {"
            + "  const data = JSON.parse(message.data);"
            + "  delete data['ssn'];"
            + "  message.data = JSON.stringify(data);"
            + "  return message;"
            + "}";
    String functionName = "redactSSN";

    JavaScriptUDF udf =
        JavaScriptUDF.newBuilder().setCode(code).setFunctionName(functionName).build();
    MessageTransform transform = MessageTransform.newBuilder().setJavascriptUdf(udf).build();
    try (TopicAdminClient topicAdminClient = TopicAdminClient.create()) {

      Topic topic =
          topicAdminClient.createTopic(
              Topic.newBuilder()
                  .setName(topicName.toString())
                  // Add the UDF message transform
                  .addMessageTransforms(transform)
                  .build());

      System.out.println("Created topic with SMT: " + topic.getName());
    } catch (AlreadyExistsException e) {
      System.out.println(topicName + "already exists.");
    }
  }
}

Python

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di Panduan memulai: Menggunakan Library Klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Pub/Sub Python API.

from google.cloud import pubsub_v1
from google.pubsub_v1.types import JavaScriptUDF, MessageTransform, Topic

# TODO(developer)
# project_id = "your-project-id"
# topic_id = "your-topic-id"

code = """function redactSSN(message, metadata) {
            const data = JSON.parse(message.data);
            delete data['ssn'];
            message.data = JSON.stringify(data);
            return message;
            }"""
udf = JavaScriptUDF(code=code, function_name="redactSSN")
transforms = [MessageTransform(javascript_udf=udf)]

publisher = pubsub_v1.PublisherClient()
topic_path = publisher.topic_path(project_id, topic_id)

request = Topic(name=topic_path, message_transforms=transforms)

topic = publisher.create_topic(request=request)

print(f"Created topic: {topic.name} with SMT")

Go

Contoh berikut menggunakan library klien Pub/Sub Go versi utama (v2). Jika Anda masih menggunakan library v1, lihat panduan migrasi ke v2. Untuk melihat daftar contoh kode v1, lihat contoh kode yang tidak digunakan lagi.

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Go di Panduan memulai: Menggunakan Library Klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Pub/Sub Go API.

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/pubsub/v2"
	"cloud.google.com/go/pubsub/v2/apiv1/pubsubpb"
)

// createTopicWithSMT creates a topic with a single message transform function applied.
func createTopicWithSMT(w io.Writer, projectID, topicID string) error {
	// projectID := "my-project-id"
	// topicID := "my-topic"
	ctx := context.Background()
	client, err := pubsub.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("pubsub.NewClient: %w", err)
	}
	defer client.Close()

	code := `function redactSSN(message, metadata) {
			const data = JSON.parse(message.data);
			delete data['ssn'];
			message.data = JSON.stringify(data);
			return message;
		}`
	transform := &pubsubpb.MessageTransform{
		Transform: &pubsubpb.MessageTransform_JavascriptUdf{
			JavascriptUdf: &pubsubpb.JavaScriptUDF{
				FunctionName: "redactSSN",
				Code:         code,
			},
		},
	}

	topic := &pubsubpb.Topic{
		Name:              fmt.Sprintf("projects/%s/topics/%s", projectID, topicID),
		MessageTransforms: []*pubsubpb.MessageTransform{transform},
	}

	topic, err = client.TopicAdminClient.CreateTopic(ctx, topic)
	if err != nil {
		return fmt.Errorf("CreateTopic: %w", err)
	}

	fmt.Fprintf(w, "Created topic with message transform: %v\n", topic)
	return nil
}