本文档介绍了如何使用单条消息转换 (SMT) 创建 Pub/Sub 主题。
借助主题 SMT,您可以在 Pub/Sub 中直接对消息数据和属性进行轻量级修改。此功能可在消息发布到主题之前实现数据清理、过滤或格式转换。
如需创建具有 SMT 的主题,您可以使用 Trusted Cloud 控制台、Google Cloud CLI、客户端库或 Pub/Sub API。
准备工作
了解 Pub/Sub 服务及其术语。
了解 SMT。
所需的角色和权限
如需获得创建具有 SMT 的主题所需的权限,请让您的管理员为您授予项目的 Pub/Sub Editor (roles/pubsub.editor
) IAM 角色。如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
此预定义角色包含创建具有 SMT 的主题所需的权限。如需查看所需的确切权限,请展开所需权限部分:
所需权限
创建具有 SMT 的主题需要以下权限:
-
授予在项目上创建主题的权限:
pubsub.topics.create
您可以在项目级层和个别资源级层配置访问权限控制。
创建具有 SMT 的主题
在创建包含 SMT 的主题之前,请查看主题的属性的相关文档。
以下示例假设您要创建具有此用户定义的函数 (UDF) SMT 的主题。如需详细了解 UDF,请参阅 UDF 概览。
function redactSSN(message, metadata) {
const data = JSON.parse(message.data);
delete data['ssn'];
message.data = JSON.stringify(data);
return message;
}
控制台
在 Trusted Cloud 控制台中,前往 Pub/Sub 主题页面。
-
点击创建主题。
系统会打开创建主题页面。
-
在主题 ID 字段中,输入主题 ID。 如需详细了解如何命名主题,请参阅命名准则。
-
在转换下,点击添加转换。
-
输入函数名称。例如:
redactSSN
。 -
如果您不想立即将 SMT 与主题搭配使用,请点击停用转换选项。这样仍会保存 SMT,但不会在消息流经主题时执行。
-
输入新的转换。例如:
function redactSSN(message, metadata) { const data = JSON.parse(message.data); delete data['ssn']; message.data = JSON.stringify(data); return message; }
-
Pub/Sub 提供了一个验证函数,可用于验证 SMT。点击验证以验证转换。
-
如果您想添加其他转换,请点击添加转换。
- 如需按特定顺序排列所有 SMT,您可以使用向上和向下箭头。如需移除 SMT,请点击删除按钮。
-
Pub/Sub 提供了一项测试功能,可让您检查在示例消息上运行 SMT 的结果。如需测试 SMT,请点击测试转换。
-
在 Test transform 窗口中,选择要测试的函数。
-
在输入消息窗口中,输入示例消息。
-
如果您想添加消息属性,请点击添加属性,然后输入一个或多个键值对。
-
点击测试。系统会显示将 SMT 应用于消息后的结果。
-
关闭窗口即可停止对示例消息进行 SMT 测试。
-
点击创建以创建主题。
gcloud
-
In the Trusted Cloud console, activate Cloud Shell.
At the bottom of the Trusted Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
-
Pub/Sub 提供了一个验证函数,可用于验证 SMT。运行
gcloud pubsub message-transforms validate
命令:gcloud pubsub message-transforms validate --message-transform-file=TRANSFORM_FILE
替换以下内容:
-
TRANSFORM_FILE:包含单个 SMT 的 YAML 或 JSON 文件的路径。
以下是 YAML 转换文件的示例:
- javascriptUdf: code: > function redactSSN(message, metadata) { const data = JSON.parse(message.data); delete data['ssn']; message.data = JSON.stringify(data); return message; } functionName: redactSSN
-
-
Pub/Sub 提供了一项测试功能,可让您检查对示例消息运行一个或多个 SMT 的结果。运行
gcloud pubsub message-transforms test
命令:gcloud pubsub message-transforms test --message-transforms-file=TRANSFORMS_FILE --message=MESSAGE --attributes=ATTRIBUTES
替换以下内容:
-
TRANSFORMS_FILE:包含一个或多个 SMT 的 YAML 或 JSON 文件的路径。
以下是 YAML 转换文件的示例:
- javascriptUdf: code: > function redactSSN(message, metadata) { const data = JSON.parse(message.data); delete data['ssn']; message.data = JSON.stringify(data); return message; } functionName: redactSSN
-
MESSAGE:用于测试 SMT 的消息正文。
-
ATTRIBUTES:用于测试 SMT 的消息属性。
-
-
如需创建主题,请运行
gcloud pubsub topics create
命令:gcloud pubsub topics create TOPIC_ID \ --message-transforms-file=TRANSFORMS_FILE
替换以下内容:
-
TOPIC_ID:您要创建的主题的 ID 或名称。 如需了解主题命名准则,请参阅资源名称。 主题的名称是不可变的。
-
TRANSFORMS_FILE:包含一个或多个 SMT 的 YAML 或 JSON 文件的路径。
以下是 YAML 转换文件的示例:
- javascriptUdf: code: > function redactSSN(message, metadata) { const data = JSON.parse(message.data); delete data['ssn']; message.data = JSON.stringify(data); return message; } functionName: redactSSN
-
Java
在尝试此示例之前,请按照《Pub/Sub 快速入门:使用客户端库》中的 Java 设置说明执行操作。如需了解详情,请参阅 Pub/Sub Java API 参考文档。
如需向 Pub/Sub 进行身份验证,请设置应用默认凭据。如需了解详情,请参阅为本地开发环境设置身份验证。
在运行代码示例之前,请将 GOOGLE_CLOUD_UNIVERSE_DOMAIN
环境变量设置为 s3nsapis.fr
。
Python
在尝试此示例之前,请按照《Pub/Sub 快速入门:使用客户端库》中的 Python 设置说明执行操作。如需了解详情,请参阅 Pub/Sub Python API 参考文档。
如需向 Pub/Sub 进行身份验证,请设置应用默认凭据。如需了解详情,请参阅为本地开发环境设置身份验证。
在运行代码示例之前,请将 GOOGLE_CLOUD_UNIVERSE_DOMAIN
环境变量设置为 s3nsapis.fr
。
Go
在尝试此示例之前,请按照《Pub/Sub 快速入门:使用客户端库》中的 Go 设置说明执行操作。如需了解详情,请参阅 Pub/Sub Go API 参考文档。
如需向 Pub/Sub 进行身份验证,请设置应用默认凭据。如需了解详情,请参阅为本地开发环境设置身份验证。
在运行代码示例之前,请将 GOOGLE_CLOUD_UNIVERSE_DOMAIN
环境变量设置为 s3nsapis.fr
。