监控语义治理政策

每当语义治理政策引擎检查代理请求时，它都会自动收集和处理运营指标。您可以使用这些指标来观察有多少代理请求受到治理、政策产生了哪些判决、政策评估消耗了多少 LLM 推理，以及执行流水线的端到端表现如何。

准备工作

在政策引擎运行的项目中启用 Cloud Monitoring API (monitoring.googleapis.com)。如需了解详情，请参阅 启用 API。

概览

语义治理政策引擎会自动将指标导出到 Cloud Monitoring。数据点在两个层级发出：

  • 请求层 ：政策引擎检查的每个代理请求。 报告为 semantic_governance/request_*。
  • 评估层 ：政策引擎对检查的流量执行的每个语义政策评估。单个评估可能会在内部考虑多个附加政策，但只会计为一次。报告为 semantic_governance/evaluation_*。

支持的内置指标

所有指标都与语义治理政策引擎 受监控的资源 aiplatform.googleapis.com/SemanticGovernancePolicyEngine 相关联，并由以下资源标签标识：

  • resource_container：使用方项目编号。
  • location：政策引擎运行的区域，例如 us-central1。
指标 种类 单位 衡量的数据
aiplatform.googleapis.com/semantic_governance/request_count DELTA INT64 1{request} 政策引擎在该区域检查的代理请求数。request_type 标签用于区分 LLM 调用、工具调用和其他流量。
aiplatform.googleapis.com/semantic_governance/request_latencies DELTA DISTRIBUTION s 政策引擎为每个检查的请求添加的端到端实际延迟时间分布。
aiplatform.googleapis.com/semantic_governance/evaluation_count DELTA INT64 1{evaluation} 政策引擎执行的语义政策评估数。系统会针对每个检查的模型响应计数一次评估，无论考虑了多少附加政策。
aiplatform.googleapis.com/semantic_governance/evaluation_latencies DELTA DISTRIBUTION s 每个政策引擎评估的延迟时间分布。
aiplatform.googleapis.com/semantic_governance/evaluation_token_count DELTA INT64 1{token} 政策引擎评估消耗的 LLM token 数。

每个指标的标签

每个指标都带有用于切片的其他标签：

指标 标签 值
request_count method HTTP 方法，例如 "POST"、"GET"。
status_code HTTP 状态代码，例如 "200"。
status 语义评估结果，例如 "OK"、"MODEL_ERROR"、"EVALUATION_ERROR"、"INTERNAL_ERROR"。
request_type 拦截的出站流量类型，例如 "LLM"、"TOOL"、"OTHER"、"UNKNOWN"。
request_latencies method、status、request_type 与 request_count 相同。
evaluation_count final_verdict 引擎返回的判决："ALLOW" 或 "DENY"。
evaluation_latencies final_verdict 与 evaluation_count 相同。
evaluation_token_count category 使用的 token 类型，例如 "INPUT"、"OUTPUT"、"THINKING"。

每个指标都有通用的每个资源标签（resource_container、location）。

查看指标

您可以在 Cloud de Confiance 控制台 中使用 Metrics Explorer 查看内置政策引擎指标：

  1. 如需获得在 Metrics Explorer 中查看指标的权限，请让您的 管理员为您授予项目的 Monitoring Viewer 角色 (roles/monitoring.viewer)。

  2. 在 Cloud de Confiance 控制台中前往 Metrics Explorer：

    转到 Metrics Explorer

  3. 选择您的 Cloud de Confiance by S3NS 项目。

  4. 点击选择一个指标 以打开搜索栏。

  5. 在搜索栏中输入 Semantic Governance Policy Engine ，然后点击该资源。

  6. 点击 semantic_governance 指标类别，然后点击一个指标，例如评估计数 。

  7. 您可以选择按标签（例如 final_verdict = DENY）过滤、跨标签汇总以及调整时间范围。

通过 API 查询指标

您还可以使用 Cloud Monitoring v3 API 或 Prometheus 查询语言 (PromQL) 查询指标。

列出可用的指标定义

gcurl "https://monitoring.googleapis.com/v3/projects/PROJECT_ID/metricDescriptors?filter=metric.type=starts_with(%22aiplatform.googleapis.com/semantic_governance%22)"

响应应包含 上文表格中列出的五个指标的定义。

查询某个区域的 DENY 率

以下 PromQL 查询会返回一个区域在 5 分钟滚动窗口内导致 DENY 的政策评估所占的比例：

sum(
  rate(
    aiplatform_googleapis_com:semantic_governance_evaluation_count{
      monitored_resource='aiplatform.googleapis.com/SemanticGovernancePolicyEngine',
      location='REGION',
      final_verdict='DENY'
    }
    [5m]
  )
)
/
sum(
  rate(
    aiplatform_googleapis_com:semantic_governance_evaluation_count{
      monitored_resource='aiplatform.googleapis.com/SemanticGovernancePolicyEngine',
      location='REGION'
    }
    [5m]
  )
)

如需了解如何处理没有流量的窗口上的除以零错误，以及其他 比率指标最佳实践，请参阅 关于指标比率。

创建提醒

您可以在提醒政策中使用任何这些指标。常见示例：

  • 升高 MODEL_ERROR 率：当 样本中 request_count status = MODEL_ERROR 超过阈值 在滚动窗口内时发出提醒。
  • 延迟时间 SLO 违规：当 evaluation_latencies 的第 99 个百分位数值在指定时长内超过目标延迟时间时发出提醒。
  • 意外的 DENY 峰值：当 DENY 率（请参阅前面的 PromQL 示例）超过阈值时发出提醒，这表示可能存在政策 配置错误或流量模式发生变化。

如需了解有关针对任何这些指标构建阈值提醒的分步说明，请参阅在 Gemini Enterprise Agent Platform 上为 Agent Runtime 设置监控中的提醒示例。这些说明保持不变；如果示例使用 Gemini Enterprise Agent Platform 指标上的 Agent Runtime，请将其替换为政策引擎受监控的资源和前面的其中一个指标。

另请参阅 提醒概览，了解 Cloud Monitoring 的一般提醒概念，以及 JSON 格式的政策示例，了解更多示例提醒政策。