通过在线监控器进行持续评估

通过在线监控，您可以持续评估生产环境中智能体的质量。这种主动方法可帮助您识别质量偏移，即由于用户行为或外部数据发生变化，智能体的性能随时间推移而出现明显下降。通过配置在线监控器，您可以使用预定义指标和自定义指标对实时跟踪记录进行异步评分，从而确保智能体始终可靠并符合您的性能标准。

准备工作

如需为代理启用在线监控，请确保满足以下要求：

  • 按照部署智能体中的说明部署智能体。
  • 确保为您的项目启用了 Cloud Trace。
  • （可选）如果您打算以编程方式创建监控器，请参阅评估智能体页面，了解 Agent Platform SDK 初始化说明。

遥测要求

在线监控需要您的智能体导出特定的 OpenTelemetry 信号，以便为评估提供必要的上下文：

  1. 调用智能体 span：必须包含以下属性：

    • gen_ai.agent.name：智能体的标识符。
    • gen_ai.agent.description：对代理用途的简要说明。
    • gen_ai.conversation.id：特定对话会话的唯一标识符。

  2. 推理事件：gen_ai.client.inference.operation.details 事件必须捕获：

    • gen_ai.input.messages：发送给智能体的提示。
    • gen_ai.output.messages：智能体生成的回答。
    • gen_ai.system_instructions：底层系统提示。
    • gen_ai.tool.definitions：关于智能体可用的任何工具的元数据。

如果您使用的是智能体开发套件，则必须通过设置以下环境变量来启用这些遥测功能：

OTEL_SEMCONV_STABILITY_OPT_IN='gen_ai_latest_experimental'
OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT='EVENT_ONLY'

Cloud Storage 中的录制媒体

如果您的智能体使用多模态数据（例如图片或大型文档），我们建议您将输入和输出记录在 Cloud Storage 存储桶中，而不是直接嵌入到跟踪 span 中。配置以下环境变量以启用此功能：

OTEL_INSTRUMENTATION_GENAI_UPLOAD_FORMAT='jsonl'
OTEL_INSTRUMENTATION_GENAI_COMPLETION_HOOK='upload'
OTEL_INSTRUMENTATION_GENAI_UPLOAD_BASE_PATH='gs://STORAGE_BUCKET_NAME/PATH'

如需了解详情，请参阅收集多模态提示词和回答。

在线监控器的工作原理

在线监控器按预定的评估循环运行，通常每 10 分钟运行一次。 该循环遵循以下步骤：

  1. 查询：根据您的过滤条件从 Cloud Trace 和 Cloud Logging 中对数据进行采样。
  2. 评估：使用 Gemini Enterprise Agent Platform 评估服务运行配置的指标。
  3. 报告：将结果写回 Cloud Logging，并将数字分数导出到 Cloud Monitoring。

创建在线监控器

  1. 在 Cloud de Confiance 控制台中，前往 Agent Platform > 智能体 > 评估页面。

    前往“评估”

  2. 选择在线监控器标签页，然后点击新建监控器。

  3. 指定过滤跟踪记录：

    • 智能体引擎：从下拉菜单中选择要监控的智能体。
    • 过滤条件：选择是评估代理的所有跟踪记录，还是应用特定的过滤条件。

  4. 定义过滤条件（如果使用经过滤的跟踪记录）：

    • 初始检查：选择一个时间范围（例如过去 1 天），以预览过滤条件匹配的生产跟踪记录。
    • 过滤条件：输入条件以定位到特定流量。您可以按 Duration（例如 Duration > 2）或 Token usage 等属性进行过滤。

  5. 配置指标：添加您要持续跟踪的指标，例如安全性。

  6. 设置采样：

    • 抽样百分比：定义应评估的实时流量百分比。
    • 每次运行的样本数上限：设置上限以管理评估费用。

  7. 点击创建。

管理监控器

创建监控器后，您可以通过在线监控器列表对其进行管理：

  • 状态切换开关：点击更多选项 ，然后选择启用或停用，即可在不删除配置的情况下暂停评估。
  • 暂停和继续：使用更多选项 暂时停止评估。
  • 复制：使用现有监控器的预填充设置创建新监控器。
  • 查看跟踪记录：点击监控器的抽样跟踪记录列中的查看跟踪记录链接，直接前往代理的跟踪记录标签页中经过滤的跟踪记录。

在可观测性信息中心内查看结果

如需查看评估指标以及其他效果信号，请执行以下操作：

  1. 在 Cloud de Confiance 控制台中，前往 Agent Platform > 智能体页面。
  2. 在左侧导航菜单中，选择部署。

  3. 选择您的代理。

    转到部署

  4. 在信息中心视图中，选择评估子部分，以查看已配置指标（例如回答质量、安全性和幻觉率）的时序图表。

查看各个跟踪记录的结果

您还可以直接在跟踪记录视图中检查特定对话的评估结果：

  1. 在 Cloud de Confiance 控制台中，前往智能体的跟踪记录标签页。
  2. 从表格中选择一个会话或跟踪记录，以打开详细信息面板。
  3. 选择评估标签页，查看该特定互动的得分和理由。

排查在线监控器问题

如果您的在线监控功能处于启用状态，但信息中心内未显示任何结果，请执行以下操作：

  1. 验证遥测：确保您的代理正确导出所需的 OpenTelemetry span 和事件。检查 Cloud Trace，查看实时跟踪记录是否包含 gen_ai. 属性。
  2. 检查过滤条件：检查监控器的过滤条件。使用初始检查功能确认过滤器与生产流量匹配。

  3. 检查内部日志：在线监控器会将诊断信息写入 Cloud Logging。如果评估失败，系统会生成错误日志。您可以在 Logs Explorer 中搜索监控 ID 或特定跟踪记录和代理，找到这些日志：

    resource.labels.online_evaluator="projects/YOUR_PROJECT_ID/locations/YOUR_REGION/onlineEvaluators/YOUR_MONITOR_ID"
# Or search by trace or agent
labels.trace="YOUR_TRACE_ID"
labels.reasoning_engine_id="YOUR_AGENT_ID"