代管評量表指標的詳細資料

本頁提供 Gen AI Evaluation Service 提供的完整受管理評分量表指標清單，您可以在 Agent Platform SDK 的生成式 AI 用戶端中使用這些指標。

如要進一步瞭解以測試為導向的評估方式，請參閱「定義評估指標」。

總覽

Gen AI Evaluation Service 提供一系列以評分標準為依據的受管理指標，適用於測試導向的評估架構：

• 對於採用適應性評分標準的指標，大多數都包含每個提示的評分標準生成工作流程和評分標準驗證。如有需要，可以分別執行。詳情請參閱「執行評估」。

• 如果指標使用靜態評分量表，系統不會為每個提示生成評分量表。如要瞭解預期輸出內容的詳細資料，請參閱「指標詳細資料」。

每個以評量表為準的受管理指標都有版本號碼。根據預設，指標會使用最新版本，但您也可以視需要固定使用特定版本：

from vertexai import types

text_quality_metric = types.RubricMetric.TEXT_QUALITY
general_quality_v1 = types.RubricMetric.GENERAL_QUALITY(version='v1')

模型版本和區域供應情形

大多數受管理指標的最新版本 (例如 general_quality_v2、instruction_following_v2、safety_v3 和 final_response_match_v3) 都使用 Gemini 3.5 Flash 做為評估模型。生成評分量表的代理程式指標 (例如 final_response_quality_v2 和 tool_use_quality_v2) 也會使用 Gemini 3.1 Pro 生成評分量表。先前的版本使用 Gemini 2.5 Flash 和 Gemini 2.5 Pro。每個指標的舊版和 LLM 呼叫都會列在「指標詳細資料」中。

最新版本僅適用於Gemini 3.5 Flash 適用的地區。如果您在 Gemini 3.5 Flash 無法使用的位置執行評估，請將指標固定至先前的版本，如上例所示。

回溯相容性

對於以指標提示範本形式提供的指標，您仍可透過相同方法，在 Agent Platform SDK 中透過 GenAI 用戶端存取逐點指標。Agent Platform SDK 中的 GenAI 用戶端不支援成對指標，但請參閱「執行評估」一文，瞭解如何比較同一評估中的兩個模型。

from vertexai import types

# Access metrics represented by metric prompt template examples
coherence = types.RubricMetric.COHERENCE
fluency = types.RubricMetric.FLUENCY

受管理指標詳細資料

本節列出代管指標，並提供詳細資料，例如指標類型、必要輸入內容和預期輸出內容：

• 一般品質
• 文字品質
• 指令遵循情形
• 建立基準
• 安全功能
• 多輪對話一般品質
• 多輪對話文字品質
• 服務專員最終回覆相符
• 服務專員最終回覆參考資料 (免費)
• 服務專員最終回覆品質
• 代理幻覺
• 代理工具使用品質
• 代理程式多輪對話工作成效
• 代理在多輪對話使用工具的品質
• 代理多輪對話軌跡品質
• Gecko 文字轉圖像品質
• Gecko 文字轉影片品質

一般品質

內容品質

指令遵循情形

建立基準

[
  {
    "sentence": "string",
    "label": "supported | unsupported | contradictory | no_rad",
    "rationale": "string",
    "excerpt": "string or null"
  }
]

安全性

多輪對話一般品質

多輪對話文字品質

代理最終回覆相符

代理最終回覆不含參考資料

代理最終回覆品質

代理幻覺

[
  {
    "response": "string",
    "score": "double",
    "explanation": [
      {
        "sentence": "string",
        "label": "supported | unsupported | contradictory | disputed | no_rad",
        "rationale": "string",
        "supporting_excerpt": "string or null",
        "contradicting_excerpt": "string or null"
      }
    ]
  }
]

代理工具使用品質

代理多輪對話工作成效

代理多輪對話工具使用品質

代理多輪對話軌跡品質

Gecko 文字轉圖像品質

Gecko 文字轉影片品質

後續步驟

• 準備評估資料集。