マネージド ルーブリック ベースの指標の詳細

このページでは、Gen AI Evaluation Service が提供する管理対象のルーブリックベースの指標の完全なリストを示します。この指標は、Agent Platform SDK の GenAI クライアントで使用できます。

テスト駆動型の評価の詳細については、評価指標を定義するをご覧ください。

概要

Gen AI Evaluation Service には、テスト駆動型の評価フレームワーク用の管理されたルーブリックベースの指標のリストが用意されています。

• 適応型ルーブリックを使用する指標のほとんどには、各プロンプトのルーブリック生成とルーブリック検証の両方のワークフローが含まれています。必要に応じて、個別に実行できます。詳細については、評価を実行するをご覧ください。

• 静的ルーブリックを含む指標の場合、プロンプトごとのルーブリックは生成されません。目的とされる出力の詳細については、指標の詳細をご覧ください。

マネージド ルーブリック ベースの指標には、バージョン番号があります。指標ではデフォルトで最新バージョンが使用されますが、必要に応じて特定のバージョンに固定できます。

from vertexai import types

text_quality_metric = types.RubricMetric.TEXT_QUALITY
general_quality_v1 = types.RubricMetric.GENERAL_QUALITY(version='v1')

モデルのバージョンとリージョンの可用性

ほとんどのマネージド指標（general_quality_v2、instruction_following_v2、safety_v3、final_response_match_v3 など）の最新バージョンでは、Gemini 3.5 Flash が判定モデルとして使用されます。final_response_quality_v2 や tool_use_quality_v2 など、ルーブリックを生成するエージェント指標も、ルーブリックの生成に Gemini 3.1 Pro を使用します。以前のバージョンでは、Gemini 2.5 Flash と Gemini 2.5 Pro が使用されています。各指標の以前のバージョンとその LLM 呼び出しは、指標の詳細に一覧表示されます。

最新バージョンは、Gemini 3.5 Flash が利用可能な地域でのみ利用できます。Gemini 3.5 Flash が利用できないロケーションで評価を実行する場合は、前の例に示すように、指標を以前のバージョンに固定します。

下位互換性

指標プロンプト テンプレートとして提供される指標については、同じ方法で Agent Platform SDK の GenAI クライアントからポイントワイズ指標にアクセスできます。ペアワイズ指標は Agent Platform SDK の GenAI クライアントではサポートされていませんが、同じ評価で 2 つのモデルを比較するには、評価を実行するをご覧ください。

from vertexai import types

# Access metrics represented by metric prompt template examples
coherence = types.RubricMetric.COHERENCE
fluency = types.RubricMetric.FLUENCY

マネージド指標の詳細

このセクションでは、マネージド指標とそのタイプ、必要な入力、期待される出力などの詳細を示します。

• 全般的な品質
• テキストの品質
• 指示実行
• グラウンディング
• 安全性
• マルチターンの全般的な品質
• マルチターン テキストの品質
• エージェントの最終レスポンスの一致
• エージェントの最終レスポンスの参照（無料）
• エージェントの最終レスポンスの品質
• エージェントのハルシネーション
• エージェント ツールの使用品質
• エージェントのマルチターンのタスク成功率
• エージェントのマルチターン ツール使用の品質
• エージェントのマルチターンの軌跡の品質
• Gecko テキスト画像変換の品質
• Gecko テキスト動画変換の品質

全般的な品質

テキストの品質

指示実行

グラウンディング

[
  {
    "sentence": "string",
    "label": "supported | unsupported | contradictory | no_rad",
    "rationale": "string",
    "excerpt": "string or null"
  }
]

安全性

マルチターンの全般的な品質

マルチターン テキストの品質

エージェントの最終レスポンスの一致

エージェントの最終レスポンスの参照（無料）

エージェントの最終レスポンスの品質

エージェントのハルシネーション

[
  {
    "response": "string",
    "score": "double",
    "explanation": [
      {
        "sentence": "string",
        "label": "supported | unsupported | contradictory | disputed | no_rad",
        "rationale": "string",
        "supporting_excerpt": "string or null",
        "contradicting_excerpt": "string or null"
      }
    ]
  }
]

エージェント ツールの使用品質

エージェントのマルチターンのタスク成功率

エージェントのマルチターン ツール使用の品質

エージェントのマルチターン軌跡の品質

Gecko テキスト画像変換の品質

Gecko テキスト動画変換の品質

次のステップ

• 評価データセットを準備する。