セマンティック ガバナンス ポリシーをモニタリングする

セマンティック ガバナンス ポリシー エンジンは、エージェント リクエストを検査するたびに運用指標を自動的に収集して処理します。これらの指標を使用して、ガバナンスされたエージェント リクエストの数、ポリシーによって生成された判定、ポリシー評価で使用された LLM 推論の量、エンフォースメント パイプラインのエンドツーエンドのパフォーマンスを確認できます。

始める前に

ポリシー エンジンが実行されるプロジェクトで Cloud Monitoring API（monitoring.googleapis.com）を有効にします。詳しくは、 API を有効にするをご覧ください。

概要

セマンティック ガバナンス ポリシー エンジンは、指標を Cloud Monitoring に自動的にエクスポートします。データポイントは次の 2 つのレイヤで出力されます。

• リクエスト レイヤ : ポリシー エンジンが検査するすべてのエージェント リクエスト。 semantic_governance/request_* として報告されます。
• 評価レイヤ : ポリシー エンジンが検査対象のトラフィックに対して実行するすべてのセマンティック ポリシー評価。1 回の評価で内部的に複数の接続されたポリシーが考慮されることがありますが、カウントは 1 回です。semantic_governance/evaluation_* として報告されます。

サポートされている組み込み指標

すべての指標は、セマンティック ガバナンス ポリシー エンジン モニタリング対象リソース aiplatform.googleapis.com/SemanticGovernancePolicyEngine に関連付けられ、次のリソースラベルで識別されます。

• resource_container: コンシューマ プロジェクト番号。
• location: ポリシー エンジンが実行されるリージョン（例: us-central1）。

指標ごとのラベル

各指標には、スライス用の追加ラベルが含まれています。

汎用的なリソースごとのラベル（resource_container、location）は、すべての指標で使用できます。

指標を表示

組み込みのポリシー エンジン指標は、 Cloud de Confiance コンソール の Metrics Explorer で確認できます。

1. Metrics Explorer で指標を表示する権限を取得するには、プロジェクトに対するモニタリング閲覧者 ロール（roles/monitoring.viewer）を付与するよう 管理者に依頼してください。

2. Cloud de Confiance コンソールの [Metrics Explorer] に移動します。

   Metrics Explorer に移動

3. Cloud de Confiance by S3NS プロジェクトを選択します。

4. [指標を選択] をクリックして検索バーを開きます。

5. 検索バーに「Semantic Governance Policy Engine 」と入力し、リソースをクリックします。

6. 指標カテゴリで [semantic_governance] をクリックし、[Evaluation Count] などの指標をクリックします。

7. 必要に応じて、ラベルでフィルタ（final_verdict = DENY など）し、ラベル間で集計して、時間範囲を調整します。

API を使用して指標をクエリする

Cloud Monitoring v3 API または Prometheus Query Language（PromQL） を使用して指標をクエリすることもできます。

使用可能な指標定義を一覧表示する

gcurl "https://monitoring.googleapis.com/v3/projects/PROJECT_ID/metricDescriptors?filter=metric.type=starts_with(%22aiplatform.googleapis.com/semantic_governance%22)"

レスポンスには、 前の表に記載されている 5 つの指標の定義が含まれます。

リージョンの DENY 率をクエリする

次の PromQL クエリは、1 つのリージョンの 5 分間のローリング ウィンドウで DENY になったポリシー評価の割合を返します。

sum(
  rate(
    aiplatform_googleapis_com:semantic_governance_evaluation_count{
      monitored_resource='aiplatform.googleapis.com/SemanticGovernancePolicyEngine',
      location='REGION',
      final_verdict='DENY'
    }
    [5m]
  )
)
/
sum(
  rate(
    aiplatform_googleapis_com:semantic_governance_evaluation_count{
      monitored_resource='aiplatform.googleapis.com/SemanticGovernancePolicyEngine',
      location='REGION'
    }
    [5m]
  )
)

トラフィックのないウィンドウでのゼロ除算の処理と、その他の 比率指標のベスト プラクティスについては、 指標の比率についてをご覧ください。

アラートを作成する

これらの指標は、アラート ポリシーで使用できます。一般的な事例:

• MODEL_ERROR 率の上昇: ローリング ウィンドウで request_count サンプルの割合が status = MODEL_ERROR しきい値を超えた場合にアラートを発します。
• レイテンシ SLO 違反: evaluation_latencies の 99 パーセンタイル値が指定された期間、目標レイテンシを超えた場合にアラートを発します。
• 予期しない DENY スパイク: DENY 率（上記の PromQL の例を参照）がしきい値を超えた場合にアラートを発します。これは、ポリシーの 構成ミスまたはトラフィック パターンの変更を示している可能性があります。

これらの指標のいずれかでしきい値アラートを作成する手順については、 Gemini Enterprise Agent Platform の Agent Runtime の モニタリングを設定するのアラートの例をご覧ください。手順は変更されません。例で Gemini Enterprise Agent Platform の Agent Runtime 指標を使用している場合は、ポリシー エンジンのモニタリング対象リソースと上記の指標のいずれかに置き換えてください。

一般的な Cloud Monitoring アラートのコンセプトについてはアラートの概要、アラート ポリシーの例についてはJSON のサンプル ポリシーもご覧ください。

関連ドキュメント

• セマンティック ガバナンス ポリシーの概要
• AI Platform 指標の完全なリスト
• 指標の種類とタイプ
• 指標モデルのコンポーネント