Richtlinien für die semantische Governance überwachen

Die Richtlinien-Engine für semantische Governance erfasst und verarbeitet automatisch Betriebsstatistiken, wenn sie eine Agentenanfrage prüft. Anhand dieser Messwerte können Sie sehen, wie viele Agentenanfragen verwaltet wurden, welche Ergebnisse die Richtlinien erbracht haben, wie viel LLM-Inferenz bei den Richtlinienbewertungen verbraucht wurde und wie die Enforcement-Pipeline insgesamt funktioniert.

Hinweis

Aktivieren Sie die Cloud Monitoring API (monitoring.googleapis.com) im Projekt, in dem die Richtlinien-Engine ausgeführt wird. Weitere Informationen finden Sie unter APIs aktivieren.

Übersicht

Die Richtlinien-Engine für semantische Governance exportiert automatisch Messwerte nach Cloud Monitoring. Datenpunkte werden auf zwei Ebenen ausgegeben:

  • Anfrageebene : jede Agentenanfrage, die von der Richtlinien-Engine geprüft wird. Wird als semantic_governance/request_* gemeldet.
  • Bewertungsebene : jede semantische Richtlinienbewertung, die von der Richtlinien-Engine für den geprüften Traffic durchgeführt wird. Bei einer einzelnen Bewertung können intern mehrere angehängte Richtlinien berücksichtigt werden, sie wird aber nur einmal gezählt. Wird als semantic_governance/evaluation_* gemeldet.

Unterstützte integrierte Messwerte

Alle Messwerte sind mit der überwachten Ressource der Richtlinien-Engine für semantische Governance aiplatform.googleapis.com/SemanticGovernancePolicyEngine verknüpft und werden durch die folgenden Ressourcenlabels identifiziert:

  • resource_container: die Nummer des Nutzerprojekts.
  • location: die Region, in der die Richtlinien-Engine ausgeführt wird, z. B. us-central1.
Messwert Art Einheit Funktion
aiplatform.googleapis.com/semantic_governance/request_count DELTA INT64 1{request} Anzahl der Agentenanfragen, die von der Richtlinien-Engine in der Region geprüft wurden. Das Label request_type unterscheidet zwischen LLM-Aufrufen, Tool-Aufrufen und anderem Traffic.
aiplatform.googleapis.com/semantic_governance/request_latencies DELTA DISTRIBUTION s Verteilung der End-to-End-Latenz (Wandzeit), die von der Richtlinien-Engine pro geprüfter Anfrage hinzugefügt wurde.
aiplatform.googleapis.com/semantic_governance/evaluation_count DELTA INT64 1{evaluation} Anzahl der semantischen Richtlinienbewertungen, die von der Richtlinien-Engine durchgeführt wurden. Pro geprüfter Modellantwort wird eine Bewertung gezählt, unabhängig davon, wie viele angehängte Richtlinien berücksichtigt wurden.
aiplatform.googleapis.com/semantic_governance/evaluation_latencies DELTA DISTRIBUTION s Verteilung der Latenz pro Bewertung der Richtlinien-Engine.
aiplatform.googleapis.com/semantic_governance/evaluation_token_count DELTA INT64 1{token} Anzahl der LLM-Tokens, die bei Bewertungen der Richtlinien-Engine verbraucht wurden.

Labels pro Messwert

Jeder Messwert enthält zusätzliche Labels für die Segmentierung:

Messwert Labels Werte
request_count method HTTP-Methode, z. B. "POST", "GET".
status_code HTTP-Statuscode, z. B. "200".
status Ergebnis der semantischen Bewertung, z. B. "OK", "MODEL_ERROR", "EVALUATION_ERROR", "INTERNAL_ERROR".
request_type Art des abgefangenen ausgehenden Traffics, z. B. "LLM", "TOOL", "OTHER", "UNKNOWN".
request_latencies method, status, request_type Gleich wie bei request_count.
evaluation_count final_verdict Von der Engine zurückgegebenes Ergebnis: "ALLOW" oder "DENY".
evaluation_latencies final_verdict Gleich wie bei evaluation_count.
evaluation_token_count category Art des verwendeten Tokens, z. B. "INPUT", "OUTPUT", "THINKING".

Die generischen Labels pro Ressource (resource_container, location) sind für jeden Messwert verfügbar.

Messwerte aufrufen

Sie können die integrierten Messwerte der Richtlinien-Engine in der Cloud de Confiance Konsole mit dem Metrics Explorer aufrufen:

  1. Bitten Sie Ihren Administrator, Ihnen die Monitoring Viewer Rolle (roles/monitoring.viewer) für Ihr Projekt zuzuweisen, um die Berechtigung zum Aufrufen von Messwerten im Metrics Explorer zu erhalten.

  2. Rufen Sie in der Cloud de Confiance Console den Metrics Explorer auf:

    Zum Metrics Explorer

  3. Wählen Sie Ihr Cloud de Confiance by S3NS Projekt aus.

  4. Klicken Sie auf Messwert auswählen , um eine Suchleiste zu öffnen.

  5. Geben Sie Semantic Governance Policy Engine in der Suchleiste ein und klicken Sie auf die Ressource.

  6. Klicken Sie auf die Messwertkategorie semantic_governance und dann auf einen Messwert, z. B. Anzahl der Bewertungen.

  7. Optional können Sie nach Labels filtern (z. B. final_verdict = DENY), Messwerte über Labels aggregieren und den Zeitraum anpassen.

Messwerte über die API abfragen

Sie können die Messwerte auch mit der Cloud Monitoring API v3 oder der Prometheus Query Language (PromQL) abfragen.

Verfügbare Messwertdefinitionen auflisten

gcurl "https://monitoring.googleapis.com/v3/projects/PROJECT_ID/metricDescriptors?filter=metric.type=starts_with(%22aiplatform.googleapis.com/semantic_governance%22)"

Die Antwort sollte die Definitionen für die fünf Messwerte in der vorherigen Tabelle enthalten.

DENY-Rate für eine Region abfragen

Die folgende PromQL-Abfrage gibt den Anteil der Richtlinienbewertungen zurück, die in einem gleitenden 5-Minuten-Fenster für eine Region zu DENY geführt haben:

sum(
  rate(
    aiplatform_googleapis_com:semantic_governance_evaluation_count{
      monitored_resource='aiplatform.googleapis.com/SemanticGovernancePolicyEngine',
      location='REGION',
      final_verdict='DENY'
    }
    [5m]
  )
)
/
sum(
  rate(
    aiplatform_googleapis_com:semantic_governance_evaluation_count{
      monitored_resource='aiplatform.googleapis.com/SemanticGovernancePolicyEngine',
      location='REGION'
    }
    [5m]
  )
)

Informationen zur Behandlung von Division durch null in Fenstern ohne Traffic und andere Best Practices für Verhältnis-Messwerte finden Sie unter Verhältnisse von Messwerten.

Benachrichtigungen erstellen

Sie können jeden dieser Messwerte in einer Benachrichtigungsrichtlinie verwenden. Häufige Beispiele:

  • Erhöhte MODEL_ERROR Rate: Benachrichtigung, wenn der Anteil der request_count Stichproben mit status = MODEL_ERROR in einem gleitenden Fenster einen Grenzwert überschreitet.
  • Verstoß gegen SLO für Latenz: Benachrichtigung, wenn das 99. Perzentil von evaluation_latencies für eine bestimmte Dauer eine Ziellatenz überschreitet.
  • Unerwarteter Anstieg von DENY: Benachrichtigung, wenn die DENY-Rate (siehe vorheriges PromQL-Beispiel) einen Grenzwert überschreitet. Dies deutet auf eine mögliche Fehlkonfiguration der Richtlinie oder eine Änderung des Traffics hin.

Eine Schritt-für-Schritt-Anleitung zum Erstellen einer Grenzwertbenachrichtigung für einen dieser Messwerte finden Sie im Benachrichtigungsbeispiel unter Monitoring einrichten für Agent Runtime on Gemini Enterprise Agent Platform. Die Anleitung gilt unverändert. Ersetzen Sie die überwachte Ressource der Richtlinien-Engine und einen der vorherigen Messwerte überall dort, wo im Beispiel ein Messwert von Agent Runtime on Gemini Enterprise Agent Platform verwendet wird.

Weitere Informationen zu den allgemeinen Benachrichtigungskonzepten von Cloud Monitoring finden Sie unter Übersicht über Benachrichtigungen. Weitere Beispiele für Benachrichtigungsrichtlinien finden Sie unter Beispielrichtlinien in JSON.