Surveiller les règles de gouvernance sémantique

Le moteur de règles de gouvernance sémantique collecte et traite automatiquement les métriques opérationnelles chaque fois qu'il inspecte une requête d'agent. Vous pouvez utiliser ces métriques pour observer le nombre de requêtes d'agent régies, les verdicts générés par les règles, la quantité d'inférences de LLM consommée par les évaluations de règles et les performances de bout en bout du pipeline d'application.

Avant de commencer

Activez l'API Cloud Monitoring (monitoring.googleapis.com) sur le projet dans lequel le moteur de règles s'exécute. Pour en savoir plus, consultez Activer des API.

Présentation

Le moteur de règles de gouvernance sémantique exporte automatiquement les métriques vers Cloud Monitoring. Les points de données sont émis sur deux couches :

• Couche de requête : chaque requête d'agent inspectée par le moteur de règles. Signalée comme semantic_governance/request_*.
• Couche d'évaluation : chaque évaluation de règle sémantique effectuée par le moteur de règles sur le trafic inspecté. Une seule évaluation peut prendre en compte en interne plusieurs règles associées, mais elle n'est comptabilisée qu'une seule fois. Signalée comme semantic_governance/evaluation_*.

Métriques intégrées acceptées

Toutes les métriques sont associées à la ressource surveillée du moteur de règles de gouvernance sémantique aiplatform.googleapis.com/SemanticGovernancePolicyEngine et sont identifiées par les étiquettes de ressources suivantes :

• resource_container : numéro du projet client.
• location: région dans laquelle le moteur de règles s'exécute, par exemple us-central1.

Étiquettes par métrique

Chaque métrique comporte des étiquettes supplémentaires pour le découpage :

Les étiquettes génériques par ressource (resource_container, location) sont disponibles pour chaque métrique.

Afficher les métriques

Vous pouvez afficher les métriques intégrées du moteur de règles dans la Cloud de Confiance console à l'aide de l'explorateur de métriques :

1. Pour obtenir l'autorisation d'afficher les métriques dans l'explorateur de métriques, demandez à votre administrateur de vous accorder le rôle Lecteur Monitoring (roles/monitoring.viewer) sur votre projet.

2. Accédez à l'explorateur de métriques dans la console Cloud de Confiance  :

   Accéder à l'explorateur de métriques

3. Sélectionnez votre projet Cloud de Confiance by S3NS .

4. Cliquez sur Sélectionner une métrique pour ouvrir une barre de recherche.

5. Saisissez Moteur de stratégies de gouvernance sémantique dans la barre de recherche, puis cliquez sur la ressource.

6. Cliquez sur la catégorie de métriques semantic_governance, puis sur une métrique, par exemple Nombre d'évaluations.

7. Vous pouvez également filtrer par étiquettes (par exemple, final_verdict = DENY), agréger les étiquettes et ajuster la période.

Interroger des métriques via l'API

Vous pouvez également interroger les métriques à l'aide de l' API Cloud Monitoring v3 ou du langage de requête Prometheus (PromQL).

Lister les définitions de métriques disponibles

gcurl "https://monitoring.googleapis.com/v3/projects/PROJECT_ID/metricDescriptors?filter=metric.type=starts_with(%22aiplatform.googleapis.com/semantic_governance%22)"

La réponse doit inclure les définitions des cinq métriques listées dans le tableau précédent.

Interroger le taux de refus pour une région

La requête PromQL suivante renvoie la fraction des évaluations de règles qui ont abouti à DENY sur une fenêtre glissante de cinq minutes pour une région :

sum(
  rate(
    aiplatform_googleapis_com:semantic_governance_evaluation_count{
      monitored_resource='aiplatform.googleapis.com/SemanticGovernancePolicyEngine',
      location='REGION',
      final_verdict='DENY'
    }
    [5m]
  )
)
/
sum(
  rate(
    aiplatform_googleapis_com:semantic_governance_evaluation_count{
      monitored_resource='aiplatform.googleapis.com/SemanticGovernancePolicyEngine',
      location='REGION'
    }
    [5m]
  )
)

Pour gérer la division par zéro sur les fenêtres sans trafic et découvrir d'autres bonnes pratiques concernant les métriques de ratio, consultez À propos des ratios de métriques.

Créer des alertes

Vous pouvez utiliser n'importe laquelle de ces métriques dans une règle d'alerte. Voici quelques exemples courants :

• Taux élevé de MODEL_ERROR : alerte lorsque la fraction d'échantillons request_count avec status = MODEL_ERROR dépasse un seuil sur une fenêtre glissante.
• Violation du SLO de latence : alerte lorsque le 99e centile de evaluation_latencies dépasse une latence cible pendant une durée spécifiée.
• Pic de refus inattendu : alerte lorsque le taux de refus (voir l'exemple PromQL précédent) dépasse un seuil, ce qui indique une éventuelle erreur de configuration de la règle ou une modification du modèle de trafic.

Pour obtenir une procédure détaillée sur la création d'une alerte de seuil sur l'une de ces métriques, consultez l'exemple d'alerte dans Configurer la surveillance pour Agent Runtime sur Gemini Enterprise Agent Platform. Les instructions s'appliquent sans modification. Remplacez la ressource surveillée du moteur de règles et l'une des métriques précédentes chaque fois que l'exemple utilise une métrique Agent Runtime sur Gemini Enterprise Agent Platform.

Consultez également Présentation des alertes pour obtenir des informations générales sur les concepts d'alerte de Cloud Monitoring et Exemples de règles au format JSON pour obtenir d'autres exemples de règles d'alerte.

Documentation associée

• Présentation des règles de gouvernance sémantique
• Liste complète des métriques AI Platform
• Types et types de métriques
• Composants du modèle de métrique