Monitorare le policy di governance semantica

Il motore delle norme di governance semantica raccoglie ed elabora automaticamente le metriche operative ogni volta che ispeziona una richiesta dell'agente. Puoi utilizzare queste metriche per osservare quante richieste dell'agente sono state regolate, quali verdetti hanno prodotto le policy, quanta inferenza LLM hanno consumato le valutazioni delle policy e come si comporta la pipeline di applicazione end-to-end.

Prima di iniziare

Abilita l'API Cloud Monitoring (monitoring.googleapis.com) nel progetto in cui viene eseguito il motore delle policy. Per maggiori dettagli, consulta Abilitare le API.

Panoramica

Il motore delle norme di governance semantica esporta automaticamente le metriche in Cloud Monitoring. I punti dati vengono emessi su due livelli:

• Livello di richiesta : ogni richiesta dell'agente ispezionata dal motore delle policy. Viene segnalata come semantic_governance/request_*.
• Livello di valutazione : ogni valutazione delle policy semantiche eseguita dal motore delle policy sul traffico ispezionato. Una singola valutazione può considerare internamente più policy collegate, ma viene conteggiata una sola volta. Viene segnalata come semantic_governance/evaluation_*.

Metriche integrate supportate

Tutte le metriche sono associate al motore delle norme di governance semantica della risorsa monitorata aiplatform.googleapis.com/SemanticGovernancePolicyEngine e sono identificate dalle seguenti etichette delle risorse:

• resource_container: il numero del progetto consumer.
• location: la regione in cui viene eseguito il motore delle policy, ad esempio us-central1.

Etichette per metrica

Ogni metrica include etichette aggiuntive per la suddivisione:

Le etichette generiche per risorsa (resource_container, location) sono disponibili per ogni metrica.

Visualizza metriche

Puoi visualizzare le metriche integrate del motore delle policy nella Cloud de Confiance console utilizzando Esplora metriche:

1. Per ottenere l'autorizzazione a visualizzare le metriche in Esplora metriche, chiedi al tuo amministratore di concederti il Visualizzatore Monitoring ruolo (roles/monitoring.viewer) sul tuo progetto.

2. Vai a Esplora metriche nella Cloud de Confiance console:

   Vai a Esplora metriche

3. Selezionare il tuo Cloud de Confiance by S3NS progetto.

4. Fai clic su Seleziona una metrica per aprire una barra di ricerca.

5. Inserisci Motore delle policy di governance semantica nella barra di ricerca e fai clic sulla risorsa.

6. Fai clic sulla categoria di metriche semantic_governance, quindi su una metrica, ad esempio Conteggio valutazioni.

7. (Facoltativo) Filtra per etichette (ad esempio final_verdict = DENY), aggrega le etichette e regola l'intervallo di tempo.

Esegui query sulle metriche tramite l'API

Puoi anche eseguire query sulle metriche con l' API Cloud Monitoring v3 o Prometheus Query Language (PromQL).

Elenca le definizioni delle metriche disponibili

gcurl "https://monitoring.googleapis.com/v3/projects/PROJECT_ID/metricDescriptors?filter=metric.type=starts_with(%22aiplatform.googleapis.com/semantic_governance%22)"

La risposta deve includere le definizioni delle cinque metriche elencate in nella tabella precedente.

Esegui query sulla frequenza di DENY per una regione

La seguente query PromQL restituisce la frazione di valutazioni delle policy che hanno generato DENY in una finestra mobile di 5 minuti per una regione:

sum(
  rate(
    aiplatform_googleapis_com:semantic_governance_evaluation_count{
      monitored_resource='aiplatform.googleapis.com/SemanticGovernancePolicyEngine',
      location='REGION',
      final_verdict='DENY'
    }
    [5m]
  )
)
/
sum(
  rate(
    aiplatform_googleapis_com:semantic_governance_evaluation_count{
      monitored_resource='aiplatform.googleapis.com/SemanticGovernancePolicyEngine',
      location='REGION'
    }
    [5m]
  )
)

Per la gestione della divisione per zero nelle finestre senza traffico e per altre best practice relative alle metriche di rapporto, consulta Informazioni sui rapporti tra le metriche.

Crea avvisi

Puoi utilizzare una qualsiasi di queste metriche in un criterio di avviso. Esempi comuni:

• Frequenza elevata di MODEL_ERROR: invia un avviso quando la frazione di request_count campioni con status = MODEL_ERROR supera una soglia in una finestra mobile.
• Violazione dello SLO di latenza: invia un avviso quando il 99° percentile di evaluation_latencies supera una latenza target per una durata specificata.
• Picco imprevisto di DENY: invia un avviso quando la frequenza di DENY (vedi l'esempio PromQL precedente) supera una soglia, indicando una possibile configurazione errata delle policy o una modifica nel pattern di traffico.

Per una procedura dettagliata sulla creazione di un avviso di soglia su una qualsiasi di queste metriche, consulta l'esempio di avviso in Configurare il monitoraggio per Agent Runtime su Gemini Enterprise Agent Platform. Le istruzioni si applicano senza modifiche; sostituisci la risorsa monitorata del motore delle policy e una delle metriche precedenti ovunque l'esempio utilizzi una metrica di Agent Runtime su Gemini Enterprise Agent Platform.

Consulta anche Panoramica degli avvisi per i concetti generali di avviso di Cloud Monitoring e Policy di esempio in formato JSON per altri criteri di avviso di esempio.

Documentazione correlata

• Panoramica delle policy di governance semantica
• Elenco completo delle metriche di AI Platform
• Tipi e tipi di metriche
• Componenti del modello di metrica