Monitorar políticas de governança semântica

O mecanismo de política de governança semântica coleta e processa automaticamente métricas operacionais sempre que inspeciona uma solicitação de agente. É possível usar essas métricas para observar quantas solicitações de agente foram regidas, quais vereditos as políticas produziram, quanta inferência de LLM as avaliações de política consumiram e como o pipeline de aplicação está funcionando de ponta a ponta.

Antes de começar

Ative a API Cloud Monitoring (monitoring.googleapis.com) no projeto em que o mecanismo de política é executado. Consulte Ativar APIs para mais detalhes.

Visão geral

O mecanismo de política de governança semântica exporta métricas para o Cloud Monitoring automaticamente. Os pontos de dados são emitidos em duas camadas:

• Camada de solicitação : cada solicitação de agente que o mecanismo de política inspeciona. Informado como semantic_governance/request_*.
• Camada de avaliação : cada avaliação de política semântica que o mecanismo de política realiza no tráfego inspecionado. Uma única avaliação pode considerar internamente várias políticas anexadas, mas é contada uma vez. Informado como semantic_governance/evaluation_*.

Métricas integradas com suporte

Todas as métricas estão associadas ao recurso monitorado do mecanismo de política de governança semântica aiplatform.googleapis.com/SemanticGovernancePolicyEngine e são identificadas pelos seguintes rótulos de recursos:

• resource_container: o número do projeto do consumidor.
• location: a região em que o mecanismo de política é executado, por exemplo, us-central1.

Rótulos por métrica

Cada métrica tem rótulos extras para segmentação:

Os rótulos genéricos por recurso (resource_container, location) estão disponíveis em todas as métricas.

Ver métricas

É possível conferir as métricas integradas do mecanismo de política no Cloud de Confiance console usando o Metrics Explorer:

1. Para receber permissão para conferir métricas no Metrics Explorer, peça ao seu administrador para conceder a você o papel Leitor do Monitoring (roles/monitoring.viewer) no seu projeto.

2. Acesse o Metrics Explorer no Cloud de Confiance console do Cloud:

   Acessar o Metrics Explorer

3. Selecionar o Cloud de Confiance by S3NS projeto.

4. Clique em Selecionar uma métrica para abrir uma barra de pesquisa.

5. Insira Mecanismo de política de governança semântica na barra de pesquisa e clique no recurso.

6. Clique na categoria de métrica semantic_governance e em uma métrica, como Contagem de avaliações.

7. Opcionalmente, filtre por rótulos (por exemplo, final_verdict = DENY), agregue rótulos e ajuste o período.

Consultar métricas pela API

Também é possível consultar as métricas com a API Cloud Monitoring v3 ou a Linguagem de consulta do Prometheus (PromQL).

Listar as definições de métricas disponíveis

gcurl "https://monitoring.googleapis.com/v3/projects/PROJECT_ID/metricDescriptors?filter=metric.type=starts_with(%22aiplatform.googleapis.com/semantic_governance%22)"

A resposta precisa incluir as definições das cinco métricas listadas em na tabela anterior.

Consultar a taxa de negação de uma região

A consulta PromQL a seguir retorna a fração de avaliações de política que resultaram em DENY em uma janela móvel de 5 minutos para uma região:

sum(
  rate(
    aiplatform_googleapis_com:semantic_governance_evaluation_count{
      monitored_resource='aiplatform.googleapis.com/SemanticGovernancePolicyEngine',
      location='REGION',
      final_verdict='DENY'
    }
    [5m]
  )
)
/
sum(
  rate(
    aiplatform_googleapis_com:semantic_governance_evaluation_count{
      monitored_resource='aiplatform.googleapis.com/SemanticGovernancePolicyEngine',
      location='REGION'
    }
    [5m]
  )
)

Para o tratamento de divisão por zero em janelas sem tráfego e outras práticas recomendadas de métricas de proporção, consulte Sobre proporções de métricas.

Criar alertas

É possível usar qualquer uma dessas métricas em uma política de alertas. Exemplos comuns:

• Taxa MODEL_ERROR elevada: alerta quando a fração de request_count amostras com status = MODEL_ERROR excede um limite em uma janela móvel.
• Violação de SLO de latência: alerta quando o percentil 99 de evaluation_latencies excede uma latência de destino por um período especificado.
• Pico de negação inesperado: alerta quando a taxa de negação (consulte o exemplo de PromQL anterior) excede um limite, indicando uma possível configuração incorreta da política ou uma mudança no padrão de tráfego.

Para um tutorial detalhado sobre como criar um alerta de limite em qualquer uma dessas métricas, consulte o exemplo de alerta em Configurar o monitoramento do Agent Runtime na Gemini Enterprise Agent Platform. As instruções são aplicadas sem alterações. Substitua o recurso monitorado do mecanismo de política e uma das métricas anteriores sempre que o exemplo usar uma métrica do Agent Runtime na Gemini Enterprise Agent Platform.

Consulte também Visão geral de alertas para os conceitos gerais de alertas do Cloud Monitoring e Políticas de exemplo em JSON para mais exemplos de políticas de alertas.

Documentação relacionada

• Visão geral das políticas de governança semântica
• Lista completa de métricas da AI Platform
• Tipos e tipos de métricas
• Componentes do modelo de métrica