Supervisa las políticas de administración semántica

El motor de políticas de administración semántica recopila y procesa automáticamente las métricas operativas cada vez que inspecciona una solicitud del agente. Puedes usar estas métricas para observar cuántas solicitudes del agente se administraron, qué veredictos produjeron las políticas, cuánta inferencia de LLM consumieron las evaluaciones de políticas y cómo se comporta el canalización de aplicación de extremo a extremo.

Antes de comenzar

Habilita la API de Cloud Monitoring (monitoring.googleapis.com) en el proyecto en el que se ejecuta el motor de políticas. Consulta Habilita las APIs para obtener más detalles.

Descripción general

El motor de políticas de administración semántica exporta métricas a Cloud Monitoring automáticamente. Los puntos de datos se emiten en dos capas:

• Capa de solicitud : Cada solicitud del agente que inspecciona el motor de políticas. Se informa como semantic_governance/request_*.
• Capa de evaluación : Cada evaluación de política semántica que realiza el motor de políticas en el tráfico inspeccionado. Una sola evaluación puede considerar internamente varias políticas adjuntas, pero se cuenta una vez. Se informa como semantic_governance/evaluation_*.

Métricas integradas compatibles

Todas las métricas están asociadas con el motor de políticas de administración semántica recurso supervisado aiplatform.googleapis.com/SemanticGovernancePolicyEngine y se identifican con las siguientes etiquetas de recursos:

• resource_container: El número del proyecto de consumidor.
• location: La región en la que se ejecuta el motor de políticas, por ejemplo, us-central1.

Etiquetas por métrica

Cada métrica tiene etiquetas adicionales para segmentar:

Las etiquetas genéricas por recurso (resource_container, location) están disponibles en cada métrica.

Ver métricas

Puedes ver las métricas integradas del motor de políticas en la Cloud de Confiance consola con el Explorador de métricas:

1. Para obtener permiso para ver las métricas en el Explorador de métricas, pídele a tu administrador que te otorgue el Visualizador de Monitoring rol (roles/monitoring.viewer) en tu proyecto.

2. Ve al Explorador de métricas en la Cloud de Confiance consola de Google Cloud:

   Ir al Explorador de métricas

3. Seleccionar tu Cloud de Confiance by S3NS proyecto.

4. Haz clic en Seleccionar una métrica para abrir una barra de búsqueda.

5. Ingresa Semantic Governance Policy Engine en la barra de búsqueda y haz clic en el recurso.

6. Haz clic en la categoría de métricas semantic_governance y, luego, en una métrica, como Evaluation Count.

7. De manera opcional, puedes filtrar por etiquetas (por ejemplo, final_verdict = DENY), agregar etiquetas y ajustar el intervalo de tiempo.

Consulta métricas a través de la API

También puedes consultar las métricas con la API de Cloud Monitoring v3 o el lenguaje de consulta de Prometheus (PromQL).

Enumera las definiciones de métricas disponibles

gcurl "https://monitoring.googleapis.com/v3/projects/PROJECT_ID/metricDescriptors?filter=metric.type=starts_with(%22aiplatform.googleapis.com/semantic_governance%22)"

La respuesta debe incluir las definiciones de las cinco métricas que se enumeran en la tabla anterior.

Consulta la tasa de DENY para una región

La siguiente consulta de PromQL muestra la fracción de evaluaciones de políticas que dieron como resultado DENY en un período continuo de 5 minutos para una región:

sum(
  rate(
    aiplatform_googleapis_com:semantic_governance_evaluation_count{
      monitored_resource='aiplatform.googleapis.com/SemanticGovernancePolicyEngine',
      location='REGION',
      final_verdict='DENY'
    }
    [5m]
  )
)
/
sum(
  rate(
    aiplatform_googleapis_com:semantic_governance_evaluation_count{
      monitored_resource='aiplatform.googleapis.com/SemanticGovernancePolicyEngine',
      location='REGION'
    }
    [5m]
  )
)

Para el manejo de la división por cero en ventanas sin tráfico y otras prácticas recomendadas de métricas de proporción, consulta Acerca de las proporciones de métricas.

Crea alertas

Puedes usar cualquiera de estas métricas en una política de alertas. Ejemplos comunes:

• Tasa MODEL_ERROR elevada: Alerta cuando la fracción de request_count muestras con status = MODEL_ERROR supera un umbral en un período continuo.
• Incumplimiento del SLO de latencia: Alerta cuando el percentil 99 de evaluation_latencies supera una latencia objetivo durante un período especificado.
• Aumento inesperado de DENY: Alerta cuando la tasa de DENY (consulta el ejemplo anterior de PromQL) supera un umbral, lo que indica una posible configuración incorrecta de la política o un cambio en el patrón de tráfico.

Para obtener un instructivo paso a paso sobre cómo crear una alerta de umbral en cualquiera de estas métricas, consulta el ejemplo de alertas en Configura la supervisión de Agent Runtime en Gemini Enterprise Agent Platform. Las instrucciones se aplican sin cambios. Sustituye el recurso supervisado del motor de políticas y una de las métricas anteriores cada vez que el ejemplo use una métrica de Agent Runtime en Gemini Enterprise Agent Platform.

Consulta también Descripción general de las alertas para conocer los conceptos generales de alertas de Cloud Monitoring y Políticas de muestra en JSON para obtener más ejemplos de políticas de alertas.

Documentación relacionada

• Descripción general de las políticas de administración semántica
• Lista completa de métricas de AI Platform
• Tipos y tipos de métricas
• Componentes del modelo de métricas