Consulta las métricas automáticas de AI de Vertex AI Inference

En este documento, se describe cómo usar AI AutoMetrics para supervisar tus cargas de trabajo de IA en Gemini Enterprise Agent Platform.

AI AutoMetrics te permite supervisar el rendimiento y el estado de tus modelos con una configuración mínima. Esta función está diseñada para brindarte estadísticas inmediatas sobre tus contenedores y modelos personalizados que se ejecutan en Vertex AI Inference.

Antes de comenzar

  1. Asegúrate de tener un extremo de Gemini Enterprise Agent Platform con un modelo implementado que use un contenedor con frameworks compatibles.
  2. Asegúrate de que tu proyecto tenga habilitado Cloud Monitoring. Para obtener más información, consulta Habilita la API de Monitoring.

Usa AI AutoMetrics

Para ver AI AutoMetrics en el Explorador de métricas, haz lo siguiente:

  1. Ve a la página Explorador de métricas en la Cloud de Confiance consola.

    Ir al Explorador de métricas

  2. En Selecciona una métrica, selecciona Destino de Prometheus.

  3. En Categorías de métricas activas, selecciona Vertex.

  4. En Métricas activas, selecciona la métrica deseada.

  5. Haz clic en Aplicar.

También puedes consultar métricas con Grafana, la API de Prometheus o la IU.

Frameworks compatibles

AI AutoMetrics admite los siguientes frameworks:

Framework Extremo calificado Métricas calificadas
vLLM Extremo /metrics compatible con Prometheus Métricas con el prefijo vllm:

Cómo funciona

Gemini Enterprise Agent Platform extrae automáticamente el extremo /metrics de tu contenedor en un intervalo predefinido. Luego, todas las métricas calificadas se exportan a Cloud de Confiance by S3NS Google Cloud Managed Service para Prometheus, donde puedes analizarlas y visualizarlas.

Nombres y etiquetas de métricas

Las métricas recopiladas por AI AutoMetrics se transfieren a Cloud Monitoring con la convención de nombres vertex_*.

Para facilitar el filtrado y la agrupación, AI AutoMetrics adjunta automáticamente las siguientes etiquetas adicionales de Gemini Enterprise Agent Platform a cada métrica:

  • deployed_model_id: Es el ID de un modelo implementado que entrega solicitudes de inferencia.
  • model_display_name: Es el nombre visible de un modelo implementado.
  • replica_id: Es el ID único que corresponde a la réplica del modelo implementado (nombre del pod).
  • endpoint_id: Es el ID de un extremo del modelo.
  • endpoint_display_name: Es el nombre visible de un extremo del modelo.
  • product: Es el nombre de la función en Gemini Enterprise Agent Platform. Siempre es Inferencia en línea.

¿Qué sigue?