Conferir o AutoMetrics de inferência da Vertex AI

Este documento descreve como usar o AI AutoMetrics para monitorar suas cargas de trabalho de IA na Gemini Enterprise Agent Platform.

Com a AI AutoMetrics, é possível monitorar o desempenho e a integridade dos seus modelos com configuração mínima. Esse recurso foi projetado para oferecer insights imediatos sobre seus contêineres e modelos personalizados em execução na Vertex AI Inference.

Antes de começar

  1. Verifique se você tem um endpoint da plataforma de agentes do Gemini Enterprise com um modelo implantado que usa um contêiner com frameworks compatíveis.
  2. Verifique se o Cloud Monitoring está ativado no seu projeto. Para mais informações, consulte Ativar a API Monitoring.

Usar o AI AutoMetrics

Para conferir as métricas automáticas de IA no Metrics Explorer, faça o seguinte:

  1. Acesse a página do Metrics Explorer no console do Cloud de Confiance .

    Acessar o Metrics Explorer

  2. Em Selecionar uma métrica, escolha Destino do Prometheus.

  3. Em Categorias de métricas ativas, selecione Vertex.

  4. Em Métricas ativas, selecione a métrica desejada.

  5. Clique em Aplicar.

Também é possível consultar métricas usando o Grafana ou a API ou interface do Prometheus.

Frameworks compatíveis

O AI AutoMetrics é compatível com os seguintes frameworks:

Framework Endpoint qualificado Métricas qualificadas
vLLM Endpoint /metrics compatível com o Prometheus Métricas com prefixo vllm:

Como funciona

A plataforma de agentes do Gemini Enterprise extrai automaticamente o endpoint /metrics do seu contêiner em um intervalo predefinido. Todas as métricas qualificadas são exportadas para oCloud de Confiance by S3NS Serviço Gerenciado do Google Cloud para Prometheus, onde podem ser analisadas e visualizadas.

Nomes e rótulos de métricas

As métricas coletadas pelo AI AutoMetrics são ingeridas no Cloud Monitoring de acordo com a convenção de nomenclatura vertex_*.

Para facilitar a filtragem e o agrupamento, a AI AutoMetrics anexa automaticamente os seguintes rótulos adicionais da Gemini Enterprise Agent Platform a cada métrica:

  • deployed_model_id: o ID de um modelo implantado que atende a solicitações de inferência.
  • model_display_name: o nome de exibição de um modelo implantado.
  • replica_id: o ID exclusivo correspondente à réplica do modelo implantado (nome do pod).
  • endpoint_id: o ID de um endpoint de modelo.
  • endpoint_display_name: o nome de exibição de um endpoint de modelo.
  • product: o nome do recurso na plataforma de agentes do Gemini Enterprise. É sempre Inferência on-line.

A seguir