Conferir métricas do DCGM de inferência da Vertex AI

Esta página aborda como explorar as métricas do NVIDIA Data Center GPU Manager (DCGM) associadas aos endpoints da Vertex AI Inference.

O que é o DCGM?

O NVIDIA Data Center GPU Manager (DCGM) é um conjunto de ferramentas da NVIDIA que permitem gerenciar e monitorar GPUs NVIDIA. A Vertex AI Inference exporta automaticamente as métricas do DCGM da Gemini Enterprise Agent Platform para o Cloud Monitoring se os endpoints usarem GPUs com suporte. Essas métricas oferecem uma visão abrangente da utilização, do desempenho e da integridade da GPU.

Pré-requisitos

Antes de começar, verifique se o Cloud Monitoring está ativado no seu projeto. Consulte Ativar a API Monitoring para mais informações.

Usar métricas do DCGM

Para conferir as métricas do DCGM no Metrics Explorer, faça o seguinte:

1. Acesse a página do Metrics Explorer no Cloud de Confiance console do Cloud.

   Acessar o Metrics Explorer

2. Em Selecionar uma métrica, selecione Destino do Prometheus.

3. Em Categorias de métrica ativas, selecione Vertex.

4. Em Métricas ativas, selecione a métrica desejada.

5. Clique em Aplicar.

Também é possível consultar métricas usando Grafana, ou a API ou a interface do Prometheus.

Quota

As métricas do DCGM consomem a cota de Solicitações de ingestão de séries temporais por minuto da API Cloud Monitoring. Antes de ativar os pacotes de métricas, verifique o pico de uso recente dessa cota. Se você já estiver se aproximando do limite da cota, poderá solicitar um aumento.

Métricas do DCGM da Gemini Enterprise Agent Platform

Os nomes das métricas do Cloud Monitoring nesta tabela precisam ser prefixados com prometheus.googleapis.com/. Esse prefixo foi omitido das entradas na tabela.

Além dos rótulos no recurso monitorado prometheus_target, todas as métricas do DCGM coletadas na Gemini Enterprise Agent Platform têm os seguintes rótulos anexados:

Rótulos da GPU:

• gpu_model: o modelo do dispositivo de GPU, como NVIDIA L4.
• gpu_uuid: o UUID do dispositivo da GPU.
• gpu_i_id: o ID da instância da GPU de várias instâncias (MIG) da NVIDIA.

Rótulos da plataforma de agentes do Gemini Enterprise:

• deployed_model_id: o ID de um modelo implantado que atende a solicitações de inferência.
• model_display_name: o nome de exibição de um modelo implantado.
• replica_id: o ID exclusivo correspondente à réplica do modelo implantado (nome do pod).
• endpoint_id: o ID de um endpoint do modelo.
• endpoint_display_name: o nome de exibição de um endpoint do modelo.
• product: o nome do recurso na plataforma de agentes do Gemini Enterprise. É sempre Online Inference.

GPUs com suporte

Todas as GPUs NVIDIA são compatíveis, exceto as seguintes, devido a restrições de recursos:

1. NVIDIA P100
2. NVIDIA V100
3. NVIDIA P4
4. NVIDIA T4

A seguir

• Saiba mais sobre o Metrics Explorer.