Sebagian atau seluruh informasi di halaman ini mungkin tidak berlaku untuk Cloud de Confiance dari S3NS. Lihat Perbedaan dengan Google Cloud untuk mengetahui detail selengkapnya.

Google menggunakan teknologi AI untuk menerjemahkan konten ke dalam bahasa pilihan Anda. Terjemahan AI mungkin mengandung kesalahan.

Melihat metrik DCGM Inferensi Vertex AI

Halaman ini membahas cara menjelajahi metrik NVIDIA Data Center GPU Manager (DCGM) yang terkait dengan endpoint Inferensi Vertex AI.

Apa yang dimaksud dengan DCGM

NVIDIA Data Center GPU Manager (DCGM) adalah sekumpulan alat dari NVIDIA yang memungkinkan Anda mengelola dan memantau GPU NVIDIA. Inferensi Vertex AI otomatis mengekspor metrik DCGM Platform Agen Gemini Enterprise ke Cloud Monitoring jika endpoint Anda menggunakan GPU yang didukung. Metrik tersebut memberikan tampilan komprehensif tentang penggunaan, performa, dan kondisi GPU.

Prasyarat

Sebelum memulai, pastikan project Anda telah mengaktifkan Cloud Monitoring. Lihat Mengaktifkan Monitoring API untuk mengetahui informasi selengkapnya.

Menggunakan metrik DCGM

Untuk melihat metrik DCGM di Metrics Explorer, lakukan hal berikut:

Buka halaman Metrics Explorer di Cloud de Confiance konsol.

Buka Metrics Explorer
Di bagian Select a metric, pilih Prometheus Target.
Di bagian Active metric categories, pilih Vertex.
Di bagian Active metrics, pilih metrik yang diinginkan.
Klik Apply.

Anda juga dapat membuat kueri metrik menggunakan Grafana, atau Prometheus API atau UI.

Quota

Metrik DCGM menggunakan kuota Time series ingestion requests per minute dari Cloud Monitoring API. Sebelum mengaktifkan paket metrik, periksa penggunaan puncak terbaru kuota tersebut. Jika sudah mendekati batas kuota tersebut, Anda dapat meminta peningkatan batas kuota.

Metrik DCGM Gemini Enterprise Agent Platform

Nama metrik Cloud Monitoring dalam tabel ini harus diawali dengan prometheus.googleapis.com/. Awalan tersebut telah dihilangkan dari entri dalam tabel.

Selain label pada resource yang dimonitor prometheus_target, semua metrik DCGM yang dikumpulkan di Gemini Enterprise Agent Platform memiliki label berikut yang terlampir:

Label GPU:

gpu_model: model perangkat GPU, seperti NVIDIA L4.
gpu_uuid: UUID perangkat GPU.
gpu_i_id: ID instance Multi-Instance GPU (MIG) NVIDIA.

Label Gemini Enterprise Agent Platform:

deployed_model_id: ID model yang di-deploy yang menayangkan permintaan inferensi.
model_display_name: nama tampilan model yang di-deploy.
replica_id: ID unik yang sesuai dengan replika model yang di-deploy (nama pod).
endpoint_id: ID endpoint model.
endpoint_display_name: nama tampilan endpoint model.
product: nama fitur di Platform Agen Gemini Enterprise. Nilai ini selalu Online Inference.

Nama metrik PromQL Nama metrik Cloud Monitoring
Jenis, Tipe, Unit Resource yang dipantau	Deskripsi
`vertex_dcgm_fi_dev_fb_free` `vertex_dcgm_fi_dev_fb_free/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Frame Buffer Gratis dalam MB.
`vertex_dcgm_fi_dev_fb_total` `vertex_dcgm_fi_dev_fb_total/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Total Frame Buffer GPU dalam MB.
`vertex_dcgm_fi_dev_fb_used` `vertex_dcgm_fi_dev_fb_used/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Frame Buffer yang Digunakan dalam MB.
`vertex_dcgm_fi_dev_gpu_temp` `vertex_dcgm_fi_dev_gpu_temp/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Pembacaan suhu saat ini untuk perangkat (dalam °C).
`vertex_dcgm_fi_dev_gpu_util` `vertex_dcgm_fi_dev_gpu_util/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Penggunaan GPU (dalam %).
`vertex_dcgm_fi_dev_mem_copy_util` `vertex_dcgm_fi_dev_mem_copy_util/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Penggunaan memori (dalam %).
`vertex_dcgm_fi_dev_memory_temp` `vertex_dcgm_fi_dev_memory_temp/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Suhu memori untuk perangkat (dalam °C).
`vertex_dcgm_fi_dev_power_usage` `vertex_dcgm_fi_dev_power_usage/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Penggunaan daya untuk perangkat (dalam Watt).
`vertex_dcgm_fi_dev_sm_clock` `vertex_dcgm_fi_dev_sm_clock/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Frekuensi clock SM (dalam MHz).
`vertex_dcgm_fi_dev_total_energy_consumption` `vertex_dcgm_fi_dev_total_energy_consumption/counter`
`CUMULATIVE`, `DOUBLE`, `1` prometheus_target	Total konsumsi energi untuk GPU dalam mJ sejak driver terakhir dimuat ulang.
`vertex_dcgm_fi_prof_dram_active` `vertex_dcgm_fi_prof_dram_active/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Rasio siklus antarmuka memori perangkat aktif mengirim atau menerima data.
`vertex_dcgm_fi_prof_gr_engine_active` `vertex_dcgm_fi_prof_gr_engine_active/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Rasio waktu saat mesin grafis aktif.
`vertex_dcgm_fi_prof_nvlink_rx_bytes` `vertex_dcgm_fi_prof_nvlink_rx_bytes/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Kecepatan data rx (baca) NvLink aktif dalam byte, termasuk header dan payload.
`vertex_dcgm_fi_prof_nvlink_tx_bytes` `vertex_dcgm_fi_prof_nvlink_tx_bytes/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Kecepatan data tx (kirim) NvLink aktif dalam byte, termasuk header dan payload.
`vertex_dcgm_fi_prof_pcie_rx_bytes` `vertex_dcgm_fi_prof_pcie_rx_bytes/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Kecepatan data rx (baca) PCIe aktif dalam byte, termasuk header dan payload.
`vertex_dcgm_fi_prof_pcie_tx_bytes` `vertex_dcgm_fi_prof_pcie_tx_bytes/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Kecepatan data tx (kirim) PCIe aktif dalam byte, termasuk header dan payload.
`vertex_dcgm_fi_prof_pipe_fp16_active` `vertex_dcgm_fi_prof_pipe_fp16_active/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Rasio siklus saat pipeline fp16 aktif.
`vertex_dcgm_fi_prof_pipe_fp32_active` `vertex_dcgm_fi_prof_pipe_fp32_active/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Rasio siklus saat pipeline fp32 aktif.
`vertex_dcgm_fi_prof_pipe_fp64_active` `vertex_dcgm_fi_prof_pipe_fp64_active/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Rasio siklus saat pipeline fp64 aktif.
`vertex_dcgm_fi_prof_pipe_tensor_active` `vertex_dcgm_fi_prof_pipe_tensor_active/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Rasio siklus saat pipeline tensor aktif.
`vertex_dcgm_fi_prof_sm_active` `vertex_dcgm_fi_prof_sm_active/gauge`
`GAUGE`, `DOUBLE`, `1` prometheus_target	Rasio siklus SM memiliki setidaknya 1 warp yang ditetapkan.

GPU yang didukung

Semua GPU NVIDIA didukung, kecuali yang berikut, karena batasan resource:

Langkah berikutnya

Pelajari lebih lanjut Metrics Explorer.