查看 Vertex AI Inference AI AutoMetrics

本文說明如何使用 AI AutoMetrics，在 Gemini Enterprise Agent Platform 上監控 AI 工作負載。

AI AutoMetrics 可讓您以最少的設定，監控模型的效能和健康狀態。這項功能旨在讓您立即深入瞭解在 Vertex AI Inference 上執行的自訂容器和模型。

事前準備

  1. 請確認您已取得 Gemini Enterprise Agent Platform 端點，並部署模型，且模型使用支援架構的容器。
  2. 請確認專案已啟用 Cloud Monitoring。詳情請參閱「啟用 Monitoring API」。

使用 AI 自動指標

如要在 Metrics Explorer 中查看 AI AutoMetrics，請按照下列步驟操作：

  1. 前往 Cloud de Confiance 控制台的「Metrics Explorer」頁面。

    前往「Metrics Explorer」。

  2. 在「選取指標」下方，選取「Prometheus 目標」。

  3. 在「有效指標類別」下方，選取「Vertex」。

  4. 在「有效指標」下方，選取所需指標。

  5. 按一下「套用」。

您也可以使用 Grafana 或 Prometheus API/UI 查詢指標。

支援的架構

AI AutoMetrics 支援下列架構：

架構 合格端點 符合資格的指標
vLLM 與 Prometheus 相容的 /metrics 端點 前置字串為 vllm: 的指標

運作方式

Gemini Enterprise Agent Platform 會以預先定義的時間間隔，自動擷取容器的 /metrics 端點。所有符合資格的指標隨後都會匯出至Cloud de Confiance by S3NS Google Cloud Managed Service for Prometheus，供您分析及視覺化呈現。

指標命名和標籤

AI AutoMetrics 收集的指標會以 vertex_* 命名慣例匯入 Cloud Monitoring。

為方便篩選和分組，AI AutoMetrics 會自動將下列額外的 Gemini Enterprise Agent Platform 標籤附加至各項指標：

  • deployed_model_id：已部署模型的 ID，用於處理推論要求。
  • model_display_name：已部署模型的顯示名稱。
  • replica_id：對應已部署模型副本 (Pod 名稱) 的專屬 ID。
  • endpoint_id：模型端點的 ID。
  • endpoint_display_name：模型端點的顯示名稱。
  • product：Gemini Enterprise Agent Platform 中的功能名稱。一律為「線上推論」。

後續步驟