使用 Agent Platform 評估模型

本頁面說明如何使用 Gemini Enterprise Agent Platform 評估模型。如需總覽，請參閱 Agent Platform 中的模型評估。

必要條件

1. 按照「設定專案和開發環境」中的步驟操作。 此外，請啟用下列服務：

   • Compute Engine API
   • Dataflow API

2. Agent Platform 可以評估透過 AutoML 或自訂訓練方式訓練的模型。如要參閱 Cloud de Confiance 控制台 指南，您應已將訓練好的模型匯入 Gemini Enterprise Agent Platform Model Registry。

3. 將測試資料集上傳至 BigQuery 或 Cloud Storage。測試資料集應包含真值，也就是推論的預期結果。取得檔案連結或資料集 ID。

4. 以 BigQuery 資料表或 Cloud Storage URI 形式提供批次推論輸出。

5. 請確認預設的 Compute Engine 服務帳戶具備下列 IAM 權限：

   • Agent Platform 管理員 (aiplatform.admin)
   • Agent Platform 服務代理 (aiplatform.serviceAgent)
   • Storage 物件管理員 (storage.objectAdmin)
   • Dataflow Worker (dataflow.worker)
   • BigQuery 資料編輯者 (bigquery.dataEditor) (僅在以 BigQuery 資料表形式提供資料時需要)

建立評估作業

模型評估工作完成後，Agent Platform 會自動傳送電子郵件通知。

查看評估指標

比較評估指標

您可以比較不同模型、模型版本和評估作業的評估結果。如要進一步瞭解模型版本管理，請參閱「Model Registry 中的版本管理」。

您只能比較相同類型的模型，例如分類、迴歸或預測。比較不同模型時，所有模型版本都必須是相同類型。

一次最多只能比較 5 項評估。

1. 前往 Cloud de Confiance 控制台的 Gemini Enterprise Agent Platform Model Registry：

   前往「模型」頁面

2. 前往模型或模型版本：

   • 如要在「模型」頁面比較不同模型，請選取要比較模型名稱旁的核取方塊。

   • 如要比較不同模型版本：

     1. 在「Models」(模型) 頁面中點選模型名稱，開啟模型版本清單。

     2. 選取要比較的版本旁的核取方塊。

   • 如要比較相同模型版本的評估作業：

     1. 在「Models」(模型) 頁面中點選模型名稱，開啟模型版本清單。

     2. 按一下版本號碼。

     3. 選取要比較的評估作業，然後勾選旁邊的核取方塊。

3. 按一下 [Compare] (比較) 。

後續步驟

• 瞭解如何評估模型的公平性。