Hello 圖片資料:評估及分析模型效能

使用 Cloud de Confiance 控制台查看模型效能。分析測試錯誤,透過修正資料問題,反覆提升模型品質。

本教學課程包含多個頁面:

  1. 設定專案和環境。

  2. 建立圖片分類資料集並匯入圖片。

  3. 訓練 AutoML Image 分類模型。

  4. 評估及分析模型效能。

  5. 將模型部署至端點,並傳送預測要求。

  6. 清理專案。

每個頁面都假設您已執行本教學課程前幾頁的操作說明。

1. 瞭解 AutoML 模型評估結果

訓練完成後,系統會自動根據測試資料分割評估模型。在「Model Registry」頁面或「Dataset」(資料集) 頁面中,點選模型名稱,即可查看對應的評估結果。

您可以在該頁面找到評估模型成效的指標。

評估頁面

如要進一步瞭解不同的評估指標,請參閱「評估、測試及部署模型」一節。

2. 分析測試結果

如要繼續提升模型效能,第一步通常是檢查錯誤案例,並調查可能的原因。每個類別的評估頁面都會顯示該類別的詳細測試圖片,並分類為偽陰性、偽陽性和真陽性。如需各類別的定義,請參閱「評估、測試及部署模型」一節。

如要進一步查看每個類別下各張圖片的預測詳細資料,請點選圖片,即可存取詳細分析結果。頁面右側會顯示「Review similar images」(查看類似圖片) 面板,其中會顯示訓練集中最接近的樣本,並以特徵空間中的距離測量。

Error_analysis 頁面

您可能需要注意兩種類型的資料問題:

  1. 標籤不一致。如果訓練集中外觀相似的樣本與測試樣本有不同的標籤,可能是其中一個標籤有誤,或細微差異需要更多資料供模型學習,或目前的類別標籤不夠準確,無法描述指定樣本。查看類似圖片有助於確保標籤資訊正確無誤,方法是修正錯誤案例,或從測試集中排除有問題的樣本。您可以在同一頁面的「Review similar images」(查看類似圖片) 面板中,輕鬆變更測試圖片或訓練圖片的標籤。

  2. 離群值。如果測試樣本標示為離群值,訓練集中可能沒有視覺上相似的樣本,可協助訓練模型。查看訓練集中的類似圖片,有助於找出這些樣本,並在訓練集中加入類似圖片,進一步提升模型在這些情況下的效能。

後續步驟

如果對模型成效感到滿意,請按照本教學課程下一頁的指示,將訓練好的 AutoML 模型部署至端點,並將圖片傳送至模型進行預測。否則,如果您對資料進行任何修正,請使用「訓練 AutoML 圖片分類模型」教學課程訓練新模型。