模型監控總覽
在 BigQuery ML 中監控機器學習 (ML) 模型,即可評估及比較模型用於預測的資料。包括比較模型的提供資料與訓練資料,以及比較新的提供資料與先前使用的提供資料。
瞭解模型使用的資料是機器學習的重要環節,因為這些資料會影響模型效能。瞭解訓練和提供資料之間的差異,對於確保模型長期準確性尤為重要。如果提供資料與訓練資料相似,模型成效會最好。如果提供資料與模型訓練資料不同,就算模型本身沒有變動,效能也可能會降低。
BigQuery ML 提供多項函式,可協助您分析訓練和提供資料,找出資料偏斜和資料偏移:
- 如果訓練資料的特徵值分布情形與正式環境中的服務資料有顯著差異,就會發生資料偏斜。模型的訓練統計資料會在模型訓練期間儲存,因此您不需要原始訓練資料,即可使用偏差偵測功能。
- 當正式環境的特徵資料分布隨時間大幅變動時,就會發生資料偏移。系統支援連續資料範圍的偏移偵測,例如不同日期的供應資料。這樣一來,如果提供資料隨時間變化,您就能在資料集差異過大而無法重新訓練模型之前,收到通知。
使用下列函式,在 BigQuery ML 中監控模型:
ML.DESCRIBE_DATA:計算一組訓練或服務資料的敘述統計資料。ML.VALIDATE_DATA_SKEW:計算一組服務資料的統計資料,然後與訓練 BigQuery ML 模型時計算的訓練資料統計資料進行比較,找出兩個資料集之間的異常差異。系統只會針對提供資料中與訓練資料特徵欄相符的特徵欄計算統計資料,以提升效能並降低成本。ML.VALIDATE_DATA_DRIFT:計算並比較兩組服務資料的統計資料,找出兩組資料集之間的異常差異。ML.TFDV_DESCRIBE:針對一組訓練或服務資料,計算精細的敘述統計資料。這個函式的行為與 TensorFlowtfdv.generate_statistics_from_csvAPI 相同。ML.TFDV_VALIDATE:比較訓練和應用資料的統計資料,或兩組應用資料的統計資料,找出兩個資料集之間的異常差異。這項函式的行為與 TensorFlowvalidate_statisticsAPI 相同。
Monitoring 用途
本節說明如何在常見的監控用途中,使用 BigQuery ML 模型監控函式。
基本資料偏斜監控
如果您想快速開發及監控模型,瞭解資料偏斜情形,且不需要精細的偏斜統計資料,來與現有監控解決方案整合,就適合採用這種做法。
這個用途的一般步驟如下:
- 對訓練和服務資料執行
ML.DESCRIBE_DATA函式,確保兩個資料集能適當比較,且在預期參數範圍內。 - 建立 BigQuery ML 模型,並使用訓練資料進行訓練。
- 執行
ML.VALIDATE_DATA_SKEW函式,比較提供資料統計資料與模型建立期間計算的訓練資料統計資料,確認是否有任何資料偏斜。 - 如果資料偏斜,請調查根本原因,適當調整訓練資料,然後重新訓練模型。
基本資料偏移監控
如果您想快速開發模型並監控資料偏移,且不需要精細的偏移統計資料來整合現有監控解決方案,就適合採用這種做法。
這個用途的一般步驟如下:
- 對訓練和提供資料執行
ML.DESCRIBE_DATA函式,確保兩個資料集能適當比較,且在預期參數範圍內。 - 建立 BigQuery ML 模型,並使用訓練資料進行訓練。
- 執行
ML.VALIDATE_DATA_DRIFT函式,比較兩個不同服務資料集的統計資料,看看是否有資料偏移。舉例來說,您可能想將目前的特徵供應資料與資料表快照中的歷來特徵供應資料進行比較,或與特定時間點供應的特徵進行比較,您可以使用ML.FEATURES_AT_TIME函式取得這些資料。 - 如果發生資料偏移,請調查根本原因、適當調整訓練資料,然後重新訓練模型。
進階資料偏斜或偏移監控
如要將精細的偏誤或偏移統計資料與現有監控解決方案整合,或用於其他用途,就適合採用這個做法。
這個用途的一般步驟如下:
- 請根據監控解決方案,以適當的時間間隔對訓練和服務資料執行
ML.TFDV_DESCRIBE函式,並儲存查詢結果。這個步驟可讓您比較未來的提供資料,以及過去時間點的訓練和提供資料。 對訓練和服務資料統計資料,或兩組服務資料統計資料執行
ML.TFDV_VALIDATE函式,分別評估資料偏斜或特徵偏移。訓練和提供資料必須以 JSON 格式的 TensorFlowDatasetFeatureStatisticsList通訊協定緩衝區提供。您可以執行ML.TFDV_DESCRIBE函式,以正確格式產生通訊協定緩衝區,也可以從 BigQuery 外部載入。以下範例說明如何評估特徵扭曲:DECLARE stats1 JSON; DECLARE stats2 JSON; SET stats1 = ( SELECT * FROM ML.TFDV_DESCRIBE(TABLE `myproject.mydataset.training`) ); SET stats2 = ( SELECT * FROM ML.TFDV_DESCRIBE(TABLE `myproject.mydataset.serving`) ); SELECT ML.TFDV_VALIDATE(stats1, stats2, 'SKEW'); INSERT `myproject.mydataset.serve_stats` (t, dataset_feature_statistics_list) SELECT CURRENT_TIMESTAMP() AS t, stats1;
如果發生資料偏斜或資料偏移,請調查根本原因,適當調整訓練資料,然後重新訓練模型。
監控圖表
部分監控函式可與 Gemini Enterprise Agent Platform 模型監控整合,讓您使用圖表分析模型監控函式輸出內容。
使用 Agent Platform 視覺化功能有以下優點:
- 互動式視覺化:在 Agent Platform 控制台中使用圖表和圖形,探索資料分布、偏斜指標和偏移指標。
- 歷來分析:使用 Agent Platform 視覺化圖表,追蹤模型監控結果隨時間的變化。這可讓您找出資料變化的趨勢和模式,以便主動更新及維護模型。
- 集中管理:在整合式 Agent Platform 資訊主頁中,管理所有 BigQuery ML 和 Agent Platform 模型的監控作業。
您可以使用 ML.VALIDATE_DATA_DRIFT 函式的 MODEL 引數,啟用該函式輸出的視覺化功能。您可以使用 ML.VALIDATE_DATA_SKEW 函式的 enable_visualization_link 引數,啟用該函式輸出的視覺化功能。
只有註冊至 Agent Platform 的模型,才能使用監控圖表。您可以使用 ALTER MODEL 陳述式註冊現有模型。
監控自動化
您可以使用排定的查詢執行監控函式、評估輸出內容,並在偵測到異常狀況時重新訓練模型,藉此自動監控。設定排定查詢時,必須啟用電子郵件通知。
如需自動化 ML.VALIDATE_DATA_SKEW 函式的範例,請參閱「自動偵測偏差」。
後續步驟
如要進一步瞭解機器學習模型支援的 SQL 陳述式和函式,請參閱「機器學習模型的端對端使用者歷程」。