模型評估元件

模型評估元件會將真值和批次預測結果做為輸入內容，並產生評估指標。實際資料是經過人工判定的「正確標籤」資料，通常會以您用來訓練模型的測試資料集中的目標欄位形式提供。詳情請參閱「Agent Platform 中的模型評估」。

Agent Platform 提供下列模型評估元件：

• ModelEvaluationClassificationOp
• ModelEvaluationForecastingOp
• ModelEvaluationRegressionOp

支援的模型類型

下表列出各模型評估元件支援的模型類型：

移除目標欄位

對於部分模型類型，BatchPredictionJob 元件會要求您從資料集中排除目標資料欄 (基準真相)。

設定表格資料集的切片格式

配量是具有指定特徵的表格資料子集。切片指標可為 AutoML 表格和自訂訓練分類模型提供更精細的評估指標。

舉例來說，假設有一個寵物領養資料集，模型會經過訓練，預測寵物是否會在一個星期內被領養。雖然查看整個資料集的指標很有用，但您可能對寵物的品種和年齡相關指標感興趣。換句話說，您感興趣的是資料集的下列子集：

這項細部分析有助於找出模型最容易出錯的地方，或確保模型在資料的重要子集上表現良好。

設定區隔

如要設定切片，請建立包含下列設定的 JSON 檔案：

{
  "FEATURE": {
    "KIND": {
      CONFIG
    }
  }
}

其中：

• FEATURE 是您要建立切片的特徵。例如：age。

• KIND 是下列其中一項：

  • value

    value 會針對特徵的單一值建立單一切片。將 CONFIG 指定為鍵/值組合，其中鍵為 float_value 或 string_value。例如："float_value": 1.0。

    以下範例設定會建立單一資料切片，其中包含 age 為 1 的資料：

    {
      "age": {
        "value": {
          "float_value": 1.0
        }
      }
    }

  • range

    range 會建立單一切片，其中包含指定範圍內的資料。 將 CONFIG 指定為兩個鍵/值組合，其中鍵為 low 和 high。

    以下範例設定會建立單一切片，其中包含 age 介於 1 和 3 之間的資料：

    {
      "age": {
        "range": {
          "low": 1,
          "high": 3
        }
      }
    }

  • all_values

    all_values 會為特徵的每個可能標籤建立個別的切片。將 CONFIG 指定為 "value": true。

    下列範例設定會建立三個切片，分別對應 "dog"、"cat" 和 "rabbit"：

    {
      "species": {
        "all_values": {
          "value": true
        }
      }
    }

你也可以使用多項功能建立一或多個切片。

下列設定會建立單一資料切片，其中 age 介於 1 和 3 之間，且 species 為 "dog"：

{
  "age": {
    "range": {
      "low": 1,
      "high": 3
    }
  },
  "species": {
    "value": {
      "string_value": "dog"
    }
  }
}

下列設定會建立多個切片，資料集中的每個不重複物種各有一個切片，其中 age 為 1。

{
  "species": {
    "all_values": {
      "value": true
    }
  },
  "age": {
    "value": {
      "float_value": 1.0
    }
  }
}

產生的切片包含範例資料集中的下列資料：

• 切片 1： age:1 和 species:"dog"

• 切片 2： age:1 和 species:"cat"

• 區塊 3： age:1 和 species:"rabbit"

設定區隔格式

如要為 ModelEvaluationClassificationOp 元件設定切片格式，請按照下列步驟操作：

1. 建立 slicing_spec。例如：

   from google.cloud.aiplatform_v1.types.ModelEvaluationSlice.Slice import SliceSpec
   from google.cloud.aiplatform_v1.types.ModelEvaluationSlice.Slice.SliceSpec import SliceConfig
   
   slicing_spec = SliceSpec(configs={ 'feature_a': SliceConfig(SliceSpec.Value(string_value='label_a') ) })

2. 建立清單以儲存切片設定。例如：

   slicing_specs = []

3. 將每個 slicing_spec 格式設為 JSON 或字典。例如：

   slicing_spec_json = json_format.MessageToJson(slicing_spec)
   
   slicing_spec_dict = json_format.MessageToDict(slicing_spec)

4. 將每個 slicing_spec 合併成清單。例如：

   slicing_specs.append(slicing_spec_json)

5. 將 slicing_specs 做為參數傳遞至 ModelEvaluationClassificationOp 元件。例如：

   ModelEvaluationClassificationOp(slicing_specs=slicing_specs)

格式化公平性指標設定切片

如要評估模型的公平性，請使用下列元件：

• DetectDataBiasOp：傳回您傳遞至元件的切片資料偏誤指標。

• DetectModelBiasOp：傳回您傳遞至元件的切片模型偏誤指標。

如要為 DetectDataBiasOp 和 DetectModelBiasOp 元件設定切片格式，請按照下列步驟操作：

1. 建立 BiasConfig。例如：

   from google.cloud.aiplatform_v1.types.ModelEvaluation import BiasConfig
   from google.cloud.aiplatform_v1.types.ModelEvaluationSlice.Slice import SliceSpec
   from google.cloud.aiplatform_v1.types.ModelEvaluationSlice.Slice.SliceSpec import SliceConfig
   
   bias_config = BiasConfig(bias_slices=SliceSpec(configs={ 'feature_a': SliceConfig(SliceSpec.Value(string_value='label_a') ) }))

2. 建立清單來儲存偏誤設定。例如：

   bias_configs = []

3. 將每個 bias_config 格式設為 JSON 或字典。例如：

   bias_config_json = json_format.MessageToJson(bias_config)
   
   bias_config_dict = json_format.MessageToDict(bias_config)

4. 將每個 bias_config 合併成清單。例如：

   bias_configs.append(bias_config_json)

5. 將 bias_configs 做為參數傳遞至 DetectDataBiasOp 或 DetectModelBiasOp 元件。例如：

   DetectDataBiasOp(bias_configs=bias_configs)
   
   DetectModelBiasOp(bias_configs=bias_configs)

必要輸入參數

模型評估元件的必要輸入參數會因評估的模型類型而異。

AutoML 模型

訓練 AutoML 模型時，Gemini Enterprise Agent Platform 會使用預設結構定義。如果您使用非預設結構定義訓練模型，模型評估元件的某些輸入參數就必須提供。

您可以從下列 Cloud Storage 位置查看及下載結構定義檔案：
gs://google-cloud-aiplatform/schema/modelevaluation/

以下分頁分別顯示批次預測輸出檔案範例，以及各個表格模型類型參數所需的輸入參數：

{
  "instance": {
    "male": "1",
    "age": "49",
    "heartRate": "67",
    "education": "medium_high",
    "totChol": "282",
    "diaBP": "79",
    "BPMeds": "0",
    "currentSmoker": "current_high",
    "cigsPerDay": "25",
    "prevalentStroke": "stroke_0",
    "prevalentHyp": "hyp_0",
    "TenYearCHD": "FALSE",
    "diabetes": "0",
    "sysBP": "134",
    "BMI": "26.87",
    "glucose": "78"
    },
  "prediction": {
      "scores": [0.3666940927505493, 0.6333059072494507],
      "classes": ["0", "1"]
    }
}
          

{
  "instance": {
    "BPMeds": "0",
    "diabetes": "0",
    "diaBP": "65",
    "cigsPerDay": "45",
    "prevalentHyp": "hyp_0",
    "age": "46",
    "male": "1",
    "sysBP": "112.5",
    "glucose": "78",
    "BMI": "27.48",
    "TenYearCHD": "FALSE",
    "totChol": "209",
    "education": "high",
    "prevalentStroke": "stroke_0",
    "heartRate": "75",
    "currentSmoker": "current_high"
  },
  "prediction": {
    "value": 44.96103286743164,
    "lower_bound": 44.61349868774414,
    "upper_bound": 44.590206146240234
  }
}
          

date,store_name,city,zip_code,county,sale_dollars
2020-03-17,Thriftway,,,,774.08999999999992
2020-03-10,Thriftway,,,,1160.67
2020-03-03,Thriftway,,,,2247.24
2020-06-08,New Star / Fort Dodge,,,,753.98
2020-06-01,New Star / Fort Dodge,,,,967.73
2020-01-10,Casey's General Store #1280 / Fort Dodge,,,,1040.92
2020-10-30,KUM & GO #76 / ADAIR,Adair,50002,ADAIR,1387.02
          

date,store_name,city,zip_code,county
2020-03-17,Thriftway,nan,nan,nan
2020-03-10,Thriftway,nan,nan,nan
2020-03-03,Thriftway,nan,nan,nan
2020-06-08,New Star / Fort Dodge,nan,nan,nan
2020-06-01,New Star / Fort Dodge,nan,nan,nan
2020-01-10,Casey's General Store #1280 / Fort Dodge,nan,nan,nan
2020-10-30,KUM & GO #76 / ADAIR,Adair,50002.0,ADAIR
          

{
  "instance": {
    "content": "gs://kbn-us-central1-test/datasets/text/happy_11556.txt",
    "mimeType":"text/plain"
  },
  "prediction": {
    "ids":    ["7903916851837534208","3292230833410146304","986387824196452352","2139309328803299328","5598073842623840256","6750995347230687232","4559431178561519616"],
    "displayNames": ["affection","bonding","achievement","exercise","nature","enjoy_the_moment","leisure"],
    "confidences": [0.99483216,0.005162797,4.1117933E-6,3.9997E-7,2.4624453E-7,1.9969502E-7,1.16997434E-7]
  }
}
          

自訂訓練模型

如果是自訂訓練模型，BatchPredictionJob 元件會要求您從資料集中排除目標資料欄 (基準真相)。您可以使用 TargetFieldDataRemoverOp 元件，提升工作流程效率。

以下範例顯示批次預測輸出檔案，以及自訂訓練表格分類模型所需的輸入參數：

petal_length,petal_width,sepal_length,sepal_width,species
6.4,2.8,5.6,2.2,2
5.0,2.3,3.3,1.0,1
4.9,2.5,4.5,1.7,2
4.9,3.1,1.5,0.1,0
          

petal_length,petal_width,sepal_length,sepal_width
6.4,2.8,5.6,2.2
5.0,2.3,3.3,1.0
4.9,2.5,4.5,1.7
4.9,3.1,1.5,0.1
          

{
  "instance": [5.6, 2.5, 3.9, 1.1],
  "prediction": [0.0005816521588712931, 0.9989032745361328, 0.0005150380893610418]
}
{
  "instance": [5.0, 3.6, 1.4, 0.2],
  "prediction": [0.999255359172821, 0.000527293945197016, 0.00021737271163146943]
}
{
  "instance": [6.0, 2.9, 4.5, 1.5],
  "prediction": [0.00025063654175028205, 0.9994204044342041, 0.00032893591560423374]
}
          

模型評估作業，但沒有 Agent Platform 生成的批次預測

您可以搭配使用模型評估管道元件和批次預測，但批次預測並非在 Agent Platform 中產生。但請注意，模型評估管道元件的輸入內容必須是批次預測目錄，其中包含符合下列前置字元的檔案：

• prediction.results-

• explanation.results-

• predictions_

API 參考資料

• 如需元件參考資料，請參閱Cloud de Confiance by S3NS 模型評估元件的 SDK 參考頁面。

• 如需如何使用模型評估元件的範例，請參閱「建立評估」一節列出的筆記本。

版本記錄和版本資訊

如要進一步瞭解 Cloud de Confiance by S3NS Pipeline Components SDK 的版本記錄和變更，請參閱 Cloud de Confiance by S3NS Pipeline Components SDK 版本資訊。