強化學習微調的持續調整

持續微調功能可讓您新增更多訓練週期或訓練範例，繼續微調已微調的模型或模型檢查點。使用已調整的模型或檢查點做為基礎模型，可更有效率地進行調整實驗。

持續調整功能可用於以下目的：

  • 如果現有微調模型欠擬合，可使用更多資料進行微調。
  • 提升效能，或使用新資料更新模型。
  • 進一步自訂現有微調模型。

支援的持續調整模式

系統支援下列連續微調模式：

  • 監督式微調 → 強化學習微調
  • 強化學習微調 → 強化學習微調

設定持續調整

您可以在 Cloud de Confiance 控制台中設定持續微調作業，也可以使用 REST API 進行設定。

控制台

如要在 Cloud de Confiance 控制台中設定持續調整工作，請按照下列步驟操作：

  1. 在 Cloud de Confiance 控制台中，前往「模型」>「微調」 頁面。

    前往「Tuning」(微調)

  2. 按一下「Create tuned model」(建立調整後的模型)。
  3. 在「調整方法」下方，選取「強化學習微調」。
  4. 在「Base model」(基礎模型) 部分，選取「Tune a pre-tuned model」(微調預先微調的模型)。
  5. 按一下「選取模型」，選擇先前調整的模型，然後選取要繼續調整的版本或檢查點。
  6. 繼續完成剩餘步驟，設定獎勵函式、訓練資料集和超參數。詳情請參閱Cloud de Confiance 控制台快速入門。

REST

如要以程式輔助方式設定持續調整工作，請在要求主體中加入 preTunedModel 區塊，指向先前調整的模型 (以及選用的特定檢查點)。要求的其餘部分與新的強化學習微調工作遵循相同的結構定義。

{
  "description": "DESCRIPTION",
  "tunedModelDisplayName": "TUNED_MODEL_DISPLAY_NAME",
  "reinforcementTuningSpec": {
    "trainingDatasetUri": "TRAINING_DATASET",
    "validationDatasetUri": "VALIDATION_DATASET",
    "hyperParameters": HYPERPARAMETERS,
    "singleRewardConfig": REWARD_CONFIG
  },
  "preTunedModel": {
    "tunedModelName": "projects/PROJECT_ID/locations/LOCATION_ID/models/PRETUNED_MODEL_ID",
    "checkpointId": "CHECKPOINT_ID"
  }
}

更改下列內容：

  • DESCRIPTION：微調作業的說明。選填。
  • TUNED_MODEL_DISPLAY_NAME：微調模型的顯示名稱。
  • TRAINING_DATASET：訓練資料集 JSONL 檔案的 Cloud Storage URI。
  • VALIDATION_DATASET：驗證資料集 JSONL 檔案的 Cloud Storage URI。選填。
  • HYPERPARAMETERS：持續調整工作的超參數設定。詳情請參閱「超參數」頁面。
  • REWARD_CONFIG：獎勵設定。詳情請參閱「獎勵函數」頁面。
  • PROJECT_ID：您的 Cloud de Confiance by S3NS 專案 ID。
  • LOCATION_ID：地區 ID。
  • PRETUNED_MODEL_ID：先前微調的模型 ID，可從該模型繼續微調。
  • CHECKPOINT_ID：先前微調模型特定檢查點的 ID。選用屬性 - 如果省略，系統會使用預先訓練模型中的最新檢查點。

後續步驟