Gemini 模型的強化學習微調工作由三個主要建構區塊設定：微調資料集、控制訓練程序的超參數，以及一或多個獎勵函式，用於評估每個模型的回覆。這項服務也會公開指標和工作狀態，供您監控。
如需建立微調作業、擷取微調模型及執行推論的端對端範例，請參閱Cloud de Confiance 主控台快速入門導覽課程或 API 快速入門導覽課程。
準備調整資料集
強化學習微調作業會由訓練資料集和選用的驗證資料集驅動。每個資料集都是儲存在 Cloud Storage 中的 JSONL 檔案。每一行都是單一微調範例，包含 systemInstruction、contents (模型在微調期間回應的提示)，以及 references 對應，其中包含獎勵函數評估模型回應所需的中繼資料 (例如基準真相答案、評分標準或單元測試輸入)。
強化學習微調支援多模態提示詞 (文字、圖片、音訊和影片)，但須遵守每個檔案和每個提示的限制。
如要查看完整資料集結構定義、特定模式的資料集限制，以及如何填入 references 以計算獎勵的範例，請參閱「微調資料集」頁面。
設定超參數
超參數可控制模型在強化學習微調期間的更新方式，包括生成期間使用的思考層級、批次大小、每個提示的樣本數、學習率乘數、訓練週期數、評估和檢查點間隔、最大輸出長度，以及 LoRA 轉接器大小。預設值適用於大多數工作負載，但您可以在建立微調工作時覆寫任何預設值。
如要瞭解預設值、允許的範圍、取決於資料集大小的規則，以及建議的組合，請參閱「超參數」頁面。
定義獎勵函式
在調整過程中，獎勵函式會為每個模型回覆評分。強化學習會根據獎勵信號進行最佳化，因此獎勵信號的品質會直接決定微調品質。所有獎勵都會剪輯到範圍 [-1, 1]。
強化學習微調支援下列獎勵類型：
- 字串比對回饋：比較模型回應 (或其中的剖析子字串) 與
references中提供的基準真相值。 - 以 Gemini 為基礎的自動評分員獎勵：以 LLM 做為評審，為每則回覆評分 (可選擇是否剖析回覆)。
- Cloud Run 回饋：呼叫使用者管理的 Cloud Run 服務，傳回純量回饋，適用於完全可自訂的評分邏輯。
- 複合獎勵：結合上述任一獎勵類型和每個評分者的權重。
強烈建議您先在 Cloud de Confiance 控制台中或使用 ValidateReinforcementTuningReward API 方法驗證獎勵設定，再啟動微調作業。
如需詳細的設定結構定義、程式碼範例、IAM 設定和獎勵設計最佳做法，請參閱「獎勵函式」頁面。
監控工作狀態和指標
啟動微調作業後，您可以追蹤作業的生命週期狀態 (例如 JOB_STATE_PENDING、JOB_STATE_RUNNING、JOB_STATE_SUCCEEDED、JOB_STATE_FAILED、JOB_STATE_CANCELLING、JOB_STATE_CANCELLED)，並透過下列兩種方式檢查微調進度：
- 透過程式輔助：發出
GetTuningJob要求，擷取工作狀態、tunedModel、錯誤詳細資料和中繼資料。如需curl指令範例，請參閱「API 快速入門」。 - 視覺化：在 Cloud de Confiance 控制台開啟工作監控頁面，依序點選「模型」>「微調」，即可查看基礎微調實驗，以及每個步驟發出的訓練和評估指標圖表 (獎勵、生成長度、獎勵延遲、複合獎勵的每項獎勵細目等)。
強化學習微調作業也會以 checkpointInterval 設定的頻率產生中繼檢查點，您可以在作業完成前，獨立部署及評估這些檢查點。
如需發出的指標完整清單、各獎勵類型的指標、如何解讀指標，以及如何存取檢查點，請參閱「指標和監控」頁面。