针对强化学习微调的持续调优

通过持续调优，您可以添加更多周期或训练示例，继续调优已调优的模型或模型检查点。使用已调优的模型或检查点作为基础模型，可以更高效地进行调优实验。

您可以出于以下目的使用持续调优：

  • 如果现有调优模型出现欠拟合，则使用更多数据进行调优。
  • 为了提升性能或使模型能够根据新数据及时更新。
  • 进一步自定义现有的调优模型。

支持的持续调优模式

支持以下持续调优模式：

  • 监督式微调 → 强化学习微调
  • 强化学习微调 → 强化学习微调

配置持续调优

您可以在 Cloud de Confiance 控制台中或使用 REST API 配置持续调优作业。

控制台

如需在 Cloud de Confiance 控制台中配置持续调优作业，请执行以下操作：

  1. 在 Cloud de Confiance 控制台中，前往模型 > 调优页面。

    前往调优

  2. 点击创建经调整的模型。
  3. 在调优方法下，选择强化学习微调。
  4. 在基础模型部分中，选择对已预调优的模型进行调优。
  5. 点击选择模型，选择之前调优的模型，然后选择一个版本或检查点，以便从该版本或检查点继续调优。
  6. 继续执行其余步骤，以配置奖励函数、训练数据集和超参数。如需了解详情，请参阅Cloud de Confiance 控制台快速入门。

REST

如需以编程方式配置持续调优作业，请在请求正文中添加一个 preTunedModel 块，该块指向之前调优的模型（以及可选的特定检查点）。请求的其余部分遵循与新的强化学习微调作业相同的架构。

{
  "description": "DESCRIPTION",
  "tunedModelDisplayName": "TUNED_MODEL_DISPLAY_NAME",
  "reinforcementTuningSpec": {
    "trainingDatasetUri": "TRAINING_DATASET",
    "validationDatasetUri": "VALIDATION_DATASET",
    "hyperParameters": HYPERPARAMETERS,
    "singleRewardConfig": REWARD_CONFIG
  },
  "preTunedModel": {
    "tunedModelName": "projects/PROJECT_ID/locations/LOCATION_ID/models/PRETUNED_MODEL_ID",
    "checkpointId": "CHECKPOINT_ID"
  }
}

替换以下内容：

  • DESCRIPTION：调优作业的说明。可选。
  • TUNED_MODEL_DISPLAY_NAME：经过调优的模型的显示名称。
  • TRAINING_DATASET：训练数据集 JSONL 文件的 Cloud Storage URI。
  • VALIDATION_DATASET：验证数据集 JSONL 文件的 Cloud Storage URI。可选。
  • HYPERPARAMETERS：持续调优作业的超参数配置。如需了解详情，请参阅超参数页面。
  • REWARD_CONFIG：奖励配置。如需了解详情，请参阅奖励函数页面。
  • PROJECT_ID：您的 Cloud de Confiance by S3NS 项目 ID。
  • LOCATION_ID：位置 ID。
  • PRETUNED_MODEL_ID：要继续调优的之前调优的模型的模型 ID。
  • CHECKPOINT_ID：之前调优的模型的特定检查点的 ID。可选 - 如果省略，则使用预训练模型的最新检查点。

后续步骤