超参数控制着在强化学习微调期间模型权重的更新方式。默认值经过调整，可适用于大多数工作负载，但您可以在 Cloud de Confiance 控制台中（创建调优模型时，在模型详情 > 高级选项 > 调优设置下）或在通过 REST API 创建调优作业时的请求正文中替换任何默认值。
可用的超参数
如需查看这些参数的 API 定义，请参阅 ReinforcementTuningHyperParameters API 参考文档。
epochCount
数据集的迭代次数。这与训练步数不同，每个周期可以产生不同数量的训练步数。
- 默认值：如果留空，则为
min(110 * promptsPerBatch / promptsInDataset, 10)。默认值是动态计算的，这样模型就可以多次看到每个提示，但上限为 10 个周期，以防止在较小的数据集上出现过拟合。 - 上限：为了实现稳定的调优，总训练运行次数上限为 500 步。
learningRateMultiplier
应用于适配器层的基础学习速率的系数。
- 默认：
1 - 允许的范围：
[1/4, 4]
thinkingLevel
控制生成期间使用的内部思维链处理的长度和深度。
- 默认：
HIGH - 允许的值：
MINIMAL、HIGH（动态思维）
batchSize和samplesPerPrompt之间
这两个超参数控制着提示的批处理方式，以及模型在每个训练步骤中针对每个提示生成的回答数量。
batchSize- 每个批次的提示数量（也称为promptsPerBatch）。批次大小越大，调整速度越慢，但每步可产生更稳定的更新。- 默认：
32
- 默认：
samplesPerPrompt- 模型在单个训练步中针对每个提示生成不同回答的数量。较大的samplesPerPrompt会减慢调优速度，但可以增加模型探索的回答多样性。- 默认：
16
- 默认：
产品 batchSize * samplesPerPrompt 受限于特定于模态的限制：
| 模态 | 对 batchSize * samplesPerPrompt 的限制 |
|---|---|
| 文本 | 必须能被 16 整除，且小于或等于 8,192 |
| 多模态（图片、音频或视频） | 必须能被 16 整除，且小于或等于 1,024 |
evaluateInterval
在调优期间评估模型的频率。该间隔以步数（而非周期数）来衡量。
checkpointInterval
将模型调优进度保存为检查点的频率，以便进行恢复或供日后使用。间隔以步数为单位，而非以周期为单位。
- 建议：设置
checkpointInterval = evaluateInterval * N，其中N是正整数。
maxOutputTokens
调优后的模型所能生成的最大输出长度。
- 默认限额和上限：
32,768
adapterSize
LoRA 适配器大小。较大的适配器尺寸可提供更强的学习能力，以应对复杂的任务，但会增加训练时间和内存消耗。
- 默认：
ADAPTER_SIZE_SIXTEEN
后续步骤
- 准备调优数据集。
- 为您的调优作业定义奖励函数。
- 监控作业状态和指标。
- 按照Cloud de Confiance 控制台快速入门或 API 快速入门创建您的第一个强化学习微调作业。