Hiperparâmetros para ajuste do aprendizado por reforço

Os hiperparâmetros controlam como os pesos do modelo são atualizados durante o ajuste fino do aprendizado por reforço. Os padrões são ajustados para funcionar bem na maioria das cargas de trabalho, mas é possível substituir qualquer um deles no console Cloud de Confiance (em Detalhes do modelo > Opções avançadas > Configuração de ajuste ao criar um modelo ajustado) ou no corpo da solicitação ao criar um job de ajuste com a API REST.

Hiperparâmetros disponíveis

Para a definição de API desses parâmetros, consulte a referência da API ReinforcementTuningHyperParameters.

epochCount

O número de vezes que o conjunto de dados é iterado. Isso é diferente do número de etapas de treinamento. Cada época pode produzir um número variável de etapas de treinamento.

• Padrão:min(110 * promptsPerBatch / promptsInDataset, 10) se deixado em branco. O padrão é calculado dinamicamente para que o modelo veja cada solicitação várias vezes, limitado a 10 épocas para evitar overfitting em conjuntos de dados menores.
• Máximo:a execução total do treinamento é limitada a 500 etapas para ajuste estável.

learningRateMultiplier

Um multiplicador aplicado à taxa de aprendizado base na camada do adaptador.

• Padrão: 1
• Intervalo permitido: [1/4, 4]

thinkingLevel

Controla o comprimento e a profundidade do processamento interno de linha de raciocínio usado durante a geração.

• Padrão: HIGH
• Valores permitidos:MINIMAL, HIGH (pensamento dinâmico)

batchSize e samplesPerPrompt

Esses dois hiperparâmetros controlam como os comandos são agrupados em lotes e quantas respostas o modelo gera por comando durante cada etapa de treinamento.

• batchSize: o número de comandos por lote (também chamado de promptsPerBatch). Um tamanho de lote maior diminui o ajuste, mas pode gerar atualizações mais estáveis para cada etapa.
  • Padrão: 32
• samplesPerPrompt: o número de respostas diferentes que o modelo gera para cada comando durante uma única etapa de treinamento. Um samplesPerPrompt maior diminui a velocidade do ajuste, mas pode aumentar a diversidade de respostas que o modelo explora.
  • Padrão: 16

O produto batchSize * samplesPerPrompt está sujeito a restrições específicas da modalidade:

evaluateInterval

A frequência com que o modelo é avaliado durante o ajuste. O intervalo é medido em etapas, não em épocas.

checkpointInterval

A frequência com que o progresso do ajuste do modelo é salvo como um checkpoint para recuperação ou uso posterior. O intervalo é medido em etapas, não em épocas.

• Recomendado:defina checkpointInterval = evaluateInterval * N, em que N é um número inteiro positivo.

maxOutputTokens

O tamanho máximo da geração de saída para o modelo ajustado.

• Limite padrão e máximo:32,768

adapterSize

O tamanho do adaptador LoRA. Tamanhos maiores de adaptadores oferecem maior capacidade de aprendizado para tarefas complexas, mas exigem mais tempo de treinamento e memória.

• Padrão: ADAPTER_SIZE_SIXTEEN

A seguir

• Prepare um conjunto de dados de ajuste.
• Defina funções de recompensa para o job de ajuste.
• Monitore o status e as métricas do job.
• Siga o início rápido do consoleCloud de Confiance ou o início rápido da API para criar seu primeiro job de ajuste refinado de aprendizado por reforço.