Job de ajuste do aprendizado por reforço

Um job de ajuste de aprendizado por reforço para modelos do Gemini é configurado com três blocos de construção principais: um conjunto de dados de ajuste, hiperparâmetros que controlam o processo de treinamento e uma ou mais funções de recompensa que pontuam cada resposta do modelo. O serviço também expõe métricas e status do job para monitoramento.

Para um exemplo completo de como criar um job de ajuste, recuperar o modelo ajustado e executar a inferência, consulte o guia de início rápido do console doCloud de Confiance ou o guia de início rápido da API.

Preparar o conjunto de dados de ajuste

Um job de ajuste fino de aprendizado por reforço é impulsionado por um conjunto de dados de treinamento e um conjunto de dados de validação opcional. Cada conjunto de dados é um arquivo JSONL armazenado no Cloud Storage. Cada linha é um único exemplo de ajuste que contém um systemInstruction, contents (o comando a que o modelo responde durante o ajuste) e um mapa references que carrega todos os metadados necessários para que sua função de recompensa pontue a resposta do modelo (por exemplo, uma resposta de verdade, uma rubrica ou uma entrada de teste de unidade).

O ajuste fino de aprendizado por reforço aceita comandos multimodais (texto, imagem, áudio e vídeo), sujeitos a limites por arquivo e por comando.

Para conferir o esquema completo do conjunto de dados, os limites específicos da modalidade e um exemplo de como preencher references para o cálculo da recompensa, consulte a página Conjunto de dados de ajuste.

Configure os hiperparâmetros

Os hiperparâmetros controlam como o modelo é atualizado durante o ajuste de aprendizado por reforço, incluindo o nível de pensamento usado durante a geração, o tamanho do lote, as amostras por solicitação, o multiplicador da taxa de aprendizado, a contagem de épocas, os intervalos de avaliação e checkpoint, o comprimento máximo da saída e o tamanho do adaptador LoRA. As configurações padrão funcionam bem para a maioria das cargas de trabalho, mas você pode substituir qualquer uma delas ao criar um job de ajuste.

Para valores padrão, intervalos permitidos, regras dependentes do tamanho do conjunto de dados e combinações recomendadas, consulte a página Hiperparâmetros.

Definir funções de recompensa

Uma função de recompensa pontua numericamente cada resposta do modelo durante o ajuste. O sinal de recompensa é o que o aprendizado por reforço otimiza. Portanto, a qualidade dele determina diretamente a qualidade do ajuste. Todas as recompensas são cortadas no intervalo [-1, 1].

O ajuste do aprendizado por reforço é compatível com os seguintes tipos de recompensa:

  • Recompensa de correspondência de strings: compara a resposta do modelo (ou uma substring analisada dela) com um valor de informações empíricas fornecido em references.
  • Recompensa de classificação automática baseada no Gemini: usa um LLM como juiz para pontuar cada resposta, opcionalmente com análise de resposta.
  • Recompensa do Cloud Run: chama um serviço do Cloud Run gerenciado pelo usuário que retorna uma recompensa escalar para uma lógica de pontuação totalmente personalizável.
  • Recompensa composta: combina qualquer um dos tipos de recompensa acima com pesos por pontuador.

Antes de iniciar um job de ajuste, recomendamos validar sua configuração de recompensa no console Cloud de Confiance ou com o método da APIValidateReinforcementTuningReward.

Para esquemas de configuração detalhados, exemplos de código, configuração do IAM e práticas recomendadas de design de recompensas, consulte a página Funções de recompensa.

Monitorar o status e as métricas do job

Depois que um job de ajuste é iniciado, é possível acompanhar o estado do ciclo de vida dele (como JOB_STATE_PENDING, JOB_STATE_RUNNING, JOB_STATE_SUCCEEDED, JOB_STATE_FAILED, JOB_STATE_CANCELLING, JOB_STATE_CANCELLED) e inspecionar o progresso do ajuste de duas maneiras:

  • Por programação: emita uma solicitação GetTuningJob para recuperar o estado do job, tunedModel, detalhes do erro e metadados. Consulte o guia de início rápido da API para conferir um exemplo de comando curl.
  • Visualmente: abra a página de monitoramento do job no console Cloud de Confiance em Modelos > Ajuste, que mostra o experimento de ajuste subjacente com gráficos para as métricas de treinamento e avaliação emitidas em cada etapa (recompensa, duração da geração, latência de recompensa, detalhamentos por recompensa para recompensas compostas etc.).

O ajuste fino do aprendizado por reforço também produz checkpoints intermediários na frequência definida por checkpointInterval, que podem ser implantados e avaliados de forma independente antes da conclusão do job.

Para conferir a lista completa de métricas emitidas, métricas por tipo de recompensa, como interpretá-las e como acessar os pontos de verificação, consulte a página Métricas e monitoramento.

A seguir