Ajuste contínuo para ajuste do aprendizado por reforço

Com o ajuste contínuo, é possível continuar ajustando um modelo ou um ponto de verificação de modelo já ajustado adicionando mais épocas ou exemplos de treinamento. Usar um modelo ou ponto de verificação já ajustado como modelo de base permite uma experimentação de ajuste mais eficiente.

É possível usar o ajuste contínuo para:

  • Para ajustar com mais dados se um modelo ajustado estiver com underfitting.
  • Para aumentar o desempenho ou manter o modelo atualizado com novos dados.
  • Para personalizar ainda mais um modelo ajustado.

Padrões de ajuste contínuo compatíveis

Os seguintes padrões de ajuste contínuo são compatíveis:

  • Ajuste supervisionado → Ajuste do aprendizado por reforço
  • Ajuste do aprendizado por reforço → Ajuste do aprendizado por reforço

Configurar o ajuste contínuo

É possível configurar um job de ajuste contínuo no console do Cloud de Confiance ou usando a API REST.

Console

Para configurar um job de ajuste contínuo no console Cloud de Confiance :

  1. No Cloud de Confiance console, acesse a página Modelos > Ajuste.

    Acesse Ajuste.

  2. Clique em Criar modelo ajustado.
  3. Em Método de ajuste, selecione Ajuste refinado de aprendizado por reforço.
  4. Na seção Modelo base, selecione Ajustar um modelo pré-ajustado.
  5. Clique em Selecionar modelo, escolha o modelo ajustado anteriormente e selecione uma versão ou um checkpoint para continuar o ajuste.
  6. Siga as etapas restantes para configurar as funções de recompensa, o conjunto de dados de treinamento e os hiperparâmetros. Para mais informações, consulte o guia de início rápido do consoleCloud de Confiance .

REST

Para configurar um job de ajuste contínuo de maneira programática, inclua um bloco preTunedModel no corpo da solicitação que aponta para o modelo ajustado anteriormente (e, opcionalmente, um checkpoint específico). O restante da solicitação segue o mesmo esquema de um novo job de ajuste refinado de aprendizado por reforço.

{
  "description": "DESCRIPTION",
  "tunedModelDisplayName": "TUNED_MODEL_DISPLAY_NAME",
  "reinforcementTuningSpec": {
    "trainingDatasetUri": "TRAINING_DATASET",
    "validationDatasetUri": "VALIDATION_DATASET",
    "hyperParameters": HYPERPARAMETERS,
    "singleRewardConfig": REWARD_CONFIG
  },
  "preTunedModel": {
    "tunedModelName": "projects/PROJECT_ID/locations/LOCATION_ID/models/PRETUNED_MODEL_ID",
    "checkpointId": "CHECKPOINT_ID"
  }
}

Substitua:

  • DESCRIPTION: uma descrição do job de ajuste. Opcional.
  • TUNED_MODEL_DISPLAY_NAME: nome de exibição do modelo ajustado.
  • TRAINING_DATASET: URI do Cloud Storage do arquivo JSONL do conjunto de dados de treinamento.
  • VALIDATION_DATASET: URI do Cloud Storage do arquivo JSONL do conjunto de dados de validação. Opcional.
  • HYPERPARAMETERS: configuração de hiperparâmetro para o job de ajuste contínuo. Para mais detalhes, consulte a página Hiperparâmetros.
  • REWARD_CONFIG: configuração de recompensa. Para mais detalhes, consulte a página Funções de recompensa.
  • PROJECT_ID: o ID do projeto do Cloud de Confiance by S3NS .
  • LOCATION_ID: o ID do local.
  • PRETUNED_MODEL_ID: o ID do modelo ajustado anteriormente para continuar.
  • CHECKPOINT_ID: o ID de um ponto de verificação específico do modelo ajustado anteriormente. Opcional. Se omitido, o checkpoint mais recente do modelo pré-treinado será usado.

A seguir