Conjunto de dados de ajuste para ajuste do aprendizado por reforço

Um job de ajuste fino de aprendizado por reforço é impulsionado por um conjunto de dados de treinamento e um conjunto de dados de validação opcional. Cada conjunto de dados é um arquivo JSON armazenado no Cloud Storage, em que cada linha é um único exemplo de ajuste.

Nesta página, descrevemos o esquema do conjunto de dados, como usar o campo references para o cálculo de recompensas e os limites de conjunto de dados por modalidade aplicados pelo serviço.

Esquema do conjunto de dados

Cada linha do arquivo de conjunto de dados JSONL segue este esquema:

{
  "systemInstruction": {
    "role": string,
    "parts": [
      {
        "text": string
      }
    ]
  },
  "contents": [
    {
      "role": string,
      "parts": [
        {
          // Union field data: text or fileData.
          "text": string,
          "fileData": {
            "mimeType": string,
            "fileUri": string
          }
        }
      ]
    }
  ],
  "references": {
    string: string,
    ...
  }
}

Os campos contents e systemInstruction usam o mesmo esquema da API generateContent da Gemini Enterprise Agent Platform. systemInstruction aceita apenas texto. contents pode incluir texto ou dados de arquivo (imagem, áudio ou vídeo), sujeito aos limites do conjunto de dados.

Campo references

O campo references é específico para o ajuste do aprendizado por reforço. Ele armazena todos os metadados que sua função de recompensa precisa para pontuar a resposta do modelo. Ele aceita um dicionário de string para string.

Por exemplo, uma recompensa de correspondência de strings que compara a resposta do modelo a uma informação empírica conhecida pode usar uma linha de conjunto de dados como esta:

{
  "systemInstruction": {
    "role": "system",
    "parts": [{ "text": "You are a helpful math tutor." }]
  },
  "contents": [
    {
      "role": "user",
      "parts": [{ "text": "What is 17 * 23? Put your final answer in $\\text{your answer}$." }]
    }
  ],
  "references": {
    "ground_truth_answer": "391"
  }
}

Sua função de recompensa pode ler references["ground_truth_answer"] e comparar com o valor produzido pelo modelo. Para detalhes sobre como cada tipo de recompensa consome references, consulte a página Funções de recompensa.

Limites do conjunto de dados

Os seguintes limites se aplicam a conjuntos de dados de ajuste refinado de aprendizado por reforço:

Limites multimodais

Os seguintes limites por modalidade se aplicam quando seu conjunto de dados inclui dados de imagem, áudio ou vídeo:

A seguir

• Configure os hiperparâmetros para o job de ajuste.
• Defina funções de recompensa.
• Monitore o status e as métricas do job.
• Siga o início rápido do consoleCloud de Confiance ou o início rápido da API para criar seu primeiro job de ajuste refinado de aprendizado por reforço.