Conjunto de datos de ajuste para el ajuste del aprendizaje por refuerzo

Un trabajo de ajuste de aprendizaje por refuerzo se basa en un conjunto de datos de entrenamiento y un conjunto de datos de validación opcional. Cada conjunto de datos es un archivo JSON almacenado en Cloud Storage, en el que cada línea es un solo ejemplo de ajuste.

En esta página, se describe el esquema del conjunto de datos, cómo usar el campo references para el cálculo de recompensas y los límites del conjunto de datos por modalidad que aplica el servicio.

Esquema del conjunto de datos

Cada línea del archivo de conjunto de datos JSONL sigue este esquema:

{
  "systemInstruction": {
    "role": string,
    "parts": [
      {
        "text": string
      }
    ]
  },
  "contents": [
    {
      "role": string,
      "parts": [
        {
          // Union field data: text or fileData.
          "text": string,
          "fileData": {
            "mimeType": string,
            "fileUri": string
          }
        }
      ]
    }
  ],
  "references": {
    string: string,
    ...
  }
}

Los campos contents y systemInstruction usan el mismo esquema que la API de generateContent de Gemini Enterprise Agent Platform. systemInstruction solo acepta texto. contents puede incluir datos de texto o de archivos (imagen, audio o video), sujetos a los límites del conjunto de datos.

El campo references

El campo references es específico del ajuste del aprendizaje por refuerzo. Almacena los metadatos que tu función de recompensa necesita para calificar la respuesta del modelo. Acepta un diccionario de cadena a cadena.

Por ejemplo, una recompensa de coincidencia de cadenas que compara la respuesta del modelo con una verdad fundamental conocida podría usar una línea de conjunto de datos como la siguiente:

{
  "systemInstruction": {
    "role": "system",
    "parts": [{ "text": "You are a helpful math tutor." }]
  },
  "contents": [
    {
      "role": "user",
      "parts": [{ "text": "What is 17 * 23? Put your final answer in $\\text{your answer}$." }]
    }
  ],
  "references": {
    "ground_truth_answer": "391"
  }
}

Tu función de recompensa puede leer references["ground_truth_answer"] y compararlo con el valor que produce el modelo. Para obtener detalles sobre cómo cada tipo de recompensa consume references, consulta la página Funciones de recompensa.

Límites de conjuntos de datos

Se aplican los siguientes límites a los conjuntos de datos de ajuste fino del aprendizaje por refuerzo:

Límites de la función multimodal

Se aplican los siguientes límites por modalidad cuando tu conjunto de datos incluye datos de imágenes, audio o video:

¿Qué sigue?

• Configura los hiperparámetros para tu trabajo de ajuste.
• Define funciones de recompensa.
• Supervisa el estado y las métricas del trabajo.
• Sigue la Cloud de Confiance guía de inicio rápido de la consola o la guía de inicio rápido de la API para crear tu primer trabajo de ajuste de aprendizaje por refuerzo.