Ensemble de données de réglage pour l'affinage par apprentissage par renforcement

Un job d'affinage par apprentissage par renforcement est basé sur un ensemble de données d'entraînement et un ensemble de données de validation facultatif. Chaque ensemble de données est un fichier JSON stocké dans Cloud Storage, où chaque ligne est un exemple de réglage.

Cette page décrit le schéma du jeu de données, comment utiliser le champ references pour le calcul des récompenses et les limites de jeu de données par modalité appliquées par le service.

Schéma de l'ensemble de données

Chaque ligne du fichier de données JSONL suit ce schéma :

{
  "systemInstruction": {
    "role": string,
    "parts": [
      {
        "text": string
      }
    ]
  },
  "contents": [
    {
      "role": string,
      "parts": [
        {
          // Union field data: text or fileData.
          "text": string,
          "fileData": {
            "mimeType": string,
            "fileUri": string
          }
        }
      ]
    }
  ],
  "references": {
    string: string,
    ...
  }
}

Les champs contents et systemInstruction utilisent le même schéma que l'API generateContent de Gemini Enterprise Agent Platform. systemInstruction n'accepte que du texte. contents peut inclure des données textuelles ou des données de fichier (image, audio ou vidéo), sous réserve des limites de l'ensemble de données.

Le champ references

Le champ references est spécifique au réglage fin par apprentissage par renforcement. Il stocke toutes les métadonnées dont votre fonction de récompense a besoin pour évaluer la réponse du modèle. Il accepte un dictionnaire de chaînes.

Par exemple, une récompense de correspondance de chaîne qui compare la réponse du modèle à une vérité terrain connue peut utiliser une ligne de l'ensemble de données comme suit :

{
  "systemInstruction": {
    "role": "system",
    "parts": [{ "text": "You are a helpful math tutor." }]
  },
  "contents": [
    {
      "role": "user",
      "parts": [{ "text": "What is 17 * 23? Put your final answer in $\\text{your answer}$." }]
    }
  ],
  "references": {
    "ground_truth_answer": "391"
  }
}

Votre fonction de récompense peut lire references["ground_truth_answer"] et la comparer à la valeur produite par le modèle. Pour en savoir plus sur la façon dont chaque type de récompense consomme des references, consultez la page Fonctions de récompense.

Limites des ensembles de données

Les limites suivantes s'appliquent aux ensembles de données d'affinage de l'apprentissage par renforcement :

Limites multimodales

Les limites par modalité suivantes s'appliquent lorsque votre ensemble de données inclut des données d'image, audio ou vidéo :

Étapes suivantes

• Configurez les hyperparamètres pour votre job de réglage.
• Définissez les fonctions de récompense.
• Surveillez l'état et les métriques du job.
• Suivez le guide de démarrage rapide de la consoleCloud de Confiance ou le guide de démarrage rapide de l'API pour créer votre premier job d'affinage par apprentissage par renforcement.