Abstimmungs-Dataset für die Abstimmung für Reinforcement Learning

Ein Job zur Feinabstimmung mit Reinforcement Learning wird durch ein Trainings-Dataset und ein optionales Validierungs-Dataset gesteuert. Jedes Dataset ist eine JSON-Datei, die in Cloud Storage gespeichert ist. Jede Zeile ist ein einzelnes Abstimmungsbeispiel.

Auf dieser Seite werden das Datensatzschema, die Verwendung des Felds references für die Berechnung von Prämien und die vom Dienst erzwungenen Datensatzlimits pro Modalität beschrieben.

Dataset-Schema

Jede Zeile der JSONL-Datasetdatei folgt diesem Schema:

{
  "systemInstruction": {
    "role": string,
    "parts": [
      {
        "text": string
      }
    ]
  },
  "contents": [
    {
      "role": string,
      "parts": [
        {
          // Union field data: text or fileData.
          "text": string,
          "fileData": {
            "mimeType": string,
            "fileUri": string
          }
        }
      ]
    }
  ],
  "references": {
    string: string,
    ...
  }
}

Die Felder contents und systemInstruction verwenden dasselbe Schema wie die generateContent-API der Gemini Enterprise Agent Platform. systemInstruction akzeptiert nur Text. contents kann Text oder Dateidaten (Bild, Audio oder Video) enthalten, vorbehaltlich der Dataset-Limits.

Das Feld references

Das Feld references ist spezifisch für die Feinabstimmung für Reinforcement Learning. Darin werden alle Metadaten gespeichert, die Ihre Belohnungsfunktion benötigt, um die Antwort des Modells zu bewerten. Akzeptiert ein String-zu-String-Wörterbuch.

Für eine String-Matching-Belohnung, bei der die Antwort des Modells mit einer bekannten Ground Truth verglichen wird, könnte beispielsweise eine Dataset-Zeile wie die folgende verwendet werden:

{
  "systemInstruction": {
    "role": "system",
    "parts": [{ "text": "You are a helpful math tutor." }]
  },
  "contents": [
    {
      "role": "user",
      "parts": [{ "text": "What is 17 * 23? Put your final answer in $\\text{your answer}$." }]
    }
  ],
  "references": {
    "ground_truth_answer": "391"
  }
}

Ihre Belohnungsfunktion kann references["ground_truth_answer"] lauten und vergleicht sie mit dem Wert, den das Modell erzeugt. Weitere Informationen dazu, wie die einzelnen Belohnungstypen references verbrauchen, finden Sie auf der Seite Belohnungsfunktionen.

Limits für Datasets

Für Datasets zum Feinabstimmen von Modellen für das bestärkende Lernen gelten die folgenden Limits:

Multimodale Limits

Wenn Ihr Dataset Bild-, Audio- oder Videodaten enthält, gelten die folgenden Limits pro Modalität:

Nächste Schritte

• Konfigurieren Sie die Hyperparameter für Ihren Abstimmungsjob.
• Belohnungsfunktionen definieren:
• Jobstatus und ‑messwerte im Blick behalten
• Folgen Sie der Cloud de Confiance Console-Kurzanleitung oder der API-Kurzanleitung, um Ihren ersten Fine-Tuning-Job für das bestärkende Lernen zu erstellen.