Job für die Feinabstimmung für Reinforcement Learning

Ein Job zur Feinabstimmung von Gemini-Modellen mit Reinforcement Learning wird mit drei Hauptbausteinen konfiguriert: einem Abstimmungs-Dataset, Hyperparametern, die den Trainingsprozess steuern, und einer oder mehreren Reward-Funktionen, mit denen jede Modellantwort bewertet wird. Der Dienst stellt auch Messwerte und den Jobstatus für das Monitoring bereit.

Ein End-to-End-Beispiel für das Erstellen eines Tuning-Jobs, das Abrufen des abgestimmten Modells und das Ausführen der Inferenz finden Sie in der Cloud de Confiance -Console-Kurzanleitung oder der API-Kurzanleitung.

Abstimmungs-Dataset vorbereiten

Ein Job zur Feinabstimmung mit Reinforcement Learning wird durch ein Trainings-Dataset und ein optionales Validierungs-Dataset gesteuert. Jedes Dataset ist eine JSONL-Datei, die in Cloud Storage gespeichert ist. Jede Zeile ist ein einzelnes Abstimmungsbeispiel, das ein systemInstruction, ein contents (den Prompt, auf den das Modell während der Abstimmung reagiert) und eine references-Zuordnung enthält, die alle Metadaten enthält, die Ihre Reward-Funktion zum Bewerten der Antwort des Modells benötigt (z. B. eine Ground-Truth-Antwort, eine Rubrik oder eine Unit-Test-Eingabe).

Das Fine-Tuning mit Reinforcement Learning unterstützt multimodale Prompts (Text, Bild, Audio und Video) unter Berücksichtigung von Datei- und Prompt-Limits.

Das vollständige Datensatzschema, die modalitätsspezifischen Datensatzlimits und ein Beispiel dafür, wie Sie references für die Berechnung von Prämien ausfüllen, finden Sie auf der Seite Abstimmungsdatensatz.

Hyperparameter konfigurieren

Hyperparameter steuern, wie das Modell während der Feinabstimmung durch Reinforcement Learning aktualisiert wird. Dazu gehören die Denkebene, die während der Generierung verwendet wird, die Batchgröße, die Anzahl der Stichproben pro Prompt, der Lernratenmultiplikator, die Anzahl der Epochen, die Auswertungs- und Prüfpunktintervalle, die maximale Ausgabelänge und die Größe des LoRA-Adapters. Die Standardeinstellungen eignen sich für die meisten Arbeitslasten. Sie können sie jedoch beim Erstellen eines Abstimmungsjobs überschreiben.

Standardwerte, zulässige Bereiche, regelsatzabhängige Regeln und empfohlene Kombinationen finden Sie auf der Seite Hyperparameter.

Belohnungsfunktionen definieren

Eine Reward-Funktion bewertet jede Modellantwort während des Tunings numerisch. Das Belohnungssignal ist das, worauf Reinforcement Learning optimiert wird. Seine Qualität bestimmt also direkt die Qualität der Abstimmung. Alle Prämien werden auf den Bereich [-1, 1] begrenzt.

Beim Fine-Tuning für Reinforcement Learning werden die folgenden Arten von Belohnungen unterstützt:

  • Belohnung für String-Abgleich: Vergleicht die Modellantwort (oder einen geparsten Teilstring davon) mit einem in references angegebenen Ground-Truth-Wert.
  • Gemini-basierte automatische Bewertung: Verwendet ein LLM-as-a-judge, um jede Antwort zu bewerten, optional mit Antwortparsing.
  • Cloud Run-Belohnung: Ruft einen vom Nutzer verwalteten Cloud Run-Dienst auf, der eine skalare Belohnung für eine vollständig anpassbare Bewertungslogik zurückgibt.
  • Zusammengesetzte Belohnung: Hier werden beliebige der oben genannten Belohnungstypen mit Gewichten pro Ergebnis kombiniert.

Bevor Sie einen Tuning-Job starten, empfehlen wir dringend, Ihre Belohnungskonfiguration in der Cloud de Confiance -Konsole oder mit der ValidateReinforcementTuningReward-API-Methode zu validieren.

Detaillierte Konfigurationsschemata, Codebeispiele, Informationen zur IAM-Einrichtung und Best Practices für das Design von Prämien finden Sie auf der Seite Prämienfunktionen.

Jobstatus und ‑messwerte überwachen

Nachdem ein Abstimmungsjob gestartet wurde, können Sie seinen Lebenszyklusstatus (z. B. JOB_STATE_PENDING, JOB_STATE_RUNNING, JOB_STATE_SUCCEEDED, JOB_STATE_FAILED, JOB_STATE_CANCELLING, JOB_STATE_CANCELLED) verfolgen und den Abstimmungsfortschritt auf zwei Arten prüfen:

  • Programmgesteuert: Senden Sie eine GetTuningJob-Anfrage, um den Status des Jobs (tunedModel), Fehlerdetails und Metadaten abzurufen. Ein Beispiel für einen curl-Befehl finden Sie in der API-Kurzanleitung.
  • Visuell: Öffnen Sie die Monitoringseite des Jobs in der Cloud de Confiance Konsole unter Modelle > Abstimmung. Dort wird das zugrunde liegende Abstimmungsexperiment mit Diagrammen für die Trainings- und Bewertungs-Messwerte angezeigt, die in jedem Schritt ausgegeben werden (Prämie, Länge der Generierung, Latenz der Prämie, Aufschlüsselungen der zusammengesetzten Prämien nach Prämie usw.).

Beim Fine-Tuning mit bestärkendem Lernen werden auch Zwischenprüfpunkte mit der von checkpointInterval festgelegten Häufigkeit erstellt, die Sie unabhängig voneinander bereitstellen und bewerten können, bevor der Job abgeschlossen ist.

Eine vollständige Liste der ausgegebenen Messwerte, Messwerte pro Belohnungstyp, Informationen zur Interpretation der Messwerte und zum Zugriff auf Prüfpunkte finden Sie auf der Seite Messwerte und Monitoring.

Nächste Schritte