Hyperparameter steuern, wie die Modellgewichte während der Feinabstimmung des Reinforcement Learning aktualisiert werden. Die Standardeinstellungen sind für die meisten Arbeitslasten optimiert. Sie können sie jedoch in der Cloud de Confiance Console (unter Modelldetails > Erweiterte Optionen > Optimierungseinstellung beim Erstellen eines optimierten Modells) oder im Anfragebody überschreiben, wenn Sie mit der REST API einen Optimierungsjob erstellen.
Verfügbare Hyperparameter
Die API-Definition dieser Parameter finden Sie in der ReinforcementTuningHyperParameters API-Referenz.
epochCount
Die Anzahl der Iterationen, die für das Dataset ausgeführt werden. Das ist etwas anderes als die Anzahl der Trainingsschritte. Jede Epoche kann eine unterschiedliche Anzahl von Trainingsschritten umfassen.
- Standard:
min(110 * promptsPerBatch / promptsInDataset, 10), wenn das Feld leer gelassen wird. Der Standardwert wird dynamisch berechnet, sodass das Modell jeden Prompt mehrmals sieht. Die Anzahl der Epochen ist auf 10 begrenzt, um eine Überanpassung bei kleineren Datasets zu verhindern. - Maximum:Der gesamte Trainingslauf ist auf 500 Schritte für stabiles Tuning begrenzt.
learningRateMultiplier
Ein Multiplikator, der auf die Basis-Lernrate für die Adapterschicht angewendet wird.
- Standard:
1 - Zulässiger Bereich:
[1/4, 4]
thinkingLevel
Steuert die Länge und Tiefe der internen Chain-of-Thought-Verarbeitung, die während der Generierung verwendet wird.
- Standard:
HIGH - Zulässige Werte:
MINIMAL,HIGH(dynamisches Denken)
batchSize und samplesPerPrompt
Mit diesen beiden Hyperparametern wird gesteuert, wie Prompts in Batches zusammengefasst werden und wie viele Antworten das Modell pro Prompt in jedem Trainingsschritt generiert.
batchSize: Die Anzahl der Prompts pro Batch (auchpromptsPerBatchgenannt). Eine größere Batchgröße verlangsamt die Optimierung, kann aber stabilere Updates für jeden Schritt ermöglichen.- Standard:
32
- Standard:
samplesPerPrompt: Die Anzahl der verschiedenen Antworten, die das Modell während eines einzelnen Trainingsschritts für jeden Prompt generiert. Ein größerer Wert fürsamplesPerPromptverlangsamt die Optimierung, kann aber die Vielfalt der Antworten erhöhen, die das Modell untersucht.- Standard:
16
- Standard:
Für das Produkt batchSize * samplesPerPrompt gelten folgende modalitätsspezifische Einschränkungen:
| Modalität | Einschränkung für batchSize * samplesPerPrompt |
|---|---|
| Text | Muss durch 16 teilbar und kleiner oder gleich 8.192 sein |
| Multimodal (Bild, Audio oder Video) | Muss durch 16 teilbar und kleiner oder gleich 1.024 sein |
evaluateInterval
Die Häufigkeit, mit der das Modell während der Optimierung bewertet wird. Das Intervall wird in Schritten und nicht in Epochen gemessen.
checkpointInterval
Die Häufigkeit, mit der der Fortschritt der Modellabstimmung als Prüfpunkt für die Wiederherstellung oder spätere Verwendung gespeichert wird. Das Intervall wird in Schritten und nicht in Epochen gemessen.
- Empfehlung:Legen Sie
checkpointInterval = evaluateInterval * Nfest, wobeiNeine positive Ganzzahl ist.
maxOutputTokens
Die maximale Länge der Ausgabegenerierung für das abgestimmte Modell.
- Standard- und Obergrenze:
32,768
adapterSize
Die Größe des LoRA-Adapters. Größere Adaptergrößen bieten eine höhere Lernkapazität für komplexe Aufgaben, erfordern jedoch zusätzliche Trainingszeit und Arbeitsspeicher.
- Standard:
ADAPTER_SIZE_SIXTEEN
Nächste Schritte
- Abstimmungs-Dataset vorbereiten
- Reward-Funktionen für den Abstimmungsjob definieren
- Jobstatus und ‑messwerte im Blick behalten
- Folgen Sie der Cloud de Confiance Console-Kurzanleitung oder der API-Kurzanleitung, um Ihren ersten Fine-Tuning-Job für das bestärkende Lernen zu erstellen.