Hyperparamètres pour le réglage fin par apprentissage par renforcement

Les hyperparamètres contrôlent la façon dont les pondérations du modèle sont mises à jour lors de l'affinage par apprentissage par renforcement. Les valeurs par défaut sont ajustées pour fonctionner correctement pour la plupart des charges de travail, mais vous pouvez les remplacer dans la console Cloud de Confiance (sous Détails du modèle > Options avancées > Paramètre de réglage lorsque vous créez un modèle réglé) ou dans le corps de la requête lorsque vous créez un job de réglage avec l'API REST.

Hyperparamètres disponibles

Pour la définition de l'API de ces paramètres, consultez la documentation de référence de l'API ReinforcementTuningHyperParameters.

epochCount

Nombre de fois où l'ensemble de données est itéré. Cela diffère du nombre d'étapes d'entraînement : chaque époque peut générer un nombre variable d'étapes d'entraînement.

• Par défaut : min(110 * promptsPerBatch / promptsInDataset, 10) si le champ est vide. La valeur par défaut est calculée de manière dynamique afin que le modèle voit chaque requête plusieurs fois, avec un maximum de 10 époques pour éviter le surapprentissage sur les ensembles de données plus petits.
• Maximum : le cycle d'entraînement total est limité à 500 étapes pour un réglage stable.

learningRateMultiplier

Multiplicateur appliqué au taux d'apprentissage de base pour la couche d'adaptateur.

• Par défaut : 1
• Plage autorisée : [1/4, 4]

thinkingLevel

Contrôle la longueur et la profondeur du traitement interne de la chaîne de pensée utilisé lors de la génération.

• Par défaut : HIGH
• Valeurs autorisées : MINIMAL, HIGH (pensée dynamique)

batchSize et samplesPerPrompt

Ces deux hyperparamètres contrôlent la façon dont les requêtes sont regroupées et le nombre de réponses que le modèle génère par requête à chaque étape de l'entraînement.

• batchSize : nombre d'invites par lot (également appelé promptsPerBatch). Une taille de lot plus importante ralentit l'ajustement, mais peut produire des mises à jour plus stables pour chaque étape.
  • Par défaut : 32
• samplesPerPrompt : nombre de réponses différentes générées par le modèle pour chaque requête au cours d'une même étape d'entraînement. Un samplesPerPrompt plus grand ralentit l'ajustement, mais peut augmenter la diversité des réponses explorées par le modèle.
  • Par défaut : 16

Le produit batchSize * samplesPerPrompt est soumis à des restrictions spécifiques à la modalité :

evaluateInterval

Fréquence à laquelle le modèle est évalué pendant l'optimisation. L'intervalle est mesuré en étapes, et non en époques.

checkpointInterval

Fréquence à laquelle la progression de l'ajustement du modèle est enregistrée en tant que point de contrôle, pour la récupération ou une utilisation ultérieure. L'intervalle est mesuré en étapes, et non en époques.

• Recommandation : définissez checkpointInterval = evaluateInterval * N, où N est un entier positif.

maxOutputTokens

Longueur maximale de la génération de sortie pour le modèle ajusté.

• Limite par défaut et supérieure : 32,768

adapterSize

Taille de l'adaptateur LoRA. Les tailles d'adaptateur plus importantes offrent une plus grande capacité d'apprentissage pour les tâches complexes, au prix d'un temps d'entraînement et d'une mémoire supplémentaires.

• Par défaut : ADAPTER_SIZE_SIXTEEN

Étapes suivantes

• Préparez un ensemble de données de réglage.
• Définissez les fonctions de récompense pour votre job de réglage.
• Surveillez l'état et les métriques du job.
• Suivez le guide de démarrage rapide de la consoleCloud de Confiance ou le guide de démarrage rapide de l'API pour créer votre premier job d'affinage par apprentissage par renforcement.