היפר-פרמטרים לכוונון עדין של למידת חיזוק

היפר-פרמטרים קובעים איך משקלי המודל מתעדכנים במהלך כוונון עדין של למידה חיזוקית. ערכי ברירת המחדל מותאמים כך שיפעלו בצורה טובה ברוב עומסי העבודה, אבל אפשר לשנות כל אחד מהם ב Cloud de Confiance מסוף (בקטע פרטי המודל > אפשרויות מתקדמות > הגדרת כוונון כשיוצרים מודל מותאם) או בגוף הבקשה כשיוצרים משימת כוונון באמצעות API בארכיטקטורת REST.

היפרפרמטרים זמינים

הגדרת ה-API של הפרמטרים האלה מופיעה במאמרי העזרה של ה-API של ReinforcementTuningHyperParameters.

epochCount

מספר הפעמים שמתבצעת איטרציה על מערך הנתונים. זה שונה ממספר שלבי האימון – כל תקופה יכולה להניב מספר משתנה של שלבי אימון.

• ברירת מחדל: min(110 * promptsPerBatch / promptsInDataset, 10) אם לא מציינים ערך. ערך ברירת המחדל מחושב באופן דינמי כדי שהמודל יראה כל הנחיה כמה פעמים, עד 10 תקופות, כדי למנוע התאמת יתר במערכי נתונים קטנים יותר.
• מקסימום: הרצת האימון הכוללת מוגבלת ל-500 שלבים לצורך כוונון יציב.

learningRateMultiplier

מכפיל שמוחל על קצב הלמידה הבסיסי של שכבת המתאם.

• ברירת מחדל: 1
• הטווח המותר: [1/4, 4]

thinkingLevel

המדיניות קובעת את האורך והעומק של עיבוד שרשרת המחשבות הפנימית שמשמשת במהלך היצירה.

• ברירת מחדל: HIGH
• ערכים מותרים: MINIMAL, ‏ HIGH (חשיבה דינמית)

batchSize וגם samplesPerPrompt

שני ההיפרפרמטרים האלה קובעים איך ההנחיות מחולקות לקבוצות ומה מספר התשובות שהמודל יוצר לכל הנחיה במהלך כל שלב אימון.

• ‫batchSize – מספר ההנחיות בכל קבוצה (נקרא גם promptsPerBatch). גודל קבוצה גדול יותר מאט את ההתאמה, אבל יכול להפיק עדכונים יציבים יותר לכל שלב.
  • ברירת מחדל: 32
• ‫samplesPerPrompt — מספר התשובות השונות שהמודל יוצר לכל הנחיה במהלך שלב אימון יחיד. ערך גדול יותר של samplesPerPrompt מאט את תהליך ההתאמה, אבל יכול להגדיל את מגוון התשובות שהמודל בודק.
  • ברירת מחדל: 16

המוצר batchSize * samplesPerPrompt כפוף להגבלות ספציפיות למודאליות:

evaluateInterval

התדירות שבה המודל עובר הערכה במהלך ההתאמה. המרווח נמדד בצעדים, ולא באפוקות.

checkpointInterval

התדירות שבה נשמרת התקדמות הכוונון של המודל כנקודת ביקורת, לצורך שחזור או שימוש מאוחר יותר. המרווח נמדד בצעדים, ולא בתקופות.

• מומלץ: מגדירים את checkpointInterval = evaluateInterval * N, כאשר N הוא מספר שלם חיובי.

maxOutputTokens

אורך הפלט המקסימלי שנוצר על ידי המודל שעבר התאמה.

• ברירת מחדל ומכסה עליונה: 32,768

adapterSize

גודל מתאם ה-LoRA. גודלי מתאם גדולים יותר מספקים יכולת למידה גבוהה יותר למשימות מורכבות, אבל הם דורשים יותר זמן אימון וזיכרון.

• ברירת מחדל: ADAPTER_SIZE_SIXTEEN

המאמרים הבאים

• הכנת מערך נתונים להתאמה אישית.
• מגדירים פונקציות תגמול למשימת ההתאמה.
• מעקב אחרי סטטוס המשימה ומדדים.
• כדי ליצור את משימת הכוונון העדין הראשונה שלכם באמצעות למידת חיזוק, תוכלו לעיין בCloud de Confiance מדריך למתחילים בקונסולה או במדריך למתחילים ב-API.