משימת כוונון עדין של למידה חיזוקית

משימת כוונון עדין של מודלים של Gemini באמצעות למידת חיזוק מוגדרת עם שלושה אבני בניין עיקריות: מערך נתונים לכוונון, היפרפרמטרים ששולטים בתהליך האימון, ופונקציות תגמול אחת או יותר שמדרגות כל תגובה של המודל. השירות גם חושף מדדים וסטטוס של משימות לצורך מעקב.

דוגמה מלאה ליצירת עבודת כוונון, לאחזור המודל המכוונן ולהפעלת הסקה מופיעה במאמר Cloud de Confiance מדריך למתחילים לשימוש במסוף או במאמר מדריך למתחילים לשימוש ב-API.

הכנת מערך הנתונים לכוונון

משימת כוונון עדין של למידת חיזוק מבוססת על מערך נתוני אימון ומערך נתוני אימות אופציונלי. כל מערך נתונים הוא קובץ JSONL שמאוחסן ב-Cloud Storage. כל שורה היא דוגמה אחת לכוונון שמכילה systemInstruction, contents (הפרומפט שהמודל מגיב אליו במהלך הכוונון) ומיפוי references שכולל את המטא-נתונים שפונקציית התגמול צריכה כדי לתת ציון לתשובה של המודל (לדוגמה, תשובת אמת קרקע, קריטריון הערכה או קלט של בדיקת יחידה).

התאמה עדינה של למידת חיזוק תומכת בהנחיות מולטימודאליות (טקסט, תמונה, אודיו ווידאו), בכפוף למגבלות לכל קובץ ולכל הנחיה.

למידע על סכימת מערך הנתונים המלאה, על מגבלות מערך הנתונים הספציפיות לשיטת ההתאמה ועל דוגמה לאופן מילוי references לחישוב התגמול, אפשר לעיין בדף מערך נתונים להתאמה.

הגדרת היפרפרמטרים

היפר-פרמטרים שולטים באופן שבו המודל מתעדכן במהלך כוונון עדין של למידת חיזוק, כולל רמת החשיבה שמשמשת במהלך יצירת התוכן, גודל האצווה, דוגמאות לכל פרומפט, מכפיל קצב הלמידה, מספר האפוקים, מרווחי ההערכה והנקודות לבדיקה, אורך הפלט המקסימלי וגודל מתאם ה-LoRA. ברירות המחדל מתאימות לרוב עומסי העבודה, אבל אתם יכולים לשנות כל אחת מהן כשאתם יוצרים משימת אופטימיזציה.

ערכי ברירת מחדל, טווחים מותרים, כללים שתלויים בגודל מערך הנתונים ושילובים מומלצים מפורטים בדף היפרפרמטרים.

הגדרת פונקציות תגמול

פונקציית תגמול נותנת ציון מספרי לכל תגובה של המודל במהלך ההתאמה. אות התגמול הוא מה שלמידת חיזוק מבצעת אופטימיזציה שלו, ולכן האיכות שלו קובעת ישירות את איכות הכוונון. כל התגמולים מוגבלים לטווח [-1, 1].

התאמה עדינה של למידת חיזוק תומכת בסוגי התגמולים הבאים:

• תגמול על התאמת מחרוזת – השוואה בין התשובה של המודל (או מחרוזת משנה מנותחת שלה) לבין ערך של מקור אמת שסופק ב-references.
• תגמול מבוסס-Gemini על הערכה אוטומטית – משתמש במודל שפה גדול (LLM) כשופט כדי לתת ציון לכל תשובה, עם אפשרות לניתוח התשובה.
• תגמול Cloud Run – קורא לשירות Cloud Run בניהול המשתמש שמחזיר תגמול סקלרי, ללוגיקת ניקוד שניתנת להתאמה אישית מלאה.
• תגמול מורכב – שילוב של כל אחד מסוגי התגמולים שלמעלה עם משקלים לכל כובש שער.

לפני שמפעילים משימת אופטימיזציה, מומלץ מאוד לאמת את הגדרת התגמול במסוף Cloud de Confiance או באמצעות שיטת ה-API ‏ValidateReinforcementTuningReward.

במאמר פונקציות תגמול מפורטים סכימות הגדרה, דוגמאות קוד, הגדרות IAM ושיטות מומלצות לעיצוב תגמולים.

מעקב אחרי הסטטוס והמדדים של משימות

אחרי שמפעילים משימת התאמה, אפשר לעקוב אחרי מצב מחזור החיים שלה (למשל, JOB_STATE_PENDING,‏ JOB_STATE_RUNNING,‏ JOB_STATE_SUCCEEDED,‏ JOB_STATE_FAILED,‏ JOB_STATE_CANCELLING,‏ JOB_STATE_CANCELLED) ולבדוק את התקדמות ההתאמה בשתי דרכים:

• באמצעות תוכנה – שולחים בקשת GetTuningJob כדי לאחזר את מצב העבודה, tunedModel, פרטי השגיאה והמטא-נתונים. דוגמה לפקודת curl מופיעה במאמר מדריך למתחילים בנושא API.
• באופן חזותי – פותחים את דף המעקב של העבודה במסוף Cloud de Confiance בקטע מודלים > שיפור. בדף הזה מוצג ניסוי השיפור הבסיסי עם תרשימים של מדדי ההדרכה וההערכה שמוצגים בכל שלב (תגמול, אורך יצירה, זמן אחזור של תגמול, פירוט של תגמולים מורכבים וכו').

בנוסף, כוונון עדין של למידת חיזוק מייצר נקודות ביניים לבדיקה בתדירות שמוגדרת על ידי checkpointInterval, שאפשר לפרוס ולבדוק באופן עצמאי לפני שהעבודה מסתיימת.

רשימה מלאה של המדדים שמוצגים, מדדים לפי סוג תגמול, הסבר על המשמעות שלהם והוראות גישה לנקודות ביקורת זמינים בדף מדדים ומעקב.

המאמרים הבאים

• הכנת מערך נתונים להתאמה אישית.
• הגדרת היפר-פרמטרים.
• הגדרת פונקציות תגמול.
• מעקב אחרי סטטוס המשימה ומדדים.