מבוא ל-Model Monitoring

בדף הזה מופיעה סקירה כללית על מעקב אחרי מודלים.

סקירה כללית של המעקב

בעזרת "מעקב אחרי מודלים" אתם יכולים להריץ משימות מעקב לפי הצורך או לפי לוח זמנים קבוע, כדי לעקוב אחרי האיכות של המודלים הטבלאיים. אם הגדרתם התראות, תקבלו התראה ממעקב אחר מודלים כשהמדדים יחרגו מערך הסף שציינתם.

לדוגמה, נניח שיש לכם מודל שחוזה את ערך הלקוח לטווח הארוך (CLV). כשההרגלים של הלקוחות משתנים, גם הגורמים שמשמשים לחיזוי ההוצאות של הלקוחות משתנים. לכן, יכול להיות שהמאפיינים וערכי המאפיינים ששימשו לאימון המודל בעבר לא רלוונטיים להסקת מסקנות היום. הסטייה הזו בנתונים נקראת "סחיפה".

הכלי Model Monitoring יכול לעקוב אחרי חריגות מהסף שצוין ולהתריע לכם עליהן. לאחר מכן תוכלו להעריך מחדש או לאמן מחדש את המודל כדי לוודא שהוא פועל כמצופה.

לדוגמה, בעזרת Model Monitoring אפשר ליצור תצוגות חזותיות כמו באיור הבא, שבו מוצגים שני גרפים משתי קבוצות נתונים. התצוגה החזותית הזו מאפשרת להשוות במהירות בין שתי קבוצות הנתונים ולראות את ההבדלים ביניהן.

גרסאות של Model Monitoring

למעקב אחרי מודלים יש שתי גרסאות: v2 ו-v1.

גרסה 2 של Model Monitoring נמצאת בגרסת טרום-השקה (Preview), והיא הגרסה העדכנית ביותר שמשייכת את כל משימות המעקב לגרסת המודל. לעומת זאת, גרסה 1 של Model Monitoring זמינה לכלל המשתמשים (GA) ומוגדרת בנקודות הקצה של Gemini Enterprise Agent Platform.

אם אתם צריכים תמיכה ברמת הייצור ורוצים לעקוב אחרי מודל שנפרס בנקודת קצה של Agent Platform, השתמשו בגרסה 1 של Model Monitoring. בכל שאר התרחישים לדוגמה, השתמשו ב-Model Monitoring v2, שמספק את כל היכולות של Model Monitoring v1 ועוד. למידע נוסף, תוכלו לקרוא את הסקירה הכללית על כל אחת מהגרסאות:

• סקירה כללית על Model Monitoring v2
• סקירה כללית על Model Monitoring v1

אם אתם כבר משתמשים בגרסה 1 של Model Monitoring, היא תישאר כמו שהיא ואתם לא צריכים לעבור לגרסה 2. אם אתם רוצים לעבור לגרסה החדשה, אתם יכולים להשתמש בשתי הגרסאות במקביל עד שתעברו לגמרי לגרסה 2 של מעקב אחרי מודלים, כדי למנוע פערים במעקב במהלך המעבר.

סקירה כללית של Model Monitoring v2

אחרי שמגדירים את Model Monitoring v2 ומריצים משימות מעקב, אפשר לעקוב אחרי מדדים לאורך זמן. אתם יכולים להריץ משימות מעקב לפי דרישה או להגדיר הרצות מתוזמנות. כשמשתמשים בהרצות מתוזמנות, הכלי "מעקב אחרי מודלים" מריץ באופן אוטומטי משימות מעקב לפי לוח זמנים שאתם מגדירים.

יעדי מעקב

המדדים והספים שאתם עוקבים אחריהם ממופים ליעדי מעקב. לכל גרסת מודל, אתם יכולים לציין יעד מעקב אחד או יותר. בטבלה הבאה מפורטים היעדים:

מטרה	תיאור	סוג הנתונים של המאפיין	מדדים נתמכים
שינוי הדרגתי בנתוני המאפיינים של הקלט	מודד את ההתפלגות של ערכי מאפייני הקלט בהשוואה להתפלגות נתונים בסיסית.	thought קטגוריאלי: בוליאני, מחרוזת, קטגוריאלי	L-Infinity Jensen Shannon Divergence
		מספרי: מספר ממשי (float), מספר שלם	Jensen Shannon Divergence
שינוי הדרגתי בנתוני ההסקה של הפלט	מודד את התפלגות הנתונים של הסקת המסקנות של המודל בהשוואה להתפלגות נתונים בסיסית.	thought קטגוריאלי: בוליאני, מחרוזת, קטגוריאלי	L-Infinity Jensen Shannon Divergence
		מספרי: מספר ממשי (float), מספר שלם	Jensen Shannon Divergence
שיוך התכונה	מודד את השינוי בתרומה של תכונות להסקת המסקנות של המודל בהשוואה לקו בסיס. לדוגמה, אתם יכולים לעקוב אחרי תכונה חשובה מאוד ולראות אם החשיבות שלה יורדת פתאום.	כל סוגי הנתונים	ערך SHAP (הסברים מצטברים של Shapley)

שינוי בתכונת הקלט ובהסקה של הפלט

אחרי שפורסים מודל בסביבת הייצור, נתוני הקלט יכולים להיות שונים מהנתונים ששימשו לאימון המודל, או שההתפלגות של נתוני המאפיינים בסביבת הייצור יכולה להשתנות באופן משמעותי לאורך זמן. בגרסה 2 של Model Monitoring אפשר לעקוב אחרי שינויים בהתפלגות של נתוני הייצור בהשוואה לנתוני האימון, או לעקוב אחרי ההתפתחות של התפלגות נתוני הייצור לאורך זמן.

באופן דומה, בנתוני ההסקה, גרסה 2 של Model Monitoring יכולה לעקוב אחרי שינויים בהתפלגות של התוצאות החזויות בהשוואה להתפלגות של נתוני האימון או נתוני הייצור לאורך זמן.

שיוך התכונה

שיוך תכונות מציין את מידת התרומה של כל תכונה במודל להסקת המסקנות בכל מופע נתון. ציוני השיוך הם פרופורציונליים לתרומה של המאפיין להסקת המסקנות של המודל. בדרך כלל הם חתומים, ומציינים אם תכונה מסוימת עוזרת להעלות או להוריד את ההסקה. השיוכים בכל התכונות חייבים להסתכם בציון ההסקה של המודל.

באמצעות מעקב אחרי שיוך (Attribution) של מאפיינים, גרסה 2 של "מעקב אחרי מודלים" עוקבת אחרי שינויים בתרומה של מאפיין להסקת המסקנות של המודל לאורך זמן. שינוי בציון השיוך של מאפיין מרכזי בדרך כלל מצביע על כך שהמאפיין השתנה באופן שיכול להשפיע על הדיוק של ההסקה של המודל.

למידע נוסף על מדדים ושיוך (Attribution) של מאפיינים, קראו את המאמרים הסברים מבוססי-מאפיינים ושיטת Shapley שנדגמה.

איך מגדירים את Model Monitoring v2

קודם צריך לרשום את המודלים ב-מרשם המודלים. אם אתם מציגים מודלים מחוץ ל-Agent Platform, אתם לא צריכים להעלות את פריט המידע שנוצר מהמודל. אחר כך יוצרים מעקב אחרי המודל, משייכים אותו לגרסת המודל ומגדירים את הסכימה של המודל. במודלים מסוימים, כמו מודלים של AutoML, הסכימה כבר מוגדרת.

בכלי למעקב אחרי מודלים, אתם יכולים לציין הגדרות ברירת מחדל כמו יעדי מעקב, מערך נתונים לאימון, מיקום הפלט של המעקב והגדרות של התראות. מידע נוסף זמין במאמר הגדרת מעקב אחרי מודלים.

אחרי שיוצרים מעקב למודל, אפשר להריץ משימת מעקב לפי דרישה או לתזמן משימות קבועות למעקב רציף. כשמריצים משימה, המערכת משתמשת בהגדרת ברירת המחדל של מעקב אחר מודלים, אלא אם מספקים הגדרת מעקב אחרת. לדוגמה, אם תספקו יעדי מעקב שונים או קבוצת נתונים שונה להשוואה, המערכת תשתמש בהגדרות של המשימה במקום בהגדרות ברירת המחדל של מעקב המודל. מידע נוסף זמין במאמר הפעלת משימת מעקב.

תמחור

במהלך גרסת טרום-ההשקה (Preview) לא תחויבו על Model Monitoring v2. עדיין תחויבו על השימוש בשירותים אחרים, כמו Cloud Storage,‏ BigQuery, הסקות באצווה ב-Agent Platform,‏ AI ניתן להסבר ב-Agent Platform ו-Cloud Logging.

מדריכים ל-Notebook

במדריכים הבאים מוסבר איך להשתמש ב-Agent Platform SDK ל-Python כדי להגדיר את Model Monitoring v2 למודל שלכם.

‫Model Monitoring v2: משימת הסקה באצווה של מודל בהתאמה אישית

מעקב אחרי מודלים בגרסה 2: הסקת מסקנות אונליין במודל בהתאמה אישית

‫Model Monitoring v2: מודלים מחוץ ל-Gemini Enterprise Agent Platform

סקירה כללית של Model Monitoring גרסה 1

כדי לעזור לכם לשמור על ביצועי המודל, גרסה 1 של "מעקב אחרי מודלים" עוקבת אחרי נתוני הקלט של הסקת המודל כדי לזהות הטיה ושינוי הדרגתי במאפיינים:

• הטיה בין אימון להצגה מתרחשת כשהתפלגות נתוני המאפיינים בסביבת הייצור שונה מהתפלגות נתוני המאפיינים ששימשה לאימון המודל. אם נתוני האימון המקוריים זמינים, אתם יכולים להפעיל זיהוי של סטייה כדי לעקוב אחרי המודלים ולזהות training-serving skew.

• הסקה של שינוי הדרגתי מתרחשת כשהתפלגות נתוני המאפיינים בסביבת הייצור משתנה באופן משמעותי לאורך זמן. אם נתוני האימון המקוריים לא זמינים, אפשר להפעיל זיהוי שינויים כדי לעקוב אחרי השינויים בנתוני הקלט לאורך זמן.

אפשר להפעיל גם זיהוי של הטיה וגם זיהוי של סטייה.

בגרסה 1 של Model Monitoring אפשר לזהות סטייה ושינוי הדרגתי במאפיינים קטגוריים ומספריים:

• מאפיינים קטגוריים הם נתונים שמוגבלים לפי מספר הערכים האפשריים, ובדרך כלל מקובצים לפי מאפיינים איכותיים. לדוגמה, קטגוריות כמו סוג המוצר, המדינה או סוג הלקוח.

• מאפיינים מספריים הם נתונים שיכולים להיות כל ערך מספרי. לדוגמה, משקל וגובה.

אם הסטייה או השינוי במאפיין של המודל חורגים מסף ההתראה שהגדרתם, גרסה 1 של "מעקב אחרי מודלים" שולחת לכם התראה באימייל. אתם יכולים גם לראות את ההתפלגויות של כל מאפיין לאורך זמן כדי להעריך אם צריך לאמן מחדש את המודל.

חישוב הסחף

כדי לזהות סטייה בגרסה 1, הכלי "מעקב אחר מודלים" משתמש ב-TensorFlow Data Validation‏ (TFDV) כדי לחשב את ההתפלגויות ואת ציוני המרחק.

1. מחשבים את ההתפלגות הסטטיסטית של ערך הבסיס:

   • לזיהוי סטייה, קו הבסיס הוא ההתפלגות הסטטיסטית של ערכי המאפיין בנתוני האימון.

   • לזיהוי שינויים, הבסיס להשוואה הוא ההתפלגות הסטטיסטית של ערכי המאפיין שנצפו בסביבת הייצור בעבר.

   ההתפלגויות של מאפיינים קטגוריים ומספריים מחושבות באופן הבא:

   • במאפיינים קטגוריים, ההתפלגות המחושבת היא המספר או האחוז של המופעים של כל ערך אפשרי של המאפיין.

   • במאפיינים מספריים, המערכת מחלקת את טווח הערכים האפשריים של המאפיין למרווחים שווים, ומחשבת את המספר או האחוז של ערכי המאפיין שנופלים בכל מרווח.

   קו הבסיס מחושב כשיוצרים משימת מעקב אחרי מודל, והוא מחושב מחדש רק אם מעדכנים את מערך נתוני האימון של המשימה.

2. חישוב ההתפלגות הסטטיסטית של ערכי המאפיינים האחרונים שנראו בסביבת הייצור.

3. משווים בין ההתפלגות של ערכי המאפיינים האחרונים בסביבת הייצור לבין התפלגות הבסיס, על ידי חישוב ציון המרחק:

   • במאפיינים קטגוריים, ציון המרחק מחושב באמצעות מרחק L-infinity.

   • במאפיינים מספריים, ציון המרחק מחושב באמצעות התבדרות ג'נסן-שאנון.

4. כשהציון של המרחק בין שתי התפלגויות סטטיסטיות חורג מהסף שציינתם, המערכת לניטור המודל מזהה את החריגה כסטייה או כשינוי הדרגתי.

בדוגמה הבאה מוצג סטייה או שינוי בין ההתפלגות הבסיסית לבין ההתפלגות האחרונה של מאפיין קטגורי:

בדוגמה הבאה מוצג סטייה או שינוי בין ההתפלגות בקו הבסיס לבין ההתפלגות האחרונה של מאפיין מספרי:

שיקולים לשימוש ב-Model Monitoring

• כדי לחסוך בעלויות, אתם יכולים להגדיר תדירות דגימה של בקשות להסקת מסקנות כדי לעקוב אחרי קבוצת משנה של קלט הייצור למודל.

• אתם יכולים להגדיר את התדירות שבה המערכת תבדוק אם יש סטייה או שינוי בקלטים שנרשמו לאחרונה במודל שנפרס. תדירות המעקב קובעת את טווח הזמן, או את גודל חלון המעקב, של הנתונים שנרשמו ביומן ומנותחים בכל הרצה של מעקב.

• אתם יכולים לציין ספי התרעה לכל תכונה שאתם רוצים לעקוב אחריה. המערכת מתעדת התראה כשהמרחק הסטטיסטי בין התפלגות מאפייני הקלט לבין ערך הבסיס התואם חורג מהסף שצוין. כברירת מחדל, כל מאפיין קטגוריאלי ומספרי נמצא במעקב, עם ערכי סף של 0.3.

• נקודת קצה (endpoint) של הסקת מסקנות אונליין יכולה לארח כמה מודלים. כשמפעילים זיהוי של סטייה או שינוי בנקודת קצה, פרמטרי ההגדרה הבאים משותפים לכל המודלים שמתארחים באותה נקודת קצה:

  • סוג הזיהוי
  • תדירות המעקב
  • חלק מבקשות הקלט שנמצאות במעקב

  לגבי הפרמטרים האחרים של ההגדרות, אתם יכולים להגדיר ערכים שונים לכל מודל.

המאמרים הבאים

• תחילת העבודה עם Model Monitoring v2
• הוספת סכימה ל-Model Monitoring v1