נתוני תמונות שלום: הערכה וניתוח של ביצועי המודל

אפשר להשתמש במסוף Cloud de Confiance כדי לבדוק את ביצועי המודל. כדי לשפר את איכות המודל באופן הדרגתי, כדאי לנתח את השגיאות בבדיקה ולתקן את הבעיות בנתונים.

המדריך הזה כולל כמה דפים:

1. מגדירים את הפרויקט ואת הסביבה.

2. יוצרים מערך נתונים לסיווג תמונות ומייבאים תמונות.

3. אימון מודל לסיווג תמונות ב-AutoML

4. הערכה וניתוח של ביצועי המודל.

5. פריסת מודל לנקודת קצה ושליחת חיזוי.

6. פינוי מקום בפרויקט

כל דף מניח שכבר ביצעתם את ההוראות מהדפים הקודמים של המדריך.

1. הסבר על תוצאות ההערכה של מודל AutoML

אחרי שהאימון מסתיים, המודל שלכם מוערך באופן אוטומטי על סמך נתוני הבדיקה. כדי לראות את תוצאות ההערכה המתאימות, לוחצים על שם המודל בדף Model Registry או בדף Dataset.

כאן אפשר למצוא את המדדים למדידת הביצועים של המודל.

בקטע הערכה, בדיקה ופריסה של המודל מופיע הסבר מפורט יותר על מדדי הערכה שונים.

2. ניתוח תוצאות הבדיקה

אם רוצים להמשיך לשפר את ביצועי המודל, השלב הראשון הוא בדרך כלל לבדוק את מקרי השגיאה ולחקור את הסיבות האפשריות. בדף ההערכה של כל סיווג מוצגות תמונות בדיקה מפורטות של הסיווג הנתון, שמסווגות כתוצאות שליליות שגויות, תוצאות חיוביות שגויות ותוצאות חיוביות נכונות. ההגדרה של כל קטגוריה מופיעה בקטע Evaluate, test, and deploy your model.

לכל תמונה בכל קטגוריה, אפשר ללחוץ על התמונה כדי לבדוק את פרטי התחזית ולגשת לתוצאות הניתוח המפורטות. בצד ימין של הדף תופיע החלונית בדיקת תמונות דומות, שבה מוצגות הדוגמאות הכי קרובות מקבוצת נתונים לאימון עם מרחקים שנמדדו במרחב התכונות.

יש שני סוגים של בעיות בנתונים שכדאי לשים לב אליהן:

1. חוסר עקביות בתווית. אם דוגמה דומה מבחינה ויזואלית מסט האימון כוללת תוויות שונות מהדוגמה לבדיקה, יכול להיות שאחת מהן שגויה, או שההבדל העדין דורש יותר נתונים כדי שהמודל ילמד ממנו, או שהתוויות הנוכחיות של המחלקה פשוט לא מדויקות מספיק כדי לתאר את הדוגמה הנתונה. בדיקת תמונות דומות יכולה לעזור לכם לוודא שהמידע בתווית מדויק. תוכלו לתקן את המקרים שבהם יש שגיאות או להחריג את הדוגמה הבעייתית מקבוצת הנתונים לבדיקה. בנוסף, אפשר לשנות בקלות את התווית של תמונת הבדיקה או של תמונות האימון בחלונית בדיקת תמונות דומות באותו הדף.

2. ערכים חריגים. אם דגימת בדיקה מסומנת כחריגה, יכול להיות שאין במערך האימון דגימות דומות מבחינה ויזואלית שיעזרו לאמן את המודל. בדיקה של תמונות דומות מקבוצת נתונים לאימון יכולה לעזור לכם לזהות את הדוגמאות האלה ולהוסיף תמונות דומות לקבוצת נתונים לאימון כדי לשפר עוד יותר את ביצועי המודל במקרים האלה.

המאמרים הבאים

אם אתם מרוצים מביצועי המודל, תוכלו לעבור אל הדף הבא במדריך הזה כדי לפרוס את מודל ה-AutoML שאומן לנקודת קצה ולשלוח תמונה למודל לצורך חיזוי. אחרת, אם מבצעים תיקונים בנתונים, צריך לאמן מודל חדש באמצעות המדריך אימון מודל לסיווג תמונות ב-AutoML.