נתוני תמונות שלום: הערכה וניתוח של ביצועי המודל

אפשר להשתמש במסוף Cloud de Confiance כדי לבדוק את ביצועי המודל. כדי לשפר את איכות המודל, מנתחים את השגיאות בבדיקה ומתקנים את הבעיות בנתונים.

המדריך הזה כולל כמה דפים:

1. הגדרת הפרויקט והסביבה.

2. יצירת מערך נתונים לסיווג תמונות וייבוא תמונות.

3. אימון מודל AutoML לסיווג תמונות

4. להעריך ולנתח את ביצועי המודל.

5. פריסת מודל בנקודת קצה ושליחת חיזוי

6. פינוי מקום בפרויקט

בכל דף מניחים שכבר ביצעתם את ההוראות מהדפים הקודמים של המדריך.

1. הסבר על תוצאות ההערכה של מודל AutoML

אחרי שהאימון מסתיים, המודל נבדק באופן אוטומטי מול פיצול נתוני הבדיקה. כדי לראות את תוצאות ההערכה, לוחצים על שם המודל בדף Model Registry או בדף Dataset.

שם אפשר למצוא את המדדים לבדיקת ביצועי המודל.

בקטע הערכה, בדיקה ופריסה של המודל מופיע מבוא מפורט יותר למדדי הערכה שונים.

2. ניתוח תוצאות הבדיקה

אם אתם רוצים להמשיך לשפר את ביצועי המודל, השלב הראשון הוא בדרך כלל לבדוק את מקרי השגיאה ולחקור את הסיבות האפשריות. בדף ההערכה של כל סיווג מוצגות תמונות בדיקה מפורטות של הסיווג הנתון, שמסווגות כתוצאות שליליות מוטעות, תוצאות חיוביות מוטעות ותוצאות חיוביות אמיתיות. ההגדרה של כל קטגוריה מופיעה בקטע הערכה, בדיקה ופריסה של המודל.

כדי לראות את פרטי החיזוי של כל תמונה בכל קטגוריה, לוחצים על התמונה וניגשים לתוצאות הניתוח המפורטות. החלונית Review similar images תופיע בצד ימין של הדף, ובה יוצגו הדוגמאות הקרובות ביותר מקבוצת הנתונים לאימון, עם מרחקים שנמדדו במרחב המאפיינים.

יש שני סוגים של בעיות בנתונים שכדאי לשים לב אליהם:

1. חוסר עקביות בתוויות. אם לדוגמה דומה מבחינה חזותית מקבוצת הנתונים לאימון יש תוויות שונות מהדוגמה לבדיקה, יכול להיות שאחת מהן שגויה, או שההבדל הקל דורש יותר נתונים כדי שהמודל ילמד ממנו, או שתוויות הסיווג הנוכחיות פשוט לא מדויקות מספיק כדי לתאר את הדוגמה הנתונה. בדיקה של תמונות דומות יכולה לעזור לכם לדייק את פרטי התוויות, על ידי תיקון השגיאות או הסרת הדוגמה הבעייתית מקבוצת הבדיקה. אתם יכולים לשנות בקלות את התווית של תמונת הבדיקה או של תמונות האימון בחלונית Review similar images באותו דף.

2. ערכים חריגים. אם דגימת בדיקה מסומנת כחריגה, יכול להיות שאין דגימות דומות מבחינה חזותית בקבוצת הנתונים לאימון שיעזרו לאמן את המודל. בדיקה של תמונות דומות מקבוצת הנתונים לאימון יכולה לעזור לכם לזהות את הדוגמאות האלה ולהוסיף תמונות דומות לקבוצת הנתונים לאימון, כדי לשפר עוד יותר את ביצועי המודל במקרים האלה.

המאמרים הבאים

אם אתם מרוצים מביצועי המודל, עברו לדף הבא במדריך כדי לפרוס את המודל המאומן של AutoML בנקודת קצה (endpoint) ולשלוח תמונה למודל לצורך חיזוי. אחרת, אם אתם מבצעים תיקונים בנתונים, אתם צריכים לאמן מודל חדש באמצעות המדריך אימון מודל AutoML Image לסיווג תמונות.