בעזרת Agent Platform Neural Architecture Search, אתם יכולים לחפש ארכיטקטורות עצביות אופטימליות מבחינת דיוק, חביון, זיכרון, שילוב של אלה או מדד מותאם אישית.
איך מחליטים אם Agent Platform Neural Architecture Search הוא הכלי הכי טוב בשבילי
- הכלי Agent Platform Neural Architecture Search הוא כלי אופטימיזציה מתקדם שמשמש למציאת הארכיטקטורות העצביות הכי טובות מבחינת דיוק, עם או בלי אילוצים כמו זמן אחזור, זיכרון או מדד מותאם אישית. מרחב החיפוש של אפשרויות אפשריות לארכיטקטורה של רשתות עצביות יכול להיות גדול עד כדי 10^20. הוא מבוסס על טכניקה שבעזרתה נוצרו בהצלחה בשנים האחרונות כמה מודלים מתקדמים של ראייה ממוחשבת, כולל Nasnet, MNasnet, EfficientNet, NAS-FPN ו-SpineNet.
- פלטפורמת Agent Platform Neural Architecture Search היא לא פתרון שאפשר פשוט להזין בו נתונים ולצפות לתוצאה טובה בלי לבצע ניסויים. זהו כלי ניסיוני.
- החיפוש של ארכיטקטורה עצבית בפלטפורמת הסוכן לא מיועד לכוונון של היפרפרמטרים, כמו כוונון של קצב הלמידה או הגדרות האופטימיזציה. הוא מיועד רק לחיפוש ארכיטקטורה. לא מומלץ לשלב בין כוונון של פרמטרים היפר-פרמטרים לבין חיפוש ארכיטקטורה עצבית ב-Agent Platform.
- לא מומלץ להשתמש בחיפוש ארכיטקטורה עצבית ב-Agent Platform עם נתוני הדרכה מוגבלים או עם מערכי נתונים לא מאוזנים מאוד שבהם חלק מהסיווגים נדירים מאוד. אם אתם כבר משתמשים בהרחבות משמעותיות לאימון הבסיסי בגלל חוסר בנתונים, לא מומלץ להשתמש בחיפוש ארכיטקטורה עצבית ב-Agent Platform.
- קודם כדאי לנסות שיטות וטכניקות מסורתיות וקונבנציונליות אחרות של למידת מכונה, כמו כוונון היפרפרמטרים. כדאי להשתמש ב-Agent Platform Neural Architecture Search רק אם לא רואים שיפור נוסף בשיטות המסורתיות האלה.
- כדאי להקים צוות פנימי לשיפור המודל, שיש לו מושג בסיסי לגבי פרמטרים של ארכיטקטורה שאפשר לשנות ולנסות. פרמטרים של הארכיטקטורה יכולים לכלול את גודל הליבה, מספר הערוצים או החיבורים, ועוד הרבה אפשרויות אחרות. אם יש לכם מרחב חיפוש שאתם רוצים לחקור, כדאי להשתמש ב-Agent Platform Neural Architecture Search. הוא יכול לחסוך לכם לפחות שישה חודשים של עבודת הנדסה בחקר מרחב חיפוש גדול: עד 10^20 אפשרויות בחירה של ארכיטקטורה.
- הפלטפורמה Agent Platform Neural Architecture Search מיועדת ללקוחות ארגוניים שיכולים להשקיע כמה אלפי דולרים בניסוי.
- החיפוש של ארכיטקטורות עצביות ב-Agent Platform לא מוגבל לתרחישי שימוש שקשורים לראייה בלבד. בשלב הזה, אנחנו מספקים רק מרחבי חיפוש מוכנים מראש ומאמנים מוכנים מראש שמבוססים על ראייה, אבל לקוחות יכולים להשתמש גם במרחבי חיפוש ובמאמנים משלהם שלא מבוססים על ראייה.
- החיפוש של ארכיטקטורות עצביות ב-Agent Platform לא משתמש בגישה של רשת על (NAS חד-פעמי או NAS שמבוסס על שיתוף משקלים) שבה פשוט מביאים נתונים משלכם ומשתמשים בהם כפתרון. התאמה אישית של רשת-על היא משימה מורכבת (נדרשים חודשים של עבודה). בניגוד לרשת סופרנט, Agent Platform Neural Architecture Search ניתן להתאמה אישית רבה כדי להגדיר מרחבי חיפוש ותגמולים בהתאמה אישית. ההתאמה האישית יכולה להימשך בערך יום עד יומיים.
- התכונה Agent Platform Neural Architecture Search נתמכת ב-8 אזורים ברחבי העולם. כדאי לבדוק את הזמינות באזור שלכם.
לפני שמשתמשים ב-Agent Platform Neural Architecture Search, כדאי לקרוא גם את הקטע הבא בנושא עלות צפויה, שיפורים בתוצאות ודרישות לגבי מכסת GPU.
העלות הצפויה, שיפורי התוצאות ודרישות המכסה של ה-GPU
באיור מוצג עקומת חיפוש אופיינית של ארכיטקטורה עצבית בפלטפורמת סוכנים.
בקטע Y-axis מוצגות התגמולים על תקופת הניסיון, ובקטע X-axis מוצג מספר תקופות הניסיון שהופעלו.
ככל שמספר הניסויים גדל, הבקר מתחיל למצוא מודלים טובים יותר. לכן, התגמול מתחיל לעלות, ולאחר מכן השונות של התגמול והגידול בתגמול מתחילים לרדת ומוצגת ההתכנסות. בנקודת ההתכנסות, מספר הניסויים יכול להשתנות בהתאם לגודל מרחב החיפוש, אבל הוא בערך 2,000 ניסויים.
כל ניסוי מתוכנן להיות גרסה קטנה יותר של אימון מלא שנקרא משימת פרוקסי, שפועלת למשך שעה עד שעתיים בערך על שני GPUs מסוג Nvidia V100. הלקוח יכול להפסיק את החיפוש באופן ידני בכל שלב, ויכול להיות שהוא ימצא מודלים עם תגמול גבוה יותר בהשוואה לערך הבסיס לפני נקודת ההתכנסות.
יכול להיות שעדיף לחכות עד לנקודת ההתכנסות כדי לבחור את התוצאות הטובות יותר.
אחרי החיפוש, השלב הבא הוא לבחור את 10 הניסויים (המודלים) המובילים ולהריץ עליהם אימון מלא.
(אופציונלי) התנסות במרחב החיפוש ובמאמן של MNasNet שנבנו מראש
במצב הזה, כדאי להתבונן בעקומת החיפוש או בכמה ניסויים, בערך 25, ולבצע נסיעת מבחן עם מרחב חיפוש ומאמן MNasNet מוכנים מראש.
באיור, התגמול הטוב ביותר בשלב 1 מתחיל לעלות מ-0.30 בערך בניסיון 1 ל-0.37 בערך בניסיון 17. הריצה המדויקת שלכם עשויה להיראות קצת שונה בגלל אקראיות הדגימה, אבל אמורה להיות עלייה קטנה בפרס הכי טוב. חשוב לזכור שזו עדיין הרצה לדוגמה, ולא הוכחת היתכנות או אימות של מדד השוואה ציבורי.
פירוט העלות של ההרצה הזו:
- שלב 1:
- מספר תקופות הניסיון: 25
- מספר יחידות ה-GPU לכל תקופת ניסיון: 2
- סוג ה-GPU: TESLA_T4
- מספר המעבדים לכל תקופת ניסיון: 1
- סוג המעבד: n1-highmem-16
- זמן האימון הממוצע של ניסוי יחיד: 3 שעות
- מספר הניסויים המקבילים: 6
- מכסת ה-GPU שנעשה בה שימוש: (מספר יחידות ה-GPU לכל ניסיון * מספר הניסויים המקבילים) = 12 יחידות GPU. משתמשים באזור us-central1 לנסיעת המבחן ומארחים את נתוני האימון באותו אזור. לא נדרשת מכסה נוספת.
- זמן הריצה: (מספר הניסויים הכולל * זמן האימון לכל ניסוי) חלקי (מספר הניסויים המקבילים) = 12 שעות
- שעות GPU: (total-trials * training-time-per-trial * num-gpus-per-trial) = 150 T4 GPU hours
- שעות CPU: (total-trials * training-time-per-trial * num-cpus-per-trial) = 75 n1-highmem-16 hours
- עלות: כ-185$. כדי להקטין את העלות, אפשר להפסיק את העבודה מוקדם יותר. כדי לחשב את המחיר המדויק, אפשר לעיין בדף התמחור.
מכיוון שמדובר בהרצה לדוגמה, אין צורך להריץ אימון מלא בשלב 2 למודלים משלב 1. מידע נוסף על הפעלת שלב 2 זמין במדריך 3.
ה-notebook של MnasNet משמש להרצה הזו.
(אופציונלי) הפעלה של הוכחת היתכנות (POC) של מרחב החיפוש והמאמן המוכנים מראש של MNasNet
אם אתם רוצים לשחזר כמעט במדויק תוצאה שפורסמה של MNasnet, אתם יכולים להשתמש במצב הזה. על פי המאמר, רשת MnasNet משיגה דיוק של 75.2% בחיזוי הראשון עם זמן אחזור של 78ms בטלפון Pixel, שהוא מהיר פי 1.8 מרשת MobileNetV2 עם דיוק גבוה ב-0.5% ומהיר פי 2.3 מרשת NASNet עם דיוק גבוה ב-1.2%. עם זאת, בדוגמה הזו נעשה שימוש במעבדים גרפיים (GPU) במקום במעבדי TPU לאימון, ובמעבד מרכזי בענן (n1-highmem-8) כדי להעריך את זמן האחזור. בדוגמה הזו, רמת הדיוק הצפויה של השלב השני ב-MNasNet היא 75.2% עם זמן אחזור של 50 אלפיות השנייה ב-CPU בענן (n1-highmem-8).
פירוט העלות של ההרצה הזו:
חיפוש בשלב 1:
- מספר הניסיונות: 2,000
- מספר יחידות ה-GPU לכל תקופת ניסיון: 2
- סוג ה-GPU: TESLA_T4
- זמן האימון הממוצע של ניסוי יחיד: 3 שעות
- מספר הניסויים המקבילים: 10
- המיכסה של ה-GPU שנעשה בה שימוש: (מספר ה-GPU לניסיון * מספר הניסויים המקבילים) = 20 GPU מסוג T4. מכיוון שהמספר הזה גבוה ממכסת ברירת המחדל, צריך ליצור בקשה להגדלת המכסה בממשק המשתמש של הפרויקט. מידע נוסף מופיע במאמר setting_up_path.
- זמן ההרצה: (total-trials * training-time-per-trial)/(num-parallel-trials)/24 = 25 days. הערה: העבודה מסתיימת אחרי 14 ימים. אחרי התקופה הזו, תוכלו להפעיל מחדש את עבודת החיפוש בקלות באמצעות פקודה אחת למשך 14 ימים נוספים. אם יש לכם מכסת GPU גבוהה יותר, זמן הריצה יקטן באופן יחסי.
- שעות GPU: (total-trials * training-time-per-trial * num-gpus-per-trial) = 12000 T4 GPU hours.
- עלות: כ-15,000$
שלב 2: אימון מלא עם 10 המודלים המובילים:
- מספר תקופות הניסיון: 10
- מספר יחידות ה-GPU לכל תקופת ניסיון: 4
- סוג ה-GPU: TESLA_T4
- זמן האימון הממוצע של תקופת ניסיון יחידה: כ-9 ימים
- מספר הניסויים המקבילים: 10
- המיכסה של ה-GPU שנעשה בה שימוש: (מספר ה-GPU לניסיון * מספר הניסויים המקבילים) = 40 GPU מסוג T4. מכיוון שהמספר הזה גבוה מהמכסה שמוגדרת כברירת מחדל, צריך ליצור בקשה להגדלת המכסה בממשק המשתמש של הפרויקט. מידע נוסף מופיע במאמר setting_up_path. אפשר גם להריץ את הפקודה הזו עם 20 GPUs של T4 על ידי הרצת העבודה פעמיים עם חמישה מודלים בכל פעם, במקום עם כל 10 המודלים במקביל.
- זמן הריצה: (total-trials * training-time-per-trial)/(num-parallel-trials)/24 = ~9 days
- שעות GPU: (total-trials * training-time-per-trial * num-gpus-per-trial) = 8960 T4 GPU hours.
- עלות: 8,000$ בערך
העלות הכוללת: כ-23,000$. כדי לחשב את המחיר המדויק, אפשר לעיין בדף התמחור. הערה: הדוגמה הזו לא מייצגת משימת אימון רגילה ממוצעת. האימון המלא נמשך כ-9 ימים על ארבעה GPU מסוג TESLA_T4.
ה-notebook של MnasNet משמש להרצה הזו.
שימוש במרחב החיפוש ובמאמנים
אנחנו מספקים עלות משוערת למשתמש ממוצע בהתאמה אישית. הצרכים שלכם יכולים להשתנות בהתאם למשימת האימון ולמעבדי ה-GPU וה-CPU שבהם אתם משתמשים. כדי להריץ את התהליך מקצה לקצה, צריך מכסת שימוש של לפחות 20 יחידות GPU, כפי שמתואר כאן. הערה: שיפור הביצועים תלוי לחלוטין במשימה שלכם. אנחנו יכולים לספק רק דוגמאות כמו MNasnet כדוגמאות להפניה לשיפור הביצועים.
פירוט העלות של הרצת ההתאמה האישית ההיפותטית הזו:
חיפוש בשלב 1:
- מספר הניסיונות: 2,000
- מספר יחידות ה-GPU לכל ניסיון: 2
- סוג ה-GPU: TESLA_T4
- זמן האימון הממוצע לניסיון יחיד: שעה וחצי
- מספר הניסויים המקבילים: 10
- המיכסה של ה-GPU שנעשה בה שימוש: (מספר ה-GPU לניסיון * מספר הניסויים המקבילים) = 20 GPU מסוג T4. מכיוון שהמספר הזה גבוה מהמכסה שמוגדרת כברירת מחדל, צריך ליצור בקשה להגדלת המכסה בממשק המשתמש של הפרויקט. מידע נוסף זמין במאמר שליחת בקשה להגדלת מכסת המכשירים בפרויקט.
- זמן ההרצה: (total-trials * training-time-per-trial)/(num-parallel-trials)/24 = 12.5 days
- שעות GPU: (total-trials * training-time-per-trial * num-gpus-per-trial) = 6000 T4 GPU hours.
- עלות: בערך 7,400$
אימון מלא בשלב 2 עם 10 המודלים המובילים:
- מספר תקופות הניסיון: 10
- מספר יחידות ה-GPU לכל תקופת ניסיון: 2
- סוג ה-GPU: TESLA_T4
- זמן האימון הממוצע של ניסוי יחיד: כ-4 ימים
- מספר הניסויים המקבילים: 10
- המיכסה של ה-GPU שנעשה בה שימוש: (מספר ה-GPU לניסיון * מספר הניסויים המקבילים) = 20 GPU מסוג T4. **מכיוון שהמספר הזה גבוה מהמכסה שמוגדרת כברירת מחדל, צריך ליצור בקשה להגדלת המכסה בממשק המשתמש של הפרויקט. מידע נוסף זמין במאמר בנושא שליחת בקשה להגדלת מכסת המכשירים בפרויקט. למידע על מכסות בהתאמה אישית, אפשר לעיין באותו מסמך.
- זמן ההרצה: (total-trials * training-time-per-trial)/(num-parallel-trials)/24 = כ-4 ימים
- שעות GPU: (total-trials * training-time-per-trial * num-gpus-per-trial) = 1920 T4 GPU hours.
- עלות: בערך 9,600 ש"ח
מידע נוסף על עלות עיצוב משימות פרוקסי זמין במאמר עיצוב משימות פרוקסי העלות דומה לעלות של אימון 12 מודלים (בשלב 2 באיור נעשה שימוש ב-10 מודלים):
- מכסת ה-GPU שנעשה בה שימוש: זהה לריצה בשלב 2 באיור.
- עלות: (12/10) * עלות שלב 2 ל-10 מודלים = ~2,880$
העלות הכוללת: כ-12,680$. כדי לחשב את המחיר המדויק, אפשר לעיין בדף התמחור.
העלויות האלה של החיפוש בשלב 1 הן עבור החיפוש עד שמגיעים לנקודת ההתכנסות, ועד לשיפור המקסימלי בביצועים. עם זאת, לא כדאי לחכות עד שהחיפוש יתכנס. אם עקומת התגמול על החיפוש התחילה לגדול, אפשר לצפות לשיפור קטן יותר בביצועים עם עלות חיפוש נמוכה יותר אם מריצים אימון מלא בשלב 2 עם המודל הכי טוב עד כה. לדוגמה, עבור החיפוש של תרשים העלילה שמוצג למעלה, לא צריך לחכות עד שמגיעים ל-2,000 ניסיונות של התכנסות. יכול להיות שמצאתם מודלים טובים יותר ב-700 או ב-1,200 ניסויים, ואתם יכולים להריץ אימון מלא בשלב 2 עבור המודלים האלה. תמיד אפשר להפסיק את החיפוש מוקדם יותר כדי להקטין את העלות. אפשר גם לבצע במקביל אימון מלא בשלב 2 בזמן שהחיפוש פועל, אבל חשוב לוודא שיש לכם מכסת GPU שתומכת במשימה מקבילה נוספת.
סיכום הביצועים והעלויות
בטבלה הבאה מופיע סיכום של כמה נקודות נתונים עם תרחישים שונים לשימוש, ונתוני הביצועים והעלות שמשויכים לכל נקודה.
תרחישי שימוש ותכונות
התכונות של Agent Platform Neural Architecture Search הן גמישות וקלות לשימוש. משתמשים מתחילים יכולים להשתמש במרחבי חיפוש מוכנים מראש, ב-prebuilt-trainer ובמחברות בלי לבצע הגדרות נוספות כדי להתחיל לחקור את Agent Platform Neural Architecture Search עבור מערך הנתונים שלהם. במקביל, משתמש מומחה יכול להשתמש ב-Agent Platform Neural Architecture Search (חיפוש ארכיטקטורה עצבית) עם מאמן מותאם אישית, מרחב חיפוש מותאם אישית ומכשיר הסקה מותאם אישית, ואפילו להרחיב את חיפוש הארכיטקטורה למקרים של שימוש שאינם קשורים לראייה.
Neural Architecture Search (NAS) בפלטפורמת הסוכנים מציע מאמנים ומרחבי חיפוש מוכנים מראש להפעלה במעבדי GPU לתרחישי השימוש הבאים:
- מאמני TensorFlow עם תוצאות שמבוססות על מערך נתונים ציבורי שפורסמו ב-Notebook
- PyTorch trainers to be used only as a tutorial example
- דוגמה למרחב חיפוש של חלוקת תמונות רפואיות למקטעים ב-PyTorch 3D
- סיווג MNasNet מבוסס PyTorch
- חיפוש עם הגבלות של זמן האחזור והזיכרון לטירגוט מכשירים
- מרחבי חיפוש נוספים מבוססי TensorFlow עם קוד מוכן מראש ועדכני
- התאמה להיקף
- הגדלת מערך הנתונים
אפשר להשתמש בקלות בכל התכונות ש-Agent Platform Neural Architecture Search מציע גם לארכיטקטורות מותאמות אישית ולתרחישי שימוש:
- שפה של Agent Platform Neural Architecture Search (חיפוש ארכיטקטורות עצביות) להגדרת מרחב חיפוש מותאם אישית על פני ארכיטקטורות עצביות אפשריות, ושילוב מרחב החיפוש הזה עם קוד מותאם אישית של מאמן.
- מרחבי חיפוש מוכנים מראש לשימוש עם קוד, שהם מתקדמים ביותר.
- מאמן מוכן מראש לשימוש, עם קוד, שפועל ב-GPU.
- שירות מנוהל לחיפוש ארכיטקטורה, כולל
- בקר של Neural Architecture Search בפלטפורמת Agent Platform, שמבצע דגימה של מרחב החיפוש כדי למצוא את הארכיטקטורה הכי טובה.
- ספריות או docker מוכנים מראש, עם קוד, לחישוב של זמן האחזור, FLOPs או זיכרון בחומרה בהתאמה אישית.
- מדריכים לשימוש ב-NAS.
- קבוצה של כלים לעיצוב משימות proxy.
- הנחיות ודוגמה לאימון יעיל של PyTorch באמצעות Agent Platform Neural Architecture Search Neural Architecture Search.
- תמיכה בספרייה בדוחות ובניתוח של מדדים מותאמים אישית.
- ממשק משתמש של מסוףCloud de Confiance לניטור ולניהול של עבודות.
- קל להשתמש במחברות כדי להתחיל את החיפוש.
- תמיכה בספרייה לניהול השימוש במשאבי GPU/CPU ברמת גרנולריות של כל פרויקט או כל משימה.
- Nas-client מבוסס Python לבניית קובצי Docker, להפעלת משימות NAS ולהמשך של משימת חיפוש קודמת.
- Cloud de Confiance by S3NS תמיכת לקוחות מבוססת-ממשק משתמש במסוף.
רקע
Agent Platform Neural Architecture Search Neural Architecture Search היא טכניקה לאוטומציה של התכנון של רשתות עצביות. בשנים האחרונות הוא יצר בהצלחה כמה מודלים מתקדמים של ראייה ממוחשבת, כולל:
המודלים האלה מובילים בכל 3 הסוגים העיקריים של בעיות בראייה ממוחשבת: סיווג תמונות, זיהוי אובייקטים ופילוח.
בעזרת Agent Platform Neural Architecture Search Neural Architecture Search, מהנדסים יכולים לייעל מודלים לשיפור הדיוק, החביון והזיכרון באותו ניסיון, וכך לקצר את הזמן שנדרש לפריסת מודלים. החיפוש של ארכיטקטורות עצביות ב-Agent Platform בודק סוגים שונים של מודלים: הבקר מציע מודלים של למידת מכונה, ואז מאמן ומעריך את המודלים וחוזר על הפעולה יותר מ-1,000 פעמים כדי למצוא את הפתרונות הכי טובים עם מגבלות של זמן טעינה או זיכרון במכשירי היעד. באיור הבא מוצגים הרכיבים העיקריים של מסגרת החיפוש בארכיטקטורה:
- מודל: ארכיטקטורה עצבית עם פעולות וחיבורים.
- מרחב החיפוש: מרחב המודלים האפשריים (פעולות וחיבורים) שאפשר לעצב ולבצע אופטימיזציה שלהם.
- Trainer docker: קוד אימון שניתן להתאמה אישית על ידי המשתמש כדי לאמן ולהעריך מודל ולחשב את רמת הדיוק שלו.
- מכשיר הסקה: מכשיר חומרה כמו CPU/GPU שבו מחושבים זמן האחזור וניצול הזיכרון של המודל.
- תגמול: שילוב של מדדי מודל כמו דיוק, זמן אחזור וזיכרון שמשמשים לדירוג המודלים כטובים יותר או פחות.
- Agent Platform Neural Architecture Search Neural Architecture Search Controller: אלגוריתם התזמור ש (א) דוגם את המודלים ממרחב החיפוש, (ב) מקבל את התגמולים של המודלים ו-(ג) מספק את קבוצת ההצעות הבאה של המודלים להערכה כדי למצוא את המודלים האופטימליים ביותר.
משימות להגדרת משתמשים
Neural Architecture Search (NAS) בפלטפורמת הסוכנים מציע כלי אימון מוכן מראש שמשולב עם מרחבי חיפוש מוכנים מראש, שאפשר להשתמש בהם עם מחברות שסופקו ללא צורך בהגדרה נוספת.
עם זאת, רוב המשתמשים צריכים להשתמש במאמן מותאם אישית, במרחבי חיפוש מותאמים אישית, במדדים מותאמים אישית (לדוגמה: זיכרון, זמן אחזור וזמן אימון) ובפרס מותאם אישית (שילוב של דברים כמו דיוק וזמן אחזור). לשם כך, צריך:
- הגדרת מרחב חיפוש מותאם אישית באמצעות שפת Neural Architecture Search (חיפוש ארכיטקטורה עצבית) של Agent Platform.
- משלבים את ההגדרה של מרחב החיפוש בקוד של המאמן.
- הוספת דיווח על מדדים מותאמים אישית לקוד של המאמן.
- להוסיף תגמול מותאם אישית לקוד המאמן.
- בניית קונטיינר אימון ושימוש בו כדי להתחיל משימות של Agent Platform Neural Architecture Search.
התרשים הבא מדגים את זה:
Agent Platform Neural Architecture Search Neural Architecture Search service in operation
אחרי שמגדירים את קונטיינר האימון לשימוש, שירות Neural Architecture Search של Agent Platform מפעיל כמה קונטיינרים של אימון במקביל בכמה מכשירי GPU. אתם יכולים לקבוע כמה ניסויים יפעלו במקביל לצורך אימון וכמה ניסויים יושקו בסך הכול. לכל training-container מסופקת ארכיטקטורה מוצעת ממרחב החיפוש. קונטיינר האימון בונה את המודל המוצע, מבצע אימון והערכה, ואז מדווח על המשוב בחזרה לשירות Neural Architecture Search של Agent Platform. במהלך התהליך הזה, שירות Neural Architecture Search (חיפוש ארכיטקטורות עצביות) של Agent Platform משתמש במשוב על התגמול כדי למצוא ארכיטקטורות מודלים טובות יותר ויותר. אחרי החיפוש, יש לכם גישה למדדים שדווחו לצורך ניתוח נוסף.
סקירה כללית של המסלול להמרת הלקוח ב-Agent Platform Neural Architecture Search
אלה השלבים ברמה גבוהה לביצוע ניסוי של חיפוש ארכיטקטורה עצבית בפלטפורמת הסוכנים:
הגדרות והגדרות:
- מזהים את מערך הנתונים עם התוויות ומציינים את סוג המשימה (לדוגמה, זיהוי או פילוח).
- התאמה אישית של קוד המאמן:
- אפשר להשתמש במרחב חיפוש מוכן מראש או להגדיר מרחב חיפוש מותאם אישית באמצעות שפת Neural Architecture Search של Agent Platform.
- משלבים את הגדרת מרחב החיפוש בקוד של המאמן.
- הוספת דיווח על מדדים מותאמים אישית לקוד של המאמן.
- להוסיף תגמול מותאם אישית לקוד המאמן.
- בונים קונטיינר של מאמן.
- הגדרת פרמטרים של ניסוי חיפוש לאימון חלקי (משימת proxy). האימון של מודל החיפוש צריך להסתיים במהירות (לדוגמה, 30-60 דקות) כדי לאמן את המודלים באופן חלקי:
- מספר האפוקות המינימלי שנדרש כדי שמודלים עם דגימה יצברו תגמול (מספר האפוקות המינימלי לא צריך להבטיח את ההתכנסות של המודל).
- היפר-פרמטרים (לדוגמה, קצב הלמידה).
מריצים חיפוש מקומי כדי לוודא שהקונטיינר המשולב של מרחב החיפוש יכול לפעול בצורה תקינה.
מתחילים את משימת Cloud de Confiance החיפוש (שלב 1) עם חמישה ניסויי בדיקה ומוודאים שניסויי החיפוש עומדים ביעדי זמן הריצה והדיוק.
מתחילים את עבודת החיפוש (שלב 1) עם 1,000 ניסויים. Cloud de Confiance
במסגרת החיפוש, מגדירים גם מרווח קבוע לאימון של N המודלים המובילים (שלב 2):
- היפרפרמטרים ואלגוריתם לחיפוש היפרפרמטרים. בשלב 2 בדרך כלל נעשה שימוש בהגדרה דומה לזו של שלב 1, אבל עם הגדרות גבוהות יותר לפרמטרים מסוימים, כמו שלבי אימון/תקופות אימון ומספר הערוצים.
- קריטריון עצירה (מספר התקופות של זמן המערכת).
לנתח את המדדים שדווחו ו/או להמחיש ארכיטקטורות כדי לקבל תובנות.
אחרי ניסוי חיפוש ארכיטקטורה אפשר להמשיך בניסוי חיפוש של הגדלת קנה מידה, ואחריו בניסוי חיפוש של הגדלת נתונים.
סדר הקריאה של התיעוד
- (חובה) הגדרת הסביבה
- (חובה) מדריכים
- (נדרש רק ללקוחות PyTorch) אימון יעיל של PyTorch עם נתונים בענן
- (חובה) שיטות מומלצות והצעות לתהליך עבודה
- (חובה) עיצוב משימת proxy
- (חובה רק כשמשתמשים במאמנים מוכנים מראש) איך משתמשים במרחבי חיפוש מוכנים מראש ובמאמן מוכן מראש
קובצי עזר
- שימוש בלמידת מכונה כדי לחקור את הארכיטקטורה של רשתות נוירונים
- MnasNet: Towards Automating the Design of Mobile Machine Learning Models
- EfficientNet: Improving Accuracy and Efficiency through AutoML and Model Scaling
- NAS-FPN: Learning Scalable Feature Pyramid Architecture for Object Detection
- SpineNet: Learning Scale-Permuted Backbone for Recognition and Localization
- RandAugment