מידע על Agent Platform Vertex AI Neural Architecture Search

באמצעות Agent Platform Neural Architecture Search, אתם יכולים לחפש ארכיטקטורות נוירונים אופטימליות מבחינת דיוק, זמן אחזור, זיכרון, שילוב של אלה או מדד בהתאמה אישית.

איך מחליטים אם Agent Platform Neural Architecture Search הוא הכלי הכי מתאים בשבילכם

  • חיפוש ארכיטקטורה נוירונית (NAS) של Agent Platform הוא כלי אופטימיזציה מתקדם שמשמש למציאת הארכיטקטורות הנוירוניות הטובות ביותר מבחינת דיוק, עם או בלי אילוצים כמו זמן אחזור, זיכרון או מדד מותאם אישית. מרחב החיפוש של אפשרויות הארכיטקטורה של הרשת הנוירונית יכול להגיע לגודל של 10 בחזקת 20. הוא מבוסס על טכניקה ששימשה בהצלחה ליצירת כמה מודלים מתקדמים של ראייה ממוחשבת בשנים האחרונות, כולל Nasnet,‏ MNasnet,‏ EfficientNet,‏ NAS-FPN ו-SpineNet.
  • החיפוש של ארכיטקטורה נוירונית ב-Agent Platform הוא לא פתרון שבו אתם יכולים פשוט להביא את הנתונים שלכם ולצפות לתוצאה טובה בלי ניסויים. זהו כלי ניסיוני.
  • התכונה Agent Platform Neural Architecture Search לא מיועדת לכוונון היפר-פרמטרים, כמו כוונון קצב הלמידה או הגדרות האופטימיזציה. הוא מיועד רק לחיפוש ארכיטקטורה. לא כדאי לשלב בין כוונון היפר-פרמטרים לבין Agent Platform Neural Architecture Search.
  • לא מומלץ להשתמש ב-Agent Platform Neural Architecture Search עם נתוני אימון מוגבלים או עם מערכי נתונים לא מאוזנים, שבהם חלק מהמחלקות נדירות מאוד. אם אתם כבר משתמשים בהרחבות כבדות לאימון הבסיסי בגלל מחסור בנתונים, לא מומלץ להשתמש ב-Agent Platform Neural Architecture Search.
  • קודם כדאי לנסות שיטות וטכניקות מסורתיות וקונבנציונליות אחרות של למידת מכונה, כמו כוונון היפר-פרמטרים. כדאי להשתמש ב-Agent Platform Neural Architecture Search רק אם אתם לא רואים שיפור נוסף בשיטות המסורתיות האלה.
  • כדאי שיהיה לכם צוות פנימי לכוונון המודל, שיש לו מושג בסיסי לגבי הפרמטרים של הארכיטקטורה שצריך לשנות ולנסות. הפרמטרים האלה יכולים לכלול את גודל הליבה, מספר הערוצים או החיבורים, ועוד אפשרויות רבות אחרות. אם יש לכם מרחב חיפוש שאתם רוצים לחקור, Agent Platform Neural Architecture Search הוא כלי שימושי מאוד שיכול לחסוך לכם לפחות כחצי שנה של עבודת הנדסה בחקירה של מרחב חיפוש גדול: עד 10^20 אפשרויות ארכיטקטורה.
  • התכונה Agent Platform Neural Architecture Search מיועדת ללקוחות ארגוניים שיכולים להוציא כמה אלפי דולרים על ניסוי.
  • החיפוש של ארכיטקטורה נוירונית ב-Agent Platform לא מוגבל רק לתרחישי שימוש של ראייה. כרגע, רק מרחבי חיפוש מבוססי-ראייה ומודלים לאימון מוגדרים מראש מסופקים, אבל הלקוחות יכולים להביא גם מרחבי חיפוש ומודלים לאימון משלהם שלא מבוססים על ראייה.
  • ב-Agent Platform Neural Architecture Search לא משתמשים בגישת supernet (oneshot-NAS או NAS שמבוסס על שיתוף משקלים) שבה אתם פשוט מספקים את הנתונים שלכם ומשתמשים בהם כפתרון. התאמה אישית של רשת-על היא לא דבר פשוט (דורשת חודשים של מאמץ). בניגוד ל-supernet, ב-Agent Platform Neural Architecture Search אפשר להתאים אישית את מרחבי החיפוש והתגמולים. ההתאמה האישית יכולה להימשך יום או יומיים.
  • התכונה Agent Platform Neural Architecture Search נתמכת ב-8 אזורים ברחבי העולם. כאן אפשר לבדוק אם התכונה זמינה באזור שלכם.

לפני שמשתמשים ב-Agent Platform Neural Architecture Search, כדאי גם לקרוא את הקטע הבא על העלות הצפויה, היתרונות בתוצאות והדרישות למכסות GPU.

עלות צפויה, שיפור בתוצאות ודרישות למכסת GPU

חיפוש NAS.

בתרשים מוצגת עקומה אופיינית של Agent Platform Neural Architecture Search. העמודה Y-axis מציגה את הפרסים על הניסויים, והעמודה X-axis מציגה את מספר הניסויים שהופעלו. ככל שמספר הניסיונות גדל, הבקר מתחיל למצוא מודלים טובים יותר. לכן, התגמול מתחיל לעלות, ובהמשך, השונות של התגמול והצמיחה של התגמול מתחילות לרדת ומראות את ההתכנסות. בנקודת ההתכנסות, מספר הניסויים יכול להשתנות בהתאם לגודל מרחב החיפוש, אבל הוא בסדר גודל של כ-2,000 ניסויים. כל ניסיון מיועד להיות גרסה קטנה יותר של אימון מלא שנקרא proxy-task, שפועל במשך כשעה עד שעתיים בשני מעבדי GPU מסוג Nvidia V100. הלקוח יכול להפסיק את החיפוש באופן ידני בכל שלב, ויכול להיות שהוא ימצא מודלים עם תגמול גבוה יותר בהשוואה לערך הבסיס לפני שמתרחשת נקודת ההתכנסות. כדאי לחכות עד לנקודת ההתכנסות כדי לבחור את התוצאות הטובות יותר. אחרי החיפוש, השלב הבא הוא לבחור את 10 הניסויים (המודלים) המובילים ולהריץ עליהם אימון מלא.

(אופציונלי) בדיקת מרחב החיפוש והמאמן המובנים של MNasNet

במצב הזה, בוחנים את עקומת החיפוש או כמה ניסיונות, בערך 25, ומבצעים נסיעת מבחן עם מרחב חיפוש ומאמן MNasNet מובנים מראש.

הרצת ניסיון של MnasNet.

בתרשים, התגמול הטוב ביותר בשלב 1 מתחיל לעלות מ-‎~0.30 בניסיון 1 ל-‎~0.37 בניסיון 17. יכול להיות שההרצה שלכם תיראה קצת שונה בגלל האקראיות של הדגימה, אבל אתם אמורים לראות עלייה קטנה בתגמול הטוב ביותר. שימו לב שזו עדיין הרצה למטרות הדגמה, והיא לא מייצגת הוכחת היתכנות או אימות של נקודת השוואה ציבורית.

פירוט העלות של ההרצה הזו:

  • שלב 1:
    • מספר תקופות הניסיון: 25
    • מספר יחידות ה-GPU לכל ניסוי: 2
    • סוג ה-GPU: ‏ TESLA_T4
    • מספר המעבדים לכל ניסיון: 1
    • סוג המעבד: n1-highmem-16
    • זמן אימון ממוצע לניסיון בודד: 3 שעות
    • מספר הניסויים המקבילים: 6
    • מכסת ה-GPU שנוצלה: (num-gpus-per-trial * num-parallel-trials) = 12 GPUs. משתמשים באזור us-central1 להתנסות ומארחים את נתוני האימון באותו אזור. לא צריך מכסה נוספת.
    • זמן ההרצה: (total-trials * training-time-per-trial)/(num-parallel-trials) = 12 שעות
    • שעות GPU‏: (total-trials * training-time-per-trial * num-gpus-per-trial) = ‏150 שעות GPU של T4
    • שעות מעבד (CPU): ‏(total-trials * training-time-per-trial * num-cpus-per-trial) = ‏75 שעות n1-highmem-16
    • עלות: כ-185$. כדי להפחית את העלות, אפשר להפסיק את המשימה מוקדם יותר. כדי לחשב את המחיר המדויק, אפשר לעיין בדף התמחור.

מכיוון שזו הרצה קטנה, אין צורך להריץ אימון מלא של שלב 2 למודלים משלב 1. מידע נוסף על הפעלת שלב 2 זמין במדריך 3.

בהרצה הזו משתמשים ב-MnasNet notebook.

(אופציונלי) הפעלה של הוכחת היתכנות (POC) של מרחב החיפוש והמאמן המובנים של MNasNet

אם אתם רוצים לשכפל כמעט במדויק תוצאה של MNasnet שפורסמה, אתם יכולים להשתמש במצב הזה. לפי המאמר, MnasNet משיג דיוק top-1 של 75.2% עם זמן אחזור של 78 אלפיות השנייה בטלפון Pixel, שזה מהיר פי 1.8 מ-MobileNetV2 עם דיוק גבוה יותר ב-0.5%, ומהיר פי 2.3 מ-NASNet עם דיוק גבוה יותר ב-1.2%. עם זאת, בדוגמה הזו נעשה שימוש במעבדי GPU במקום במעבדי TPU לאימון, ובמעבד CPU בענן (n1-highmem-8) להערכת זמן האחזור. בדוגמה הזו, רמת הדיוק הצפויה של Stage2 top-1 ב-MNasNet היא 75.2% עם זמן אחזור של 50 אלפיות השנייה ב-cloud-CPU‏ (n1-highmem-8).

פירוט העלות של ההרצה הזו:

  • חיפוש בשלב 1:

    • מספר הניסיונות: 2,000
    • מספר יחידות ה-GPU לכל ניסוי: 2
    • סוג ה-GPU: ‏ TESLA_T4
    • זמן אימון ממוצע לניסיון בודד: 3 שעות
    • מספר הניסויים המקבילים: 10
    • מכסת ה-GPU שנוצלה: (num-gpus-per-trial * num-parallel-trials) = 20 T4 GPUs. מכיוון שהמספר הזה גבוה ממכסת ברירת המחדל, צריך ליצור בקשה להגדלת המכסה מממשק המשתמש של הפרויקט. מידע נוסף זמין במאמר setting_up_path.
    • זמן ההרצה: (total-trials * training-time-per-trial)/(num-parallel-trials)/24 = 25 ימים. הערה: המשימה מסתיימת אחרי 14 ימים. אחרי פרק הזמן הזה, אפשר להמשיך את משימת החיפוש בקלות באמצעות פקודה אחת למשך 14 ימים נוספים. אם יש לכם מכסת GPU גדולה יותר, זמן הריצה יורד באופן יחסי.
    • שעות GPU: ‏(total-trials * training-time-per-trial * num-gpus-per-trial) = ‏12,000 שעות GPU של T4.
    • עלות: כ-15,000$

  • שלב 2: אימון מלא עם 10 המודלים המובילים:

    • מספר הניסיונות: 10
    • מספר יחידות ה-GPU לכל ניסוי: 4
    • סוג ה-GPU: ‏ TESLA_T4
    • זמן אימון ממוצע לניסוי בודד: כ-9 ימים
    • מספר הניסויים המקבילים: 10
    • מכסת ה-GPU שנוצלה: (num-gpus-per-trial * num-parallel-trials) = 40 T4 GPUs. המספר הזה גבוה ממכסת ברירת המחדל, ולכן צריך ליצור בקשה להגדלת המכסה מממשק המשתמש של הפרויקט. מידע נוסף זמין במאמר setting_up_path. אפשר גם להריץ את המשימה הזו עם 20 מעבדי GPU מסוג T4, על ידי הרצת המשימה פעמיים עם חמישה מודלים בכל פעם, במקום כל 10 המודלים במקביל.
    • זמן ההרצה: (סה"כ ניסויים * זמן אימון לכל ניסוי)/(מספר ניסויים מקבילים)/24 = ~9 ימים
    • שעות GPU: ‏(total-trials * training-time-per-trial * num-gpus-per-trial) = ‏8,960 שעות GPU של T4.
    • עלות: כ-8,000$

העלות הכוללת: כ-23,000$. כדי לחשב את המחיר המדויק, אפשר לעיין בדף התמחור. הערה: הדוגמה הזו היא לא משימת אימון רגילה ממוצעת. האימון המלא נמשך כ-9 ימים ב-4 מעבדי GPU מסוג TESLA_T4.

בהרצה הזו משתמשים ב-MnasNet notebook.

שימוש במרחב החיפוש ובמאמנים

אנחנו מספקים עלות משוערת למשתמש ממוצע בהתאמה אישית. הצרכים שלכם יכולים להשתנות בהתאם למשימת האימון ולמעבדי ה-GPU וה-CPU שבהם אתם משתמשים. כדי להריץ מקצה לקצה, צריך מכסה של לפחות 20 יחידות GPU, כמו שמתואר כאן. הערה: השיפור בביצועים תלוי לחלוטין במשימה. אנחנו יכולים לספק רק דוגמאות כמו MNasnet כדוגמאות להפניה לשיפור בביצועים.

העלות של ההרצה ההיפותטית בהתאמה אישית מפורטת בהמשך:

  • חיפוש בשלב 1:

    • מספר הניסיונות: 2,000
    • מספר יחידות ה-GPU לכל ניסוי: 2
    • סוג ה-GPU: ‏ TESLA_T4
    • זמן אימון ממוצע לניסיון בודד: שעה וחצי
    • מספר הניסויים המקבילים: 10
    • מכסת ה-GPU שנוצלה: (num-gpus-per-trial * num-parallel-trials) = 20 T4 GPUs. המספר הזה גבוה ממכסת ברירת המחדל, ולכן צריך ליצור בקשה להגדלת המכסה דרך ממשק המשתמש של הפרויקט. למידע נוסף, קראו את המאמר בקשת מכסת מכשירים נוספת לפרויקט.
    • זמן ההרצה: (total-trials * training-time-per-trial)/(num-parallel-trials)/24 = 12.5 ימים
    • שעות GPU: ‏(total-trials * training-time-per-trial * num-gpus-per-trial) = ‏6,000 שעות GPU של T4.
    • עלות: כ-7,400$

  • אימון מלא בשלב 2 עם 10 המודלים המובילים:

    • מספר הניסיונות: 10
    • מספר יחידות ה-GPU לכל ניסוי: 2
    • סוג ה-GPU: ‏ TESLA_T4
    • זמן אימון ממוצע לניסיון בודד: כ-4 ימים
    • מספר הניסויים המקבילים: 10
    • מכסת ה-GPU שנוצלה: (num-gpus-per-trial * num-parallel-trials) = 20 T4 GPUs. **המספר הזה גבוה ממכסת ברירת המחדל, לכן צריך ליצור בקשה להגדלת המכסה בממשק המשתמש של הפרויקט. מידע נוסף זמין במאמר בקשת מכסה נוספת של מכשירים לפרויקט. אם אתם צריכים מכסות בהתאמה אישית, תוכלו להיעזר באותו מאמר.
    • זמן ההרצה: (total-trials * training-time-per-trial)/(num-parallel-trials)/24 = בערך 4 ימים
    • שעות GPU: ‏(total-trials * training-time-per-trial * num-gpus-per-trial) = ‏1,920 שעות GPU של T4.
    • עלות: כ-2,400$

  • למידע נוסף על עלות התכנון של משימת Proxy, ראו תכנון משימת Proxy. העלות דומה לאימון של 12 מודלים (בשלב 2 באיור נעשה שימוש ב-10 מודלים):

    • מכסת ה-GPU שנוצלה: זהה להרצה של שלב 2 בתרשים.
    • עלות: (12/10) * עלות שלב 2 ל-10 מודלים = כ-2,880$

העלות הכוללת: בערך 12,680$. כדי לחשב את המחיר המדויק, אפשר לעיין בדף התמחור.

עלויות החיפוש בשלב 1 הן עבור החיפוש עד שמגיעים לנקודת ההתכנסות, וכדי להשיג את הביצועים המקסימליים. עם זאת, אל תחכו עד שהחיפוש יתכנס. אם עקומת התגמול על החיפוש התחילה לעלות, אתם יכולים לצפות לשיפור קטן יותר בביצועים עם עלות חיפוש קטנה יותר על ידי הפעלת אימון מלא בשלב 2 עם המודל הטוב ביותר עד כה. לדוגמה, בתרשים החיפוש שמוצג למעלה, אל תחכו עד שתגיעו ל-2,000 ניסויים כדי להגיע להתכנסות. יכול להיות שתמצאו מודלים טובים יותר אחרי 700 או 1,200 ניסויים, ותוכלו להריץ אימון מלא בשלב 2 בשבילם. תמיד אפשר להפסיק את החיפוש מוקדם יותר כדי להפחית את העלות. אפשר גם לבצע אימון מלא של שלב 2 במקביל בזמן שהחיפוש פועל, אבל צריך לוודא שיש לכם מכסת GPU שתומכת במשימה מקבילה נוספת.

סיכום הביצועים והעלויות

בטבלה הבאה מפורטים כמה נקודות על הגרף עם תרחישים לדוגמה שונים, והביצועים והעלויות שמשויכים אליהם.

סיכום.

תרחישים לדוגמה ותכונות

התכונות של Agent Platform Neural Architecture Search הן גם גמישות וגם קלות לשימוש. משתמשים מתחילים יכולים להשתמש במרחבי חיפוש מובנים, ב-prebuilt-trainer וב-notebooks בלי הגדרות נוספות כדי להתחיל לחקור את Agent Platform Neural Architecture Search עבור קבוצת הנתונים שלהם. במקביל, משתמש מומחה יכול להשתמש ב-Neural Architecture Search של Agent Platform עם מאמן בהתאמה אישית, מרחב חיפוש בהתאמה אישית ומכשיר הסקה בהתאמה אישית, ואפילו להרחיב את החיפוש של הארכיטקטורה גם לתרחישי שימוש שאינם קשורים לראייה.

ב-Agent Platform Neural Architecture Search יש מאמנים ומרחבי חיפוש מובנים שאפשר להריץ ב-GPU בתרחישים הבאים:

  • מודלים לאימון של Tensorflow עם תוצאות שמבוססות על מערך נתונים ציבורי, שפורסמו ב-Notebook
    • זיהוי אובייקטים בתמונות עם מרחבי חיפוש מקצה לקצה (SpineNet)
    • סיווג עם מרחבי חיפוש של רשתות בסיס מובנות (MnasNet)
    • זיהוי אובייקטים בענן נקודות תלת-ממדיות של LiDAR עם מרחבי חיפוש מקצה לקצה מובנים מראש
    • חיפוש מוגבל מבחינת זמן אחזור וזיכרון למכשירי יעד
  • מאמני PyTorch לשימוש רק כדוגמה למדריך
    • דוגמה למרחב חיפוש של חלוקת תמונות רפואיות תלת-ממדיות למקטעים ב-PyTorch
    • סיווג MNasNet מבוסס-PyTorch
    • חיפוש מוגבל מבחינת זמן אחזור וזיכרון למכשירי יעד
  • מרחבי חיפוש נוספים מבוססי-Tensorflow, המתקדמים ביותר ומוכנים מראש, עם קוד
    • שינוי קנה המידה של המודל
    • הרחבת נתונים

אפשר להשתמש בקלות בכל התכונות של Agent Platform Neural Architecture Search גם לארכיטקטורות ולתרחישי שימוש בהתאמה אישית:

  • שפה של Agent Platform Neural Architecture Search שמאפשרת להגדיר מרחב חיפוש מותאם אישית על פני ארכיטקטורות נוירונים אפשריות, ולשלב את מרחב החיפוש הזה עם קוד אימון מותאם אישית.
  • מרחבי חיפוש מתקדמים, מוכנים לשימוש, עם קוד.
  • מודל אימון מוכן לשימוש, עם קוד, שפועל ב-GPU.
  • שירות מנוהל לחיפוש ארכיטקטורה, כולל
    • בקר של Agent Platform Neural Architecture Search שדוגם את מרחב החיפוש כדי למצוא את הארכיטקטורה הטובה ביותר.
    • ספריות/Docker מובנים מראש, עם קוד, לחישוב זמן אחזור/FLOPs/זיכרון בחומרה בהתאמה אישית.
  • מדריכים לשימוש ב-NAS.
  • קבוצת כלים לעיצוב משימות פרוקסי.
  • הנחיות ודוגמה לאימון יעיל של PyTorch באמצעות Agent Platform Neural Architecture Search.
  • תמיכה בספרייה לדיווח ולניתוח של מדדים מותאמים אישית.
  • ממשק המשתמש של מסוףCloud de Confiance כדי לעקוב אחרי משימות ולנהל אותן.
  • מחברות קלות לשימוש כדי להתחיל את החיפוש.
  • תמיכה בספרייה לניהול השימוש במשאבי GPU/CPU ברמת פירוט של פרויקט או משימה.
  • לקוח NAS מבוסס-Python לבניית קובצי Docker, להפעלת משימות NAS ולהמשך של משימת חיפוש קודמת.
  • תמיכת לקוחות שמבוססת על ממשק המשתמש של מסוףCloud de Confiance by S3NS .

רקע

חיפוש ארכיטקטורה נוירונית (NAS) בפלטפורמת Agent הוא שיטה לאוטומציה של תכנון רשתות נוירונים. בשנים האחרונות, הצוות פיתח בהצלחה כמה מודלים מתקדמים של ראייה ממוחשבת, כולל:

המודלים שנוצרו מובילים בכל 3 הסוגים העיקריים של בעיות בראייה ממוחשבת: סיווג תמונות, זיהוי אובייקטים ופילוח.

באמצעות Agent Platform Neural Architecture Search, מהנדסים יכולים לבצע אופטימיזציה של מודלים לדיוק, זמן אחזור וזיכרון באותו ניסיון, וכך לקצר את הזמן שנדרש לפריסת מודלים. ב-Agent Platform Neural Architecture Search נבדקים סוגים רבים ושונים של מודלים: הבקר מציע מודלים של ML, ואז מאמן ומעריך מודלים וחוזר על הפעולה יותר מ-1,000 פעמים כדי למצוא את הפתרונות הטובים ביותר עם אילוצי זמן טעינה ו/או זיכרון במכשירי היעד. באיור הבא מוצגים הרכיבים העיקריים של מסגרת החיפוש של הארכיטקטורה:

רכיבים של מסגרת Agent Platform Neural Architecture Search.

  • מודל: ארכיטקטורה נוירונית עם פעולות וחיבורים.
  • מרחב חיפוש: מרחב המודלים האפשריים (פעולות וחיבורים) שאפשר לתכנן ולבצע להם אופטימיזציה.
  • ‫Trainer docker: קוד לאימון מודלים שניתן להתאים אישית, כדי לאמן ולהעריך מודל ולחשב את מידת הדיוק שלו.
  • מכשיר הסקה: מכשיר חומרה כמו מעבד (CPU) או GPU שבו מחושבים זמן האחזור והשימוש בזיכרון של המודל.
  • תגמול: שילוב של מדדי מודלים כמו דיוק, זמן אחזור וזיכרון שמשמשים לדירוג המודלים כטובים יותר או פחות.
  • Agent Platform Neural Architecture Search Neural Architecture Search Controller: אלגוריתם התזמור ש-(א) דוגם את המודלים ממרחב החיפוש, (ב) מקבל את התגמולים של המודל ו-(ג) מספק את קבוצת ההצעות הבאה למודלים להערכה כדי למצוא את המודלים האופטימליים ביותר.

משימות להגדרת משתמשים

‫Agent Platform Neural Architecture Search: חיפוש ארכיטקטורה נוירונית (NAS) מציע מאמן מובנה שמשולב עם מרחבי חיפוש מובנים, שאפשר להשתמש בהם עם ה-notebooks שסופקו בלי הגדרה נוספת.

עם זאת, רוב המשתמשים צריכים להשתמש במאמן מותאם אישית, במרחבי חיפוש מותאמים אישית, במדדים מותאמים אישית (למשל, זיכרון, זמן אחזור וזמן אימון) ובתגמול מותאם אישית (שילוב של דברים כמו דיוק וזמן אחזור). כדי לעשות את זה, צריך:

  • הגדרת מרחב חיפוש בהתאמה אישית באמצעות שפת Agent Platform Neural Architecture Search Neural Architecture Search שסופקה.
  • משלבים את הגדרת מרחב החיפוש בקוד של ה-trainer.
  • מוסיפים דיווח על מדדים מותאמים אישית לקוד של המאמן.
  • הוספת פרס בהתאמה אישית לקוד המאמן.
  • יצירת קונטיינר לאימון ושימוש בו כדי להתחיל משימות של Agent Platform Neural Architecture Search.

התרשים הבא ממחיש את זה:

הגדרת Agent Platform Neural Architecture Search Neural Architecture Search בסביבת המשתמש.

שירות Agent Platform Neural Architecture Search פועל

אחרי שמגדירים את מאגר האימון לשימוש, שירות Agent Platform Neural Architecture Search Neural Architecture Search מפעיל כמה מאגרי אימון במקביל בכמה מכשירי GPU. אתם יכולים לקבוע כמה ניסויים יתבצעו במקביל לאימון, וכמה ניסויים יופעלו בסך הכול. לכל training-container מוצעת ארכיטקטורה ממרחב החיפוש. הקונטיינר לאימון בונה את המודל המוצע, מבצע אימון/הערכה ואז מדווח על התגמולים בחזרה לשירות Neural Architecture Search של Agent Platform. ככל שהתהליך מתקדם, שירות Agent Platform Neural Architecture Search משתמש במשוב על התגמול כדי למצוא ארכיטקטורות מודלים טובות יותר. אחרי החיפוש, תהיה לכם גישה למדדים שמופיעים בדוח לצורך ניתוח נוסף.

שירות Agent Platform Neural Architecture Search בפעולה.

סקירה כללית של התהליך שעובר המשתמש ב-Agent Platform Neural Architecture Search

אלה השלבים הכלליים לביצוע ניסוי של Neural Architecture Search ב-Agent Platform:

  • הגדרות:

    • מזהים את מערך הנתונים המתויג ומציינים את סוג המשימה (לדוגמה, זיהוי או פילוח).
    • התאמה אישית של קוד המאמן:
      • אפשר להשתמש במרחב חיפוש מובנה מראש או להגדיר מרחב חיפוש בהתאמה אישית באמצעות שפת Agent Platform Neural Architecture Search Neural Architecture Search.
      • משלבים את ההגדרה של מרחב החיפוש בקוד של המאמן.
      • מוסיפים דיווח על מדדים מותאמים אישית לקוד של המאמן.
      • הוספת פרס בהתאמה אישית לקוד המאמן.
    • יוצרים קונטיינר לאימון.
    • הגדרת פרמטרים של ניסוי חיפוש לאימון חלקי (משימת פרוקסי). אימון החיפוש אמור להסתיים מהר (לדוגמה, תוך 30-60 דקות) כדי לאמן את המודלים באופן חלקי:
      • מספר התקופות המינימלי שנדרש למודלים שנדגמו כדי לאסוף תגמול (מספר התקופות המינימלי לא צריך להבטיח התכנסות של המודל).
      • היפר-פרמטרים (לדוגמה, קצב למידה).

  • מריצים חיפוש מקומי כדי לוודא שהקונטיינר המשולב של מרחב החיפוש יכול לפעול כמו שצריך.

  • מפעילים את משימת Cloud de Confiance החיפוש (שלב 1) עם חמישה ניסויי בדיקה ומוודאים שניסויי החיפוש עומדים ביעדי זמן הריצה והדיוק.

  • מתחילים את משימת החיפוש של Cloud de Confiance (שלב 1) עם יותר מ-1,000 ניסיונות.

    • כחלק מהחיפוש, צריך גם להגדיר מרווח זמן קבוע לאימון (שלב 2) של N המודלים המובילים:

      • היפר-פרמטרים ואלגוריתם לחיפוש היפר-פרמטרים. בשלב 2 בדרך כלל משתמשים בהגדרות דומות לאלה של שלב 1, אבל עם הגדרות גבוהות יותר לפרמטרים מסוימים, כמו שלבי אימון/תקופות אימון ומספר הערוצים.
      • קריטריונים לעצירה (מספר התקופות של זמן המערכת).

  • לנתח את המדדים שבדוחות או להציג את הארכיטקטורות באופן חזותי כדי לקבל תובנות.

אחרי ניסוי של חיפוש ארכיטקטורה, אפשר לבצע ניסוי של חיפוש התאמה לעומס, ואחריו ניסוי של חיפוש הגדלה.

סדר הקריאה של התיעוד

  1. (חובה) הגדרת הסביבה
  2. (חובה) מדריכים
  3. (נדרש רק ללקוחות PyTorch) אימון יעיל של PyTorch עם נתונים בענן
  4. (חובה) שיטות מומלצות ותהליך עבודה מומלץ
  5. (חובה) עיצוב משימת Proxy
  6. (נדרש רק כשמשתמשים במודלים מאומנים מראש) איך משתמשים במרחבי חיפוש מוגדרים מראש ובמודל מאומן מראש

קובצי עזר