אימון יעיל של PyTorch עם נתונים בענן

ל-Agent Platform Neural Architecture Search אין דרישות שמתארות איך לתכנן את המאמנים. לכן, בוחרים מסגרות אימון כדי לבנות את המאמן.

כשמבצעים אימון של PyTorch עם כמויות גדולות של נתונים, מומלץ להשתמש בפרדיגמת האימון המבוזר ולקרוא נתונים מ-Cloud Storage. במאמר הבלוג אימון יעיל של PyTorch באמצעות Agent Platform Neural Architecture Search מוסבר על שיטות לשיפור ביצועי האימון. אפשר לשפר את ביצועי האימון פי 6 באמצעות נתונים ב-Cloud Storage, שימוש ב-WebDataset ובחירה באסטרטגיות אימון מבוזרות של DistributedDataParallel או FullyShardedDataParallel. ביצועי האימון באמצעות נתונים ב-Cloud Storage דומים לביצועי האימון באמצעות נתונים בדיסק מקומי.

דוגמה מוכנה מראש לסיווג MNasNet משלבת את השיטות האלה בצינור האימון שלה.