Entraînement PyTorch efficace avec des données cloud

Étant donné qu'Agent Platform Neural Architecture Search n'impose aucune conception particulière pour les applications d'entraînement, vous pouvez choisir n'importe quel framework d'entraînement pour créer l'application d'entraînement.

Pour l'entraînement PyTorch avec de grandes quantités de données, la bonne pratique consiste à utiliser le paradigme d'entraînement distribué et à lire les données à partir de Cloud Storage. Consultez l'article de blog Entraînement PyTorch efficace avec Agent Platform Neural Architecture Search pour découvrir des méthodes permettant d'améliorer les performances d'entraînement. Vous pouvez constater une amélioration des performances globale (multipliées par six) avec les données Cloud Storage en utilisant WebDataset et en choisissant les stratégies d'entraînement distribué DistributedDataParallel ou FullyShardedDataParallel. Les performances de l'entraînement utilisant des données sur Cloud Storage sont semblables à celles de l'entraînement utilisant des données sur un disque local.

L'exemple de classification MNasNet prédéfini a intégré ces méthodes dans son pipeline d'entraînement.