Entrenamiento eficiente de PyTorch con datos en la nube

La búsqueda de arquitectura neuronal de Agent Platform no tiene requisitos que describan cómo diseñar tus entrenadores. Por lo tanto, elige cualquier framework de entrenamiento para compilar el entrenador.

Para el entrenamiento de PyTorch con grandes cantidades de datos, la práctica recomendada es usar el paradigma de entrenamiento distribuido y leer datos de Cloud Storage. Consulta la entrada de blog Efficient PyTorch training with Agent Platform Neural Architecture Search para conocer los métodos que permiten mejorar el rendimiento del entrenamiento. Puedes ver una mejora general del séxtuple del rendimiento con datos en Cloud Storage mediante el uso de WebDataset y la elección de estrategias de entrenamiento distribuidas DistributedDataParallel o FullyShardedDataParallel. El rendimiento del entrenamiento mediante datos en Cloud Storage es similar al rendimiento del entrenamiento mediante datos en un disco local.

En el ejemplo de clasificación MNasNet compilado previamente, se incorporaron estos métodos en su canalización de entrenamiento.