Effizientes PyTorch-Training mit Cloud-Daten

Für die Neural Architecture Search der Agent Platform gibt es keine Anforderungen zum Entwerfen Ihrer Trainer. Wählen Sie ein beliebiges Trainings-Framework aus, um den Trainer zu erstellen.

Für ein PyTorch-Training mit großen Datenmengen empfiehlt es sich, das verteilte Trainingsparadigma zu verwenden und Daten aus Cloud Storage zu lesen. Informationen zum Verbessern der Trainings leistung finden Sie im Blogpost Effizientes PyTorch-Training mit der Neural Architecture Search der Agent Platform. Mit WebDataset und den verteilten Schulungsstrategien DistributedDataParallel oder FullyShardedDataParallel können Sie die Leistung mit Daten in Cloud Storage insgesamt um das 6-fache steigern. Die Trainingsleistung mit Daten in Cloud Storage ähnelt der Trainingsleistung mit Daten auf einem lokalen Laufwerk.

Das vordefinierte MNasNet-Klassifizierungsbeispiel hat diese Methoden in seine Trainingspipeline eingebunden.