À propos des instances de GPU

Ce document décrit les fonctionnalités et les limites des instances de machines virtuelles (VM) avec GPU qui s'exécutent sur Compute Engine.

Pour accélérer des charges de travail spécifiques sur Compute Engine, vous pouvez déployer une instance optimisée pour les accélérateurs à laquelle sont associés des GPU, ou associer des GPU à une instance N1 à usage général. Compute Engine fournit des GPU pour vos instances en mode passthrough. Le mode passthrough permet à vos instances de contrôler directement les GPU et leur mémoire.

Vous pouvez également utiliser certains types de machines GPU sur AI Hypercomputer. AI Hypercomputer est un système de supercalcul optimisé pour prendre en charge vos charges de travail d'intelligence artificielle (IA) et de machine learning (ML). Cette option est recommandée pour créer une infrastructure à allocation dense et optimisée pour les performances, qui intègre les planificateurs Google Kubernetes Engine (GKE) et Slurm.

Types de machines compatibles

Les familles de machines optimisées pour les accélérateurs et à usage général N1 sont compatibles avec les GPU. Pour les instances qui utilisent des types de machines optimisés pour les accélérateurs, Compute Engine associe automatiquement les GPU lorsque vous créez l'instance. Pour les instances qui utilisent des types de machines N1, vous associez des GPU à une instance pendant ou après sa création. Les GPU ne sont pas compatibles avec d'autres types de machines.

Types de machines optimisés pour les accélérateurs

Chaque type de machine optimisé pour les accélérateurs est associé à un modèle spécifique de GPU NVIDIA. Si vous avez des charges de travail exigeantes en ressources graphiques, telles que la visualisation 3D, vous pouvez également créer des postes de travail virtuels qui utilisent des postes de travail virtuels (vWS) NVIDIA RTX. Le poste de travail virtuel NVIDIA RTX est disponible pour certains modèles de GPU.

Type de machine Modèle GPU Modèle de poste de travail virtuel (vWS) NVIDIA RTX
A4X Superchips NVIDIA GB200 Grace Blackwell (nvidia-gb200).

Chaque superchip contient quatre GPU NVIDIA B200 Blackwell.
A4 GPU NVIDIA B200 Blackwell (nvidia-b200)
A3 Ultra GPU NVIDIA H200 SXM (nvidia-h200-141gb)
A3 Mega GPU NVIDIA H100 SXM (nvidia-h100-mega-80gb)
A3 High, A3 Edge GPU NVIDIA H100 SXM (nvidia-h100-80gb)
A2 Ultra GPU NVIDIA A100 80 Go (nvidia-a100-80gb)
A2 Standard GPU NVIDIA A100 40 Go (nvidia-a100-40gb)
G4 (bêta) NVIDIA RTX PRO 6000 Blackwell Server Edition (nvidia-rtx-pro-6000)
G2 GPU NVIDIA L4 (nvidia-l4) GPU de poste de travail virtuel NVIDIA L4 (nvidia-l4-vws)

Pour en savoir plus, consultez la section Famille de machines optimisées pour les accélérateurs.

Types de machines à usage général N1

Pour la plupart des types de machines N1, à l'exception des types N1 à cœur partagé (f1-micro et g1-small), vous pouvez associer les modèles de GPU suivants :

GPU NVIDIA :

  • NVIDIA T4 : nvidia-tesla-t4
  • NVIDIA P4 : nvidia-tesla-p4
  • NVIDIA P100 : nvidia-tesla-p100
  • NVIDIA V100 : nvidia-tesla-v100

Poste de travail virtuel NVIDIA RTX (vWS) (anciennement NVIDIA GRID) :

  • Poste de travail virtuel NVIDIA T4 : nvidia-tesla-t4-vws
  • Poste de travail virtuel NVIDIA P4 : nvidia-tesla-p4-vws

  • Poste de travail virtuel NVIDIA P100 : nvidia-tesla-p100-vws

    Pour ces postes de travail virtuels, une licence de poste de travail virtuel NVIDIA RTX (vWS) est automatiquement ajoutée à votre instance.

Pour la famille N1 à usage général, vous pouvez utiliser des types de machines prédéfinis ou personnalisés.

GPU sur des VM Spot

Vous pouvez ajouter des GPU à vos VM Spot à des tarifs Spot pour les GPU. Les GPU associés à des VM Spot fonctionnent comme des GPU normaux dont la durée de vie n'excède pas celle de la VM. Les VM Spot avec des GPU suivent le même processus de préemption que toutes les VM Spot.

Envisagez de demander un quota Preemptible GPU dédié à utiliser pour les GPU sur les VM Spot. Pour en savoir plus, consultez la section Quotas pour les VM Spot.

Lors des événements de maintenance, les VM Spot avec GPU sont préemptées par défaut et ne peuvent pas être redémarrées automatiquement. Si vous souhaitez recréer vos VM après leur préemption, utilisez un groupe d'instances géré. Les groupes d'instances gérés recréent vos instances de VM si les ressources de processeur virtuel, de mémoire et de GPU sont disponibles.

Si vous souhaitez être averti avant que vos VM soient préemptées, ou si vous souhaitez configurer vos VM pour qu'elles redémarrent automatiquement après un événement de maintenance, utilisez des VM standards avec un GPU. Pour les VM standards comportant des GPU, Compute Engine envoie un avis préalable une heure avant la préemption.

L'utilisation de GPU sur Compute Engine ne vous est pas facturée si leurs VM sont préemptées dans la minute qui suit leur exécution.

Pour découvrir comment créer des VM Spot avec des GPU associés, consultez les sections Créer une VM avec des GPU associés et Créer des VM Spot. Par exemple, consultez Créer une instance A3 Ultra ou A4 à l'aide de VM Spot.

GPU sur des instances avec des durées d'exécution prédéfinies

Les instances qui utilisent le modèle de provisionnement standard ne peuvent généralement pas utiliser les quotas d'allocation préemptive. Les quotas préemptifs sont destinés aux charges de travail temporaires et sont généralement plus disponibles. Si votre projet ne dispose pas de quota préemptif et que vous n'en avez jamais demandé, toutes les instances de votre projet consomment des quotas d'allocation standards.

Si vous demandez un quota d'allocation préemptive, les instances qui utilisent le modèle de provisionnement standard doivent répondre à tous les critères suivants pour consommer le quota d'allocation préemptive :

Lorsque vous consommez une allocation préemptive pour des charges de travail GPU limitées dans le temps, vous pouvez bénéficier à la fois d'une durée d'exécution ininterrompue et d'une grande disponibilité du quota d'allocation préemptive. Pour en savoir plus, consultez la section Quotas préemptifs.

GPU et Confidential VM

Vous pouvez utiliser un GPU avec une instance Confidential VM qui utilise Intel TDX sur la série de machines A3. Pour en savoir plus, consultez la section Configurations compatibles de Confidential VM. Pour savoir comment créer une instance Confidential VM avec des GPU, consultez Créer une instance Confidential VM avec un GPU.

GPU et stockage de blocs

Lorsque vous créez une instance à l'aide d'un type de machine GPU, vous pouvez ajouter un stockage par blocs permanent ou temporaire à l'instance. Pour stocker des données non transitoires, utilisez un stockage de blocs persistant tel que Hyperdisk ou Persistent Disk, car ces disques sont indépendants du cycle de vie de l'instance. Les données stockage persistant peuvent être conservées même après la suppression de l'instance.

Pour le stockage temporaire ou les caches, utilisez le stockage de blocs temporaire en ajoutant des disques SSD locaux lorsque vous créez l'instance.

Stockage de blocs persistant avec les volumes Persistent Disk et Hyperdisk

Vous pouvez associer des volumes Persistent Disk et Hyperdisk aux instances compatibles avec les GPU.

Pour les charges de travail de machine learning (ML) et de diffusion, utilisez les volumes Hyperdisk ML, qui offrent un débit élevé et des temps de chargement de données plus courts. Hyperdisk ML est une option plus économique pour les charges de travail de ML, car elle offre des temps d'inactivité des GPU plus faibles.

Les volumes Hyperdisk ML sont compatibles avec l'association multiple en lecture seule. Vous pouvez donc associer le même disque à plusieurs instances, ce qui permet à chaque instance d'accéder aux mêmes données.

Pour en savoir plus sur les types de disques compatibles avec les séries de machines qui prennent en charge les GPU, consultez les pages sur les séries de machines N1 et optimisées pour les accélérateurs.

Disques SSD locaux

Les disques SSD locaux offrent un stockage temporaire rapide pour la mise en cache, le traitement des données ou d'autres données temporaires. Les disques SSD locaux offrent un stockage rapide, car ils sont rattachés physiquement au serveur qui héberge votre instance. Les disques SSD locaux fournissent un stockage temporaire, car l'instance perd des données si elle redémarre.

Évitez de stocker des données nécessitant une forte persistance sur des disques SSD locaux. Pour stocker des données non transitoires, utilisez plutôt le stockage persistant.

Si vous arrêtez manuellement une instance avec un GPU, vous pouvez conserver les données du disque SSD local, sous réserve de certaines restrictions. Pour en savoir plus, consultez la documentation sur les SSD locaux.

Pour connaître la disponibilité régionale des disques SSD locaux avec les types de GPU, consultez Disponibilité des disques SSD locaux par régions et zones GPU.

GPU et maintenance de l'hôte

Compute Engine arrête toujours les instances avec des GPU associés lorsqu'il effectue des événements de maintenance sur le serveur hôte. Si des disques SSD locaux sont associés à l'instance, celle-ci perd les données SSD locales après son arrêt.

Pour en savoir plus sur la gestion des événements de maintenance, consultez la section Gérer les événements de maintenance de l'hôte GPU.

Tarifs des GPU

Pour les instances auxquelles des GPU sont associés, les coûts sont les suivants :

Pour connaître les tarifs horaires et mensuels des GPU, consultez la page Tarifs des GPU.

Réserver des GPU avec des remises sur engagement d'utilisation

Pour réserver des ressources GPU dans une zone spécifique, consultez Choisir un type de réservation.

Pour bénéficier de remises sur engagement d'utilisation pour les GPU dans une zone spécifique, vous devez souscrire des engagements basés sur les ressources pour les GPU et associer également des réservations spécifiant des GPU correspondants à vos engagements. Pour en savoir plus, consultez la section Associer des réservations à des engagements basés sur les ressources.

Restrictions et limitations des GPU

Pour les instances auxquelles sont associés des GPU, les restrictions et limites suivantes s'appliquent :

  • Seuls les types de machines optimisés pour les accélérateurs (A4X, A4, A3, A2 et G2) et usage général (N1) sont compatibles avec les GPU.

  • Pour protéger les systèmes et les utilisateurs de Compute Engine, les nouveaux projets bénéficient d'un quota global de GPU, ce qui limite le nombre total de GPU que vous pouvez créer dans les zones disponibles. Lorsque vous demandez un quota de GPU, vous devez inclure les modèles de GPU que vous souhaitez créer dans chaque région, mais également demander un quota global supplémentaire pour le nombre total de GPU de tous types, dans toutes les zones.

  • Les instances avec un ou plusieurs GPU possèdent un nombre maximal de processeurs virtuels pour chaque GPU que vous ajoutez à l'instance. Pour afficher les processeurs virtuels et plages de mémoire disponibles pour différentes configurations de GPU, consultez la liste des GPU.

  • Les GPU nécessitent des pilotes d'appareil pour fonctionner correctement. Les GPU NVIDIA exécutés sur Compute Engine doivent utiliser une version minimale du pilote. Pour en savoir plus sur les versions de pilote, consultez la page sur les versions de pilote NVIDIA requises.

  • Le contrat de niveau de service de Compute Engine couvre les instances avec un modèle de GPU associé uniquement si ce modèle de GPU associé est en disponibilité générale.

    Pour les régions comportant plusieurs zones, le contrat de niveau de service de Compute Engine ne couvre l'instance que si le modèle de GPU est disponible dans plusieurs zones de cette région. Pour connaître les modèles de GPU par région, consultez Régions et zones de GPU.

  • Compute Engine accepte un utilisateur simultané par GPU.

  • Consultez également les limites pour chaque type de machine auquel des GPU sont associés.

Étape suivante