Types de machines avec GPU

Ce document présente les modèles de GPU NVIDIA que vous pouvez utiliser pour accélérer le machine learning (ML), le traitement des données et les charges de travail gourmandes en ressources graphiques sur vos instances Compute Engine. Ce document indique également les GPU préassociés aux séries de machines optimisées pour les accélérateurs, telles que A4X Max, A4X, A4, A3, A2, G4 et G2, ainsi que les GPU que vous pouvez associer aux instances à usage général N1.

Utilisez ce document pour comparer les performances, la mémoire et les fonctionnalités de différents modèles de GPU. Pour obtenir une présentation plus détaillée de la famille de machines optimisées pour les accélérateurs, y compris des informations sur les plates-formes de processeur, les options de stockage et les capacités de mise en réseau, et pour trouver le type de machine spécifique qui correspond à votre charge de travail, consultez Famille de machines optimisées pour les accélérateurs.

Pour en savoir plus sur les GPU sur Compute Engine, consultez À propos des GPU.

Pour consulter les régions et les zones disponibles pour les GPU sur Compute Engine, consultez la page Régions et zones disponibles pour les GPU.

Présentation

Compute Engine propose différents types de machines pour prendre en charge vos diverses charges de travail.

Certains types de machines sont compatibles avec les postes de travail virtuels (vWS) NVIDIA RTX. Lorsque vous créez une instance qui utilise NVIDIA RTX Virtual Workstation, Compute Engine ajoute automatiquement une licence vWS. Pour en savoir plus sur la tarification des postes de travail virtuels, consultez la page Tarifs des GPU.

Types de machines avec GPU
Charges de travail d'IA et de ML	Graphiques et visualisation	Autres charges de travail GPU
Les types de machines de série A optimisées pour les accélérateurs sont conçus pour les charges de travail de calcul hautes performances (HPC), d'intelligence artificielle (IA) et de machine learning (ML). Les modèles de la série A de dernière génération sont idéaux pour le pré-entraînement et l'affinage des modèles de fondation impliquant de grands clusters d'accélérateurs, tandis que la série A2 peut être utilisée pour l'entraînement de modèles plus petits et l'inférence à hôte unique. Pour ces types de machines, le modèle de GPU est automatiquement associé à l'instance.	Les types de machines de série G optimisées pour les accélérateurs sont conçus pour les charges de travail de simulation NVIDIA Omniverse, les applications exigeantes en ressources graphiques, le transcodage vidéo et les bureaux virtuels. Ces types de machines sont compatibles avec les postes de travail virtuels (vWS) NVIDIA RTX. La série G peut également être utilisée pour entraîner des modèles plus petits et pour l'inférence à hôte unique. Pour ces types de machines, le modèle de GPU est automatiquement associé à l'instance.	Pour les types de machines à usage général N1, à l'exception des types N1 à cœur partagé (f1-micro et g1-small), vous pouvez associer une sélection de modèles de GPU. Certains de ces modèles de GPU sont également compatibles avec les postes de travail virtuels (vWS) NVIDIA RTX.
A4X Max (superchips NVIDIA GB300 Ultra) (nvidia-gb300) A4X (superchips NVIDIA GB200) (nvidia-gb200) A4 (NVIDIA B200) (nvidia-b200) A3 Ultra (NVIDIA H200) (nvidia-h200-141gb) A3 Mega (NVIDIA H100) (nvidia-h100-mega-80gb) A3 High (NVIDIA H100) (nvidia-h100-80gb) A3 Edge (NVIDIA H100) (nvidia-h100-80gb) A2 Ultra (NVIDIA A100 80 Go) (nvidia-a100-80gb) A2 Standard (NVIDIA A100) (nvidia-a100-40gb)	G4 (NVIDIA RTX PRO 6000) (nvidia-rtx-pro-6000) (nvidia-rtx-pro-6000-vws) G2 (NVIDIA L4) (nvidia-l4) (nvidia-l4-vws)	Les modèles de GPU suivants peuvent être associés aux types de machines à usage général N1 : NVIDIA T4 (nvidia-tesla-t4) (nvidia-tesla-t4-vws) NVIDIA P4 (nvidia-tesla-p4) (nvidia-tesla-p4-vws) NVIDIA V100 (nvidia-tesla-v100) NVIDIA P100 (nvidia-tesla-p100) (nvidia-tesla-p100-vws)

Vous pouvez également utiliser certains types de machines GPU sur AI Hypercomputer. AI Hypercomputer est un système de supercalcul optimisé pour gérer vos charges de travail d'intelligence artificielle (IA) et de machine learning (ML). Cette option est recommandée pour créer une infrastructure à allocation dense et optimisée pour les performances, qui intègre les planificateurs Google Kubernetes Engine (GKE) et Slurm.

Série de machines A4X Max et A4X

Les séries de machines A4X Max et A4X s'exécutent sur une plate-forme exaflopique basée sur l'architecture rack de NVIDIA. Elles sont optimisées pour les charges de travail HPC, d'entraînement de ML lié au réseau et exigeantes en calcul et mémoire. Les machines A4X Max et A4X diffèrent principalement par leurs composants GPU et réseau. A4X Max propose également des instances Bare Metal, qui offrent un accès direct au processeur et à la mémoire du serveur hôte, sans la couche d'hyperviseur Compute Engine.

Types de machines A4X Max (Bare Metal)

Les types de machines A4X-Max optimisées pour les accélérateurs utilisent des superchips NVIDIA GB300 Grace Blackwell Ultra (nvidia-gb300) et sont idéaux pour l'entraînement et la mise en service de modèles de fondation. Les types de machines A4X Max sont disponibles en tant qu'instances Bare Metal.

A4X Max est une plate-forme exaflopique basée sur NVIDIA GB300 NVL72. Chaque machine dispose de deux sockets avec des processeurs NVIDIA Grace dotés de cœurs Arm Neoverse V2. Ces processeurs sont connectés à quatre GPU NVIDIA B300 Blackwell avec une communication puce à puce (NVLink-C2C) rapide.

						Superchips NVIDIA GB300 Grace Blackwell Ultra associés
Type de machine	Nombre de vCPU1	Mémoire de l'instance (Go)	SSD local associé (Gio)	Nombre de cartes d'interface réseau physiques	Bande passante réseau maximale (Gbit/s)2	Nombre de GPU	Mémoire de GPU3 (GB HBM3e)
a4x-maxgpu-4g-metal	144	960	12 000	6	3 600	4	1 116

Types de machines A4X

Les types de machines A4X optimisées pour les accélérateurs utilisent des superchips NVIDIA GB200 Grace Blackwell (nvidia-gb200) et sont idéaux pour l'entraînement et la mise en service de modèles de fondation.

A4X est une plate-forme exaflopique basée sur NVIDIA GB200 NVL72. Chaque machine dispose de deux sockets avec des processeurs NVIDIA Grace dotés de cœurs Arm Neoverse V2. Ces processeurs sont connectés à quatre GPU NVIDIA B200 Blackwell avec une communication puce à puce (NVLink-C2C) rapide.

						Superchips NVIDIA GB200 Grace Blackwell associés
Type de machine	Nombre de vCPU1	Mémoire de l'instance (Go)	SSD local associé (Gio)	Nombre de cartes d'interface réseau physiques	Bande passante réseau maximale (Gbit/s)2	Nombre de GPU	Mémoire de GPU3 (GB HBM3e)
a4x-highgpu-4g	140	884	12 000	6	2 000	4	744

Série de machines A4

Les types de machines A4 optimisées pour les accélérateurs sont associés à des GPU NVIDIA B200 Blackwell (nvidia-b200). Ils sont idéaux pour l'entraînement et la mise en service de modèles de fondation.

						GPU NVIDIA B200 Blackwell associés
Type de machine	Nombre de vCPU1	Mémoire de l'instance (Go)	SSD local associé (Gio)	Nombre de cartes d'interface réseau physiques	Bande passante réseau maximale (Gbit/s)2	Nombre de GPU	Mémoire de GPU3 (GB HBM3e)
a4-highgpu-8g	224	3 968	12 000	10	3 600	8	1 440

Série de machines A3

Les types de machines A3 optimisées pour les accélérateurs sont associés à des GPU NVIDIA H100 SXM ou NVIDIA H200 SXM.

Type de machine A3 Ultra

Les types de machines A3 Ultra sont associés à des GPU NVIDIA H200 SXM (nvidia-h200-141gb) et offrent les meilleures performances réseau de la série A3. Les types de machines A3 Ultra sont idéaux pour l'entraînement et la mise en service de modèles de fondation.

						GPU NVIDIA H200 associés
Type de machine	Nombre de vCPU1	Mémoire de l'instance (Go)	SSD local associé (Gio)	Nombre de cartes d'interface réseau physiques	Bande passante réseau maximale (Gbit/s)2	Nombre de GPU	Mémoire de GPU3 (GB HBM3e)
a3-ultragpu-8g	224	2 952	12 000	10	3 600	8	1128

Types de machines A3 Mega, High et Edge

Pour utiliser les GPU NVIDIA H100 SXM, vous avez les options suivantes :

• A3 Mega : ces types de machines sont associés à des GPU H100 SXM (nvidia-h100-mega-80gb) et sont idéaux pour les charges de travail d'entraînement et de diffusion à grande échelle.
• A3 High : ces types de machines sont associés à des GPU H100 SXM (nvidia-h100-80gb) et conviennent aussi bien aux tâches d'entraînement qu'à celles de mise en service.
• A3 Edge : ces types de machines sont associés à des GPU H100 SXM (nvidia-h100-80gb), sont conçus spécifiquement pour le serving et sont disponibles dans un ensemble limité de régions.

Série de machines A2

Les types de machines A2 optimisées pour les accélérateurs sont associés à des GPU NVIDIA A100 et sont idéaux pour l'affinage de modèles, l'inférence de grands modèles et l'inférence optimisée pour les coûts.

La série de machines A2 propose deux types :

• A2 Ultra : ces types de machines sont associés à des GPU A100 de 80 Go (nvidia-a100-80gb) et à des disques SSD locaux.
• A2 Standard : ces types de machines sont associés à des GPU A100 de 40 Go (nvidia-tesla-a100). Vous pouvez également ajouter des disques SSD locaux lorsque vous créez une instance A2 Standard. Pour connaître le nombre de disques que vous pouvez associer, consultez Types de machines nécessitant le choix d'un nombre de disques SSD locaux.

Série de machines G4

Les types de machines G4 optimisées pour les accélérateurs utilisent des GPU NVIDIA RTX PRO 6000 Blackwell Server  Edition (nvidia-rtx-pro-6000) et conviennent aux charges de travail de simulation NVIDIA Omniverse, aux applications exigeantes en ressources graphiques, au transcodage vidéo et aux bureaux virtuels. Les types de machines G4 offrent également une solution à faible coût pour l'inférence et le réglage de modèle sur un seul hôte, par rapport aux types de machines de la série A.

Une fonctionnalité clé de la gamme G4 est la prise en charge de la communication GPU peer-to-peer (P2P) directe sur les types de machines multi-GPU (g4-standard-96, g4-standard-192, g4-standard-384). Cela permet aux GPU d'une même instance d'échanger des données directement sur le bus PCIe, sans impliquer l'hôte du processeur. Pour en savoir plus sur la communication peer-to-peer des GPU G4, consultez Communication peer-to-peer des GPU G4.

						GPU NVIDIA RTX PRO 6000 associés
Type de machine	Nombre de vCPU1	Mémoire de l'instance (Go)	Volumes Titanium SSD maximaux pris en charge (Gio)2	Nombre de cartes d'interface réseau physiques	Bande passante réseau maximale (Gbit/s)3	Nombre de GPU	Mémoire de GPU4 (Go GDDR7)
g4-standard-48	48	180	1 500	1	50	1	96
g4-standard-96	96	360	3 000	1	100	2	192
g4-standard-192	192	720	6 000	1	200	4	384
g4-standard-384	384	1 440	12 000	2	400	8	768

Série de machines G2

Les types de machines G2 optimisées pour les accélérateurs sont associés à des GPU NVIDIA L4 et sont idéaux pour les charges de travail d'inférence optimisées pour les coûts, les charges de travail de calcul hautes performances et celles nécessitant beaucoup de ressources graphiques.

Chaque type de machine G2 dispose également d'une mémoire par défaut et d'une plage de mémoire personnalisée. La plage de mémoire personnalisée définit la quantité de mémoire que vous pouvez allouer à votre instance pour chaque type de machine. Vous pouvez également ajouter des disques SSD locaux lorsque vous créez une instance G2. Pour connaître le nombre de disques que vous pouvez associer, consultez Types de machines nécessitant le choix d'un nombre de disques SSD locaux.

						GPU NVIDIA L4 associés
Type de machine	Nombre de vCPU1	Mémoire d'instance par défaut (Go)	Plage de mémoire d'instance personnalisée (Go)	Disque SSD local maximal pris en charge (Gio)	Bande passante réseau maximale (Gbit/s)2	Nombre de GPU	Mémoire de GPU3 (Go GDDR6)
g2-standard-4	4	16	16 à 32	375	10	1	24
g2-standard-8	8	32	32 à 54	375	16	1	24
g2-standard-12	12	48	48 à 54	375	16	1	24
g2-standard-16	16	64	54 à 64	375	32	1	24
g2-standard-24	24	96	96 à 108	750	32	2	48
g2-standard-32	32	128	96 à 128	375	32	1	24
g2-standard-48	48	192	192 à 216	1 500	50	4	96
g2-standard-96	96	384	384 à 432	3 000	100	8	192

Série de machines N1

Vous pouvez associer les modèles de GPU suivants à un type de machine N1, à l'exception des types de machines N1 à cœur partagé.

Contrairement aux types de machines de la série optimisée pour les accélérateurs, les types de machines N1 ne sont pas fournis avec un nombre défini de GPU associés. Au lieu de cela, vous spécifiez le nombre de GPU à associer lorsque vous créez l'instance.

Les instances N1 avec moins de GPU limitent le nombre maximal de processeurs virtuels. En règle générale, un nombre plus élevé de GPU permet de créer des instances dotées d'une plus grande quantité de processeurs virtuels et de mémoire.

GPU N1+T4

Vous pouvez associer des GPU NVIDIA T4 à des instances à usage général N1 avec les configurations d'instance suivantes.

Type d'accélérateur	Nombre de GPU	Mémoire de GPU1 (Go GDDR6)	Nombre de vCPU	Mémoire de l'instance (Go)	SSD local pris en charge
nvidia-tesla-t4 ou nvidia-tesla-t4-vws	1	16	Entre 1 et 48	Entre 1 et 312	Oui
	2	32	Entre 1 et 48	Entre 1 et 312	Oui
	4	64	Entre 1 et 96	Entre 1 et 624	Oui

GPU N1+P4

Vous pouvez associer des GPU NVIDIA P4 à des instances à usage général N1 avec les configurations d'instance suivantes.

Type d'accélérateur	Nombre de GPU	Mémoire de GPU1 (Go GDDR5)	Nombre de vCPU	Mémoire de l'instance (Go)	SSD local compatible2
nvidia-tesla-p4 ou nvidia-tesla-p4-vws	1	8	Entre 1 et 24	Entre 1 et 156	Oui
	2	16	Entre 1 et 48	Entre 1 et 312	Oui
	4	32	Entre 1 et 96	Entre 1 et 624	Oui

GPU N1+V100

Vous pouvez associer des GPU NVIDIA V100 à des instances à usage général N1 avec les configurations d'instance suivantes.

Type d'accélérateur	Nombre de GPU	Mémoire GPU1 (GB HBM2)	Nombre de vCPU	Mémoire de l'instance (Go)	SSD local compatible2
nvidia-tesla-v100	1	16	Entre 1 et 12	Entre 1 et 78	Oui
	2	32	Entre 1 et 24	Entre 1 et 156	Oui
	4	64	Entre 1 et 48	Entre 1 et 312	Oui
	8	128	Entre 1 et 96	Entre 1 et 624	Oui

GPU N1+P100

Vous pouvez associer des GPU NVIDIA P100 à des instances à usage général N1 avec les configurations d'instance suivantes.

Pour certains GPU NVIDIA P100, la quantité maximale de processeurs et de mémoire disponible pour certaines configurations dépend de la zone dans laquelle la ressource GPU s'exécute.

Type d'accélérateur	Nombre de GPU	Mémoire GPU1 (GB HBM2)	Zone	Nombre de vCPU	Mémoire de l'instance (Go)	SSD local pris en charge
nvidia-tesla-p100 ou nvidia-tesla-p100-vws	1	16	Toutes les zones P100	Entre 1 et 16	Entre 1 et 104	Oui
	2	32	Toutes les zones P100	1 à 32	Entre 1 et 208	Oui
	4	64	us-east1-c, europe-west1-d, europe-west1-b	Entre 1 et 64	Entre 1 et 208	Oui
			Toutes les autres zones P100	Entre 1 et 96	Entre 1 et 624	Oui

Graphique de comparaison général

Le tableau suivant décrit la taille de la mémoire du GPU, la disponibilité des fonctionnalités, ainsi que les types de charges de travail idéaux des différents modèles de GPU sur Compute Engine.

Type de machine (modèle de GPU)	Mémoire de GPU	Interconnexion	Compatibilité avec les postes de travail virtuels (vWS) NVIDIA RTX	Utilisation optimale
A4X Max (GB300)	279 Go HBM3e à 8 Tbit/s	NVLink Full Mesh à 1 800 Gbit/s		Entraînement et inférence distribués à grande échelle de LLM MoE, de systèmes de recommandation et de HPC
A4X (GB200)	186 Go HBM3e à 8 Tbit/s	NVLink Full Mesh à 1 800 Gbit/s		Entraînement et inférence distribués à grande échelle de LLM, de systèmes de recommandation et de HPC
A4 (B200)	180 Go HBM3e à 8 Tbit/s	NVLink Full Mesh à 1 800 Gbit/s		Entraînement et inférence distribués à grande échelle de LLM, de systèmes de recommandation et de HPC
A3 Ultra (H200)	141 Go HBM3e à 4,8 Tbit/s	NVLink Full Mesh à 900 Gbit/s		Modèles volumineux avec tables de données massives pour entraînement ou inférence ML, HPC, BERT et DLRM.
A3 Mega, A3 High, A3 Edge (H100)	80 Go HBM3 à 3,35 Tbit/s	NVLink Full Mesh à 900 Gbit/s		Modèles volumineux avec tables de données massives pour entraînement ou inférence ML, HPC, BERT et DLRM.
A2 Ultra (A100 80 Go)	80 Go HBM2e à 1,9 Tbit/s	NVLink Full Mesh à 600 Gbit/s		Modèles volumineux avec tables de données massives pour entraînement ou inférence ML, HPC, BERT et DLRM.
A2 Standard (A100 40 Go)	40 Go HBM2 à 1,6 Tbit/s	NVLink Full Mesh à 600 Gbit/s		Entraînement et inférence ML, HPC
G4 (RTX PRO 6000)	96 Go GDDR7 avec ECC à 1 597 Go/s	N/A		Inférence et entraînement ML, postes de travail à distance pour la visualisation, transcodage de vidéos, HPC
G2 (L4)	24 Go GDDR6 à 300 Gbit/s	N/A		Inférence et entraînement ML, postes de travail à distance pour la visualisation, transcodage de vidéos, HPC
N1 (T4)	16 Go GDDR6 à 320 Gbit/s	N/A		Inférence et entraînement ML, postes de travail à distance pour la visualisation, transcodage de vidéos
N1 (P4)	8 Go GDDR5 à 192 Gbit/s	N/A		Postes de travail à distance pour la visualisation, inférence ML et transcodage de vidéos
N1 (V100)	16 Go HBM2 à 900 Gbit/s	NVLink Ring à 300 Gbit/s		Entraînement et inférence ML, HPC
N1 (P100)	16 Go HBM2 à 732 Gbit/s	N/A		Inférence et entraînement ML, HPC, postes de travail à distance pour la visualisation

Pour comparer les tarifs des GPU selon les différents modèles de GPU et les différentes régions disponibles sur Compute Engine, consultez la section Tarifs des GPU.

Performances des Tensor Cores et des cœurs CUDA standards

Les sections suivantes fournissent des métriques de performances pour chaque architecture de GPU, séparées en performances des cœurs CUDA vectoriels ou standards et des Tensor Cores.

• Tensor Cores : les performances Tensor font référence au débit obtenu par les Tensor Cores spécialisés. Il s'agit d'unités matérielles dédiées (souvent appelées unités matricielles) conçues spécifiquement pour accélérer les opérations de multiplication et d'accumulation de matrices volumineuses qui constituent l'épine dorsale du deep learning, de l'entraînement et de l'inférence.

  Ce type de performances est idéal pour le deep learning, les grands modèles de langage (LLM) et toute charge de travail pouvant être exprimée sous forme d'opérations matricielles denses. Les Tensor Cores offrent un débit nettement supérieur à celui des CUDA Cores pour le même type de données.

• Cœurs CUDA vectoriels ou standards : les performances vectorielles font référence au débit que les cœurs CUDA standards atteignent. Il s'agit d'unités à usage général qui fonctionnent à l'aide d'un modèle d'instruction unique et de plusieurs threads (SIMT, Single Instruction, Multiple Threads). Elles effectuent généralement des opérations sur des éléments de données ou des vecteurs individuels.

  Ce type de performances est idéal pour le calcul général, le rendu graphique et les charges de travail qui n'impliquent pas de calcul matriciel dense.

Architecture Blackwell

Les types de machines A4X Max, A4X, A4 et G4 s'exécutent sur l'architecture Blackwell de NVIDIA.

Architectures Hopper, Ada Lovelace et Ampere

La série A3 utilise l'architecture Hopper, qui a introduit des moteurs spécialisés pour les modèles Transformer. La série A2 utilise l'architecture Ampere, qui offre une base équilibrée pour l'entraînement et l'inférence hautes performances. La série G2 utilise l'architecture Ada Lovelace, qui offre une accélération polyvalente et écoénergétique pour les charges de travail d'inférence de l'IA, de transcodage vidéo et graphiques.

Architectures Volta, Pascal et Turing

Les types de machines N1 utilisent les architectures de GPU suivantes :

• Volta (V100)
• Pascal (P100 et P4)
• Turing (T4)

Étape suivante

• En savoir plus sur les GPU Compute Engine
• Vérifiez la disponibilité des régions et des zones GPU.
• Consultez Bandes passantes réseau et GPU.
• Consultez les tarifs des GPU.