Comprendre les GPU

Les processeurs graphiques (GPU) sont des accélérateurs matériels spécialisés conçus pour traiter simultanément des charges de travail massivement parallélisées. SurCloud de Confiance by S3NS, vous pouvez associer des GPU NVIDIA à des instances Compute Engine et à des instances Bare Metal pour accélérer les charges de travail exigeantes, telles que l'entraînement de l'intelligence artificielle (IA) et du machine learning (ML), le calcul hautes performances (HPC), le rendu graphique et le transcodage vidéo.

Ce document présente les GPU dans Cloud de Confiance, y compris les modèles de GPU disponibles, les mappages de séries de machines, les caractéristiques de performances, les cas d'utilisation idéaux et les considérations tarifaires.

Qu'est-ce qu'un GPU ?

Un GPU est un processeur massivement parallèle qui a été conçu à l'origine pour l'infographie et qui est devenu un moteur de calcul essentiel pour l'IA, le ML et le calcul scientifique. Contrairement aux processeurs (CPU), qui contiennent quelques cœurs puissants optimisés pour le traitement séquentiel à thread unique, les GPU sont constitués de milliers de cœurs plus petits et très efficaces, conçus pour effectuer des calculs mathématiques simultanément sur de grands ensembles de données.

Les principaux composants architecturaux d'un système GPU sont les suivants :

  • Cœurs CUDA : unités de traitement vectoriel à usage général qui exécutent des instructions sur plusieurs threads parallèles simultanément à l'aide d'une architecture SIMT (Single Instruction, Multiple Threads). Les cœurs CUDA gèrent les calculs vectoriels et à virgule flottante standards (tels que FP32 et FP64), ainsi que le rendu graphique général et les simulations physiques.

  • Cœurs Tensor : unités de traitement spécialisées de multiplication-accumulation matricielle (MMA) conçues pour accélérer les calculs des réseaux de neurones. Les cœurs Tensor offrent des accélérations exponentielles pour l'entraînement et l'inférence de l'IA dans des formats de précision numérique spécialisés, y compris FP4, FP8, INT8, TF32 et FP16/BF16.

  • Mémoire à haut débit : mémoire dédiée sur l'appareil qui offre jusqu'à plusieurs téraoctets par seconde (To/s) de bande passante, comme la mémoire à haut débit (HBM) ou la mémoire GDDR (Graphics Double Data Rate). Ce haut débit permet d'alimenter en données des milliers de cœurs de GPU lors d'opérations matricielles intensives.

  • Interconnexions à haut débit (NVLink et NVSwitch) : technologies d'interconnexion à haut débit et à faible latence qui connectent plusieurs GPU sur le même serveur ou entre plusieurs nœuds. NVLink fournit une communication directe entre les GPU qui contourne le bus PCIe plus lent, ce qui permet aux clusters de GPU de fonctionner comme un pool de mémoire d'accélérateur unique et cohérent.

  • Logiciel de poste de travail virtuel (NVIDIA RTX vWS) : logiciel d'entreprise qui fournit une accélération graphique virtualisée pour les postes de travail visuels distants, la conception assistée par ordinateur (CAO), la création de contenu numérique et la modélisation 3D.

Modèles de GPU et séries de machines

Cloud de Confiance propose des GPU NVIDIA de plusieurs générations pour répondre à différents besoins en termes de charges de travail et de budget. Sur Compute Engine, les GPU sont disponibles sous forme de séries de machines préconfigurées et optimisées pour les accélérateurs (séries A et G) ou d'accélérateurs pouvant être associés aux séries de machines à usage général (N1).

Le tableau suivant récapitule les spécifications matérielles, les mappages de séries de machines, la bande passante réseau et les capacités de stockage des modèles de GPU disponibles sur Compute Engine :

Modèle GPU Série de machines Architecture Mémoire et bande passante du GPU GPU par instance de calcul Bande passante réseau maximale SSD local Interconnexion Compatibilité avec les postes de travail virtuels (vWS) NVIDIA RTX
NVIDIA GB300 A4X Max Blackwell Ultra 279 Go HBM3e (8 To/s) 4 (NVL72) 3 600 Gbit/s 12 000 Gio NVLink Full Mesh (1 800 Go/s) Non
NVIDIA GB200 A4X Blackwell 186 Go HBM3e (8 To/s) 4 (NVL72) 2 000 Gbit/s 12 000 Gio NVLink Full Mesh (1 800 Go/s) Non
NVIDIA B200 A4 Blackwell 180 Go HBM3e (8 To/s) 8 3 600 Gbit/s 12 000 Gio NVLink Full Mesh (1 800 Go/s) Non
NVIDIA H200 A3 Ultra Trémie 141 Go HBM3e (4,8 To/s) 8 3 600 Gbit/s 12 000 Gio NVLink Full Mesh (900 Gbit/s) Non
NVIDIA H100 A3 Mega, High et Edge Trémie 80 Go HBM3 (3,35 Tbit/s) 1, 2, 4, 8 Jusqu'à 1 000 Gbit/s Jusqu'à 6 000 Gio NVLink Full Mesh (900 Gbit/s) Non
NVIDIA A100 (80 Go) A2 ultra Ampère 80 Go HBM2e (1,9 To/s) 1, 2, 4, 8 100 Gbit/s Jusqu'à 3 000 Gio NVLink Full Mesh (600 Gbit/s) Non
NVIDIA A100 (40 Go) A2 Standard Ampère 40 Go HBM2 (1,6 Tbit/s) 1, 2, 4, 8, 16 100 Gbit/s Jusqu'à 3 000 Gio NVLink Full Mesh (600 Gbit/s) Non
NVIDIA RTX PRO 6000 G4 Blackwell 96 Go GDDR7 (1,597 To/s) 1/8, 1/4, 1/2, 1, 2, 4, 8 200 Gbit/s Jusqu'à 3 000 Gio PCIe Gen 5 Oui
NVIDIA L4 G2 Ada Lovelace 24 Go GDDR6 (300 Gbit/s) 1, 2, 4, 8 100 Gbit/s Jusqu'à 3 000 Gio PCIe Gen 4 Oui
NVIDIA V100 N1+V100 Volta 16 Go HBM2 (900 Gbit/s) 1, 2, 4, 8 100 Gbit/s Compatible NVLink Ring (300 Gbit/s) Non
NVIDIA T4 (fin de période de compatibilité imminente) N1+T4 Turing 16 Go GDDR6 (320 Gbit/s) 1, 2, 4 100 Gbit/s Compatible PCIe Gen 3 Oui
NVIDIA P4 (fin de période de compatibilité imminente) N1+P4 Pascal 8 Go GDDR5 (192 Gbit/s) 1, 2, 4 100 Gbit/s Compatible PCIe Gen 3 Oui

Caractéristiques de performances des GPU

Le choix du modèle de GPU approprié dépend des caractéristiques de calcul, des exigences de mémoire, des formats de précision et des besoins d'évolutivité de votre charge de travail.

Cas d'utilisation idéaux et exigences de charge de travail

Les GPU accélèrent diverses charges de travail de calcul dans les domaines de l'IA, de l'informatique visuelle et de la modélisation scientifique. Pour comprendre les exigences architecturales de chaque catégorie de charge de travail, sélectionnez l'un des onglets suivants :

Entraînement par IA/ML

Inférence d'IA/de ML

  • Inférence de modèles volumineux (plus de 70 milliards de paramètres) : la diffusion de grands modèles de langage (LLM) bénéficie d'une capacité élevée de mémoire à haut débit (HBM3e) (141 à 186 Go par GPU) pour adapter les pondérations des modèles sur moins de GPU, ce qui réduit la surcharge de communication entre les puces. Série de machines recommandée :

  • Diffusion haut débit et en temps réel : les requêtes interactives à faible latence, les réponses en streaming et la génération d'images utilisent des formats numériques quantifiés à accélération matérielle, tels que les formats à virgule flottante 8 bits (FP8), entier 8 bits (INT8) et entier 4 bits (INT4), afin de maximiser le débit des requêtes par dollar. Série de machines recommandée :

    Pour en savoir plus, consultez Recommandations pour la livraison d'inférence dans la documentation d'AI Hypercomputer.

Graphismes et visuels

HPC et simulation

  • Simulation et modélisation scientifiques : les applications de dynamique moléculaire (telles que GROMACS et AMBER), de mécanique des fluides numérique (CFD), de chimie quantique, d'astrophysique et de prévisions météorologiques nécessitent des performances élevées en virgule flottante double précision 64 bits (FP64) et une bande passante mémoire élevée. Série de machines recommandée :

    • A4X (NVIDIA GB200)
    • A4 (NVIDIA B200)
    • A3 (NVIDIA H100)
    • A2 (NVIDIA A100)

    Pour en savoir plus, consultez Recommandations pour le HPC dans la documentation d'AI Hypercomputer.

Considérations relatives à la charge de travail

Les GPU ne sont généralement pas adaptés aux charges de travail suivantes :

  • Logique séquentielle et monothread : les tâches dominées par des branches de décision séquentielles ou des pipelines d'exécution en série sont plus performantes sur les processeurs dotés de fréquences d'horloge monocœur élevées.
  • Applications Web et microservices standards : les serveurs Web à usage général, les systèmes de gestion de bases de données relationnelles (SGBDR) et les backends d'API standards sans exigences d'IA ou de traitement graphique ne bénéficient pas de l'accélération GPU. Ces charges de travail sont hébergées de manière plus rentable sur des instances de processeur à usage général ou optimisées pour le calcul.
  • Charges de travail optimisées pour XLA et les frameworks compilés par graphe : si vos modèles de deep learning sont créés à l'aide de frameworks tels que JAX, PyTorch/XLA ou TensorFlow, ils peuvent tirer parti des optimisations de graphe basées sur le compilateur (XLA). Si vos modèles bénéficient également de matrices systoliques personnalisées et de la commutation de circuits optiques, envisagez d'évaluer d'autres architectures d'accélérateurs conçues pour ces paradigmes d'exécution spécifiques.

Remarques sur les tarifs

Les facteurs suivants déterminent la tarification des GPU sur Cloud de Confiance :

  • Modèle de GPU spécifique.

  • Le nombre de GPU associés.

  • Ressources provisionnées, telles que les processeurs virtuels, la mémoire système et le stockage.

  • Le modèle de consommation que vous sélectionnez.

Les sections suivantes décrivent les modèles de consommation et les options de remise disponibles pour les GPU dans Cloud de Confiance.

Modèles de consommation et d'achat

Vous pouvez provisionner des instances de GPU à l'aide de plusieurs options de consommation en fonction de vos exigences de disponibilité et de votre tolérance aux coûts :

  • À la demande : tarification standard de paiement à l'usage (PAYG) facturée à la seconde, sans engagement à long terme. Les instances à la demande offrent une flexibilité totale du cycle de vie pour le développement, les tests et les charges de travail de production variables.

  • VM Spot : instances de calcul à prix très réduit (jusqu'à 60 à 91% de réduction sur les tarifs à la demande) qui puisent dans la capacité excédentaire deCloud de Confiance . Comme Cloud de Confiance peut arrêter ou supprimer des VM Spot pour récupérer de la capacité avec un préavis de 30 secondes, ces instances de calcul sont idéales pour l'entraînement de ML par lot tolérant aux pannes, les jobs par lot avec points de contrôle et le traitement de données distribué.

  • VM à démarrage flexible : option de planification dynamique optimisée par le programmeur de charge de travail dynamique (DWS) qui provisionne des ressources GPU sur une période spécifiée pour des charges de travail à durée fixe (jusqu'à sept jours) à des tarifs réduits.

  • Réservations :

    • Réservations : vous pouvez réserver de la capacité pour les GPU standards et l'utiliser immédiatement.
    • Réservations futures (mode Agenda et AI Hypercomputer) : vous pouvez demander à réserver de la capacité de GPU en cluster pour une date et une heure ultérieures. Si Cloud de Confiance approuve votre demande, vous pouvez commencer à utiliser la capacité à l'heure spécifiée et conserver un accès exclusif jusqu'à la fin de la réservation.

Options de remise

  • Remises sur engagement d'utilisation : offrent des remises importantes (jusqu'à 55% pour les engagements de trois ans ou 37% pour les engagements d'un an) en échange d'un engagement à maintenir un niveau d'utilisation continu des ressources dans une région spécifique. Pour les types de machines optimisés pour les accélérateurs et les GPU associés, les remises sur engagement d'utilisation nécessitent de souscrire des engagements basés sur les ressources associés à des réservations.

  • Remises pour usage soutenu (SUD) : remises automatiques appliquées aux instances de calcul N1 et aux GPU associés lorsqu'ils s'exécutent pendant plus de 25% d'un mois de facturation. Les séries de machines optimisées pour les accélérateurs (séries A et G) ne bénéficient pas de remises automatiques proportionnelles à une utilisation soutenue.

Pour connaître les tarifs horaires et mensuels détaillés dans toutes les régions, consultez la page des tarifs des GPU et la page des tarifs des instances de VM.

Pour obtenir une matrice détaillée des fonctionnalités disponibles pour les options de consommation sur tous les types de machines avec accélérateur, consultez Options de consommation disponibles par type de machine.

Étapes suivantes