GPUs

Grafikprozessoren (GPUs) sind spezielle Hardwarebeschleuniger, die für die gleichzeitige Verarbeitung extrem parallelisierter Arbeitslasten entwickelt wurden. InCloud de Confiance by S3NSkönnen Sie NVIDIA-GPUs an Compute Engine-Instanzen und Bare-Metal-Instanzen anhängen, um anspruchsvolle Arbeitslasten wie das Training von künstlicher Intelligenz (KI) und maschinellem Lernen (ML), Hochleistungs-Computing (HPC), Grafikrendering und Videotranscodierung zu beschleunigen.

Dieses Dokument bietet eine Übersicht über GPUs in Cloud de Confiance, einschließlich verfügbarer GPU-Modelle, Zuordnungen von Maschinenserien, Leistungsmerkmalen, idealen Anwendungsfällen und Preisüberlegungen.

Was ist eine GPU?

Eine GPU ist ein massiv paralleler Prozessor, der ursprünglich für Computergrafiken entwickelt wurde und sich zu einer wichtigen Compute Engine für KI, ML und wissenschaftliches Rechnen entwickelt hat. Im Gegensatz zu CPUs, die einige leistungsstarke Kerne enthalten, die für die sequenzielle, Single-Thread-Verarbeitung optimiert sind, bestehen GPUs aus Tausenden kleinerer, hocheffizienter Kerne, die für die gleichzeitige Durchführung mathematischer Berechnungen über große Datasets hinweg konzipiert sind.

Die wichtigsten Architekturkomponenten eines GPU-Systems sind:

  • CUDA-Kerne: Vektorverarbeitungseinheiten für allgemeine Zwecke, die Anweisungen über mehrere parallele Threads gleichzeitig ausführen, indem sie eine SIMT-Architektur (Single Instruction, Multiple Threads) verwenden. CUDA-Kerne verarbeiten Standardvektor- und Gleitkommaberechnungen (z. B. FP32 und FP64) sowie allgemeines Grafikrendering und physikalische Simulationen.

  • Tensor Cores: Spezielle MMA-Verarbeitungseinheiten (Matrix Multiply-Accumulate), die für die Beschleunigung von Berechnungen in neuronalen Netzwerken entwickelt wurden. Tensor Cores bieten eine exponentielle Beschleunigung für KI-Training und ‑Inferenz in speziellen numerischen Präzisionsformaten, einschließlich FP4, FP8, INT8, TF32 und FP16/BF16.

  • Speicher mit hoher Bandbreite: Dedizierter On-Device-Speicher, der eine Bandbreite von bis zu mehreren Terabyte pro Sekunde (TB/s) bietet, z. B. High Bandwidth Memory (HBM) oder Graphics Double Data Rate (GDDR). Dieser hohe Durchsatz sorgt dafür, dass Tausende von GPU-Kernen während intensiver Matrixvorgänge mit Daten versorgt werden.

  • Hochgeschwindigkeits-Interconnect-Verbindungen (NVLink und NVSwitch): Interconnect-Technologien mit hoher Bandbreite und niedriger Latenz, die mehrere GPUs auf demselben Server oder über Knoten hinweg verbinden. NVLink ermöglicht eine direkte GPU-zu-GPU-Kommunikation, die den langsameren PCIe-Bus umgeht. So können GPU-Cluster als ein einziger, kohärenter Beschleuniger-Speicherpool fungieren.

  • Software für virtuelle Workstations (NVIDIA RTX vWS): Unternehmenssoftware, die virtualisierte Grafikbeschleunigung für Remote-Visual-Workstations, computergestütztes Design (CAD), Erstellung digitaler Inhalte und 3D-Modellierung bietet.

GPU-Modelle und Maschinenserien

Cloud de Confiance bietet NVIDIA-GPUs über mehrere Generationen hinweg, um unterschiedliche Anforderungen an Arbeitslasten und Budgets zu erfüllen. In Compute Engine sind GPUs entweder als vorkonfigurierte beschleunigungsoptimierte Maschinenserien (A- und G-Serien) oder als anhängbare Beschleuniger für N1-Maschinenserien für allgemeine Zwecke verfügbar.

In der folgenden Tabelle sind die Hardwarespezifikationen, die Zuordnungen von Maschinenreihen, die Netzwerkbandbreite und die Speicherkapazitäten der in Compute Engine verfügbaren GPU-Modelle zusammengefasst:

GPU-Modell Maschinenserie Architektur GPU-Arbeitsspeicher und -Bandbreite GPUs pro Compute-Instanz Maximale Netzwerkbandbreite Lokale SSD Interconnect Unterstützung für NVIDIA RTX Virtual Workstation (vWS)
NVIDIA GB300 A4X Max Blackwell Ultra 279 GB HBM3e (8 TB/s) 4 (NVL72) 3.600 Gbit/s 12.000 GiB NVLink Full Mesh (1.800 GB/s) Nein
NVIDIA GB200 A4X Blackwell 186 GB HBM3e (8 TB/s) 4 (NVL72) 2.000 Gbit/s 12.000 GiB NVLink Full Mesh (1.800 GB/s) Nein
NVIDIA B200 A4 Blackwell 180 GB HBM3e (8 TB/s) 8 3.600 Gbit/s 12.000 GiB NVLink Full Mesh (1.800 GB/s) Nein
NVIDIA H200 A3 Ultra Hopper 141 GB HBM3e (4,8 TB/s) 8 3.600 Gbit/s 12.000 GiB NVLink Full Mesh (900 GB/s) Nein
NVIDIA H100 A3 Mega, High, Edge Hopper 80 GB HBM3 (3,35 TB/s) 1, 2, 4, 8 Bis zu 1.000 Gbit/s Bis zu 6.000 GiB NVLink Full Mesh (900 GB/s) Nein
NVIDIA A100 (80 GB) A2-Ultra Ampere 80 GB HBM2e (1,9 TB/s) 1, 2, 4, 8 100 Gbit/s Bis zu 3.000 GiB NVLink Full Mesh (600 GB/s) Nein
NVIDIA A100 (40 GB) A2-Standard Ampere 40 GB HBM2 (1,6 TB/s) 1, 2, 4, 8, 16 100 Gbit/s Bis zu 3.000 GiB NVLink Full Mesh (600 GB/s) Nein
NVIDIA RTX Pro 6000 G4 Blackwell 96 GB GDDR7 (1,597 TB/s) 1/8, 1/4, 1/2, 1, 2, 4, 8 200 Gbit/s Bis zu 3.000 GiB PCIe Gen 5 Ja
NVIDIA L4 G2 Ada Lovelace 24 GB GDDR6 (300 GB/s) 1, 2, 4, 8 100 Gbit/s Bis zu 3.000 GiB PCIe Gen 4 Ja
NVIDIA V100 N1+V100 Volta 16 GB HBM2 (900 GB/s) 1, 2, 4, 8 100 Gbit/s Unterstützt NVLink Ring (300 GB/s) Nein
NVIDIA T4 (Support wird demnächst eingestellt) N1+T4 Turing 16 GB GDDR6 (320 GB/s) 1, 2, 4 100 Gbit/s Unterstützt PCIe Gen 3 Ja
NVIDIA P4 (Support wird demnächst eingestellt) N1+P4 Pascal 8 GB GDDR5 (192 GB/s) 1, 2, 4 100 Gbit/s Unterstützt PCIe Gen 3 Ja

GPU-Leistungsmerkmale

Welches GPU-Modell das richtige ist, hängt von den Rechenmerkmalen, Speicheranforderungen, Präzisionsformaten und Skalierbarkeitsanforderungen Ihrer Arbeitslast ab.

Ideale Anwendungsfälle und Arbeitslastanforderungen

GPUs beschleunigen verschiedene Rechenarbeitslasten in den Bereichen KI, visuelles Computing und wissenschaftliche Modellierung. Wählen Sie einen der folgenden Tabs aus, um die Architekturanforderungen für die einzelnen Arbeitslastkategorien zu verstehen:

KI/ML-Training

KI/ML-Inferenz

  • Inferenz großer Modelle (mehr als 70 Milliarden Parameter): Die Bereitstellung von Large Language Models (LLMs) profitiert von einer hohen High Bandwidth Memory (HBM3e)-Kapazität (141–186 GB pro GPU), um Modellgewichtungen auf weniger GPUs zu verteilen und so den Overhead für die Kommunikation zwischen Chips zu reduzieren. Empfohlene Maschinenreihe:

  • Hoher Durchsatz und Echtzeitbereitstellung: Interaktive Abfragen mit niedriger Latenz, Streaming-Antworten und Bildgenerierung verwenden hardwarebeschleunigte quantisierte numerische Formate wie 8-Bit-Gleitkomma (FP8), 8-Bit-Ganzzahl (INT8) und 4-Bit-Ganzzahl (INT4), um den Durchsatz von Anfragen pro Dollar zu maximieren. Empfohlene Maschinenserie:

    Weitere Informationen finden Sie in der AI Hypercomputer-Dokumentation unter Empfehlungen für die Bereitstellung von Inferenzen.

Grafik und visuelle Darstellung

HPC und Simulation

  • Wissenschaftliche Simulation und Modellierung: Anwendungen in der Molekulardynamik (z. B. GROMACS und AMBER), der numerischen Strömungsmechanik (CFD), der Quantenchemie, der Astrophysik und der Wettervorhersage erfordern eine hohe 64-Bit-Gleitkommaleistung mit doppelter Genauigkeit (FP64) und eine hohe Speicherbandbreite. Empfohlene Maschinenserie:

    • A4X (NVIDIA GB200)
    • A4 (NVIDIA B200)
    • A3 (NVIDIA H100)
    • A2 (NVIDIA A100)

    Weitere Informationen finden Sie in der Dokumentation zum AI Hypercomputer unter Empfehlungen für HPC.

Überlegungen zu Arbeitslasten

GPUs sind in der Regel nicht für die folgenden Arbeitslasten geeignet:

  • Sequenzielle und Single-Thread-Logik: Aufgaben, die von sequenziellen Entscheidungszweigen oder seriellen Ausführungspipelines dominiert werden, weisen auf CPUs mit hohen Single-Core-Taktfrequenzen eine bessere Leistung auf.
  • Standard-Webanwendungen und -Mikrodienste: Webserver für allgemeine Zwecke, relationale Datenbankverwaltungssysteme (RDBMS) und Standard-API-Backends ohne KI- oder Grafikverarbeitungsanforderungen profitieren nicht von der GPU-Beschleunigung. Diese Arbeitslasten werden kostengünstiger auf CPU-Instanzen für allgemeine Zwecke oder auf Computing-optimierten CPU-Instanzen gehostet.
  • Für XLA und graphkompilierte Frameworks optimierte Arbeitslasten: Wenn Ihre Deep-Learning-Modelle mit Frameworks wie JAX, PyTorch/XLA oder TensorFlow erstellt wurden, können sie von compilergesteuerten Graphoptimierungen (XLA) profitieren. Wenn Ihre Modelle auch von benutzerdefinierten systolischen Arrays und optischem Circuit Switching profitieren, sollten Sie alternative Beschleunigerarchitekturen in Betracht ziehen, die für diese spezifischen Ausführungsparadigmen entwickelt wurden.

Kosten

Die folgenden Faktoren bestimmen die GPU-Preise in Cloud de Confiance:

  • Das spezifische GPU-Modell.

  • Die Anzahl der angehängten GPUs.

  • Bereitgestellte Ressourcen wie vCPUs, Systemspeicher und Speicher.

  • Das von Ihnen ausgewählte Nutzungsmodell.

In den folgenden Abschnitten werden die verfügbaren Nutzungsmodelle und Rabattoptionen für GPUs in Cloud de Confiancebeschrieben.

Nutzungs- und Kaufmodelle

Sie können GPU-Instanzen mit verschiedenen Verbrauchsoptionen bereitstellen, je nach Ihren Verfügbarkeitsanforderungen und Ihrer Kostentoleranz:

  • On-Demand: Standardpreise für „Pay as you go“ (PAYG), die pro Sekunde abgerechnet werden, ohne langfristige Bindung. On-Demand-Instanzen bieten vollständige Flexibilität im Lebenszyklus für Entwicklungs-, Test- und variable Produktionsarbeitslasten.

  • Spot-VMs: stark rabattierte Compute-Instanzen (bis zu 60–91% Rabatt auf On-Demand-Preise), die aus überschüssigerCloud de Confiance -Kapazität stammen. Da Cloud de Confiance Spot-VMs mit einer Vorwarnung von 30 Sekunden beenden oder löschen kann, um Kapazitäten zurückzugewinnen, sind diese Compute-Instanzen ideal für fehlertolerantes Batch-ML-Training, Batchjobs mit Prüfpunkten und verteilte Datenverarbeitung.

  • Flex-Start-VMs: Dynamische Planungsoption, die von Dynamic Workload Scheduler (DWS) unterstützt wird und GPU-Ressourcen innerhalb eines bestimmten Zeitraums für Arbeitslasten mit fester Dauer (bis zu 7 Tage) zu rabattierten Preisen bereitstellt.

  • Reservierungen:

    • Reservierungen: Sie können Kapazität für Standard-GPUs reservieren und die reservierte Kapazität sofort verwenden.
    • Vorausschauende Reservierungen (Kalendermodus und AI Hypercomputer): Sie können geclusterte GPU-Kapazität für ein zukünftiges Datum und eine zukünftige Uhrzeit reservieren. Wenn Cloud de Confiance Ihre Anfrage genehmigt, können Sie die Kapazität zum angegebenen Zeitpunkt nutzen und haben exklusiven Zugriff, bis die Reservierung endet.

Rabattoptionen

Detaillierte stündliche und monatliche Preise für alle Regionen finden Sie auf der Seite „GPU-Preise“ und der Seite „Preise für VM-Instanzen“.

Eine detaillierte Featurematrix zur Verfügbarkeit von Verbrauchsoptionen für alle Beschleuniger-Maschinentypen finden Sie unter Verfügbarkeit von Verbrauchsoptionen nach Maschinentyp.

Nächste Schritte