Le unità di elaborazione grafica (GPU) sono acceleratori hardware specializzati progettati per elaborare contemporaneamente workload massicciamente paralleli. Su Cloud de Confiance by S3NS, puoi collegare le GPU NVIDIA alle istanze Compute Engine e alle istanze bare metal per accelerare workload impegnativi, come l'addestramento di intelligenza artificiale (AI) e machine learning (ML), computing ad alte prestazioni (HPC), rendering grafico e transcodifica video.
Questo documento fornisce una panoramica delle GPU in Cloud de Confiance, inclusi i modelli di GPU disponibili, le mappature delle serie di macchine, le caratteristiche delle prestazioni, i casi d'uso ideali e le considerazioni sui prezzi.
Che cos'è una GPU?
Una GPU è un processore con un'architettura di elaborazione parallela massiva, progettato originariamente per la grafica computerizzata ed evoluto in un motore di computing essenziale per AI, ML e computing scientifico. A differenza delle unità di elaborazione centrale (CPU), che contengono alcuni core potenti ottimizzati per l'elaborazione sequenziale a thread singolo, le GPU sono costituite da migliaia di core più piccoli e altamente efficienti progettati per eseguire calcoli matematici contemporaneamente su set di dati di grandi dimensioni.
I componenti architettonici chiave di un sistema GPU sono i seguenti:
Core CUDA: unità di elaborazione vettoriale per uso generico che eseguono istruzioni su più thread paralleli contemporaneamente utilizzando un'architettura SIMT (Single Instruction, Multiple Threads). I core CUDA gestiscono i calcoli standard di vettori e rappresentazioni in virgola mobile (come FP32 e FP64), nonché il rendering grafico generale e le simulazioni fisiche.
Tensor Core: unità di elaborazione specializzate per la moltiplicazione e l'accumulo di matrici (MMA) progettate per accelerare i calcoli delle reti neurali. I Tensor Core offrono accelerazioni esponenziali per l'addestramento e l'inferenza dell'AI in formati di precisione numerica specializzati, tra cui FP4, FP8, INT8, TF32 e FP16/BF16.
Memoria a larghezza di banda elevata: memoria on-device dedicata che offre fino a diversi terabyte al secondo (TBps) di larghezza di banda, come la memoria a larghezza di banda elevata (HBM) o la Graphics Double Data Rate (GDDR). Questo throughput elevato mantiene migliaia di core GPU riforniti di dati durante operazioni intensive sulle matrici.
Interconnessioni ad alta velocità (NVLink e NVSwitch): tecnologie di interconnessione a larghezza di banda elevata e bassa latenza che collegano più GPU sullo stesso server o tra nodi. NVLink fornisce una comunicazione diretta tra GPU che bypassa il bus PCIe più lento, consentendo ai cluster di GPU di funzionare come un pool di memoria dell'acceleratore unico e coerente.
Software per workstation virtuale (NVIDIA RTX vWS): software aziendale che fornisce accelerazione grafica virtualizzata per workstation visive remote, computer-aided design (CAD), creazione di contenuti digitali e modellazione 3D.
Modelli di GPU e serie di macchine
Cloud de Confiance offre GPU NVIDIA di più generazioni per soddisfare esigenze diverse di workload e budget. In Compute Engine, le GPU sono disponibili come serie di macchine preconfigurate ottimizzate per l'acceleratore (serie A e G) o come acceleratori collegabili alle serie di macchine N1 per uso generico.
La tabella seguente riassume le specifiche hardware, le mappature delle serie di macchine, la larghezza di banda di rete e le funzionalità di archiviazione dei modelli di GPU disponibili su Compute Engine:
| Modello di GPU | Serie di macchine | Architettura | Memoria e larghezza di banda della GPU | GPU per istanza di computing | Larghezza di banda di rete massima | SSD locale | Interconnessione | Supporto della workstation virtuale (vWS) NVIDIA RTX |
|---|---|---|---|---|---|---|---|---|
| NVIDIA GB300 | A4X Max | Blackwell Ultra | 279 GB HBM3e (8 TBps) | 4 (NVL72) | 3600 Gbps | 12.000 GiB | NVLink Full Mesh (1800 GBps) | No |
| NVIDIA GB200 | A4X | Blackwell | 186 GB HBM3e (8 TBps) | 4 (NVL72) | 2000 Gbps | 12.000 GiB | NVLink Full Mesh (1800 GBps) | No |
| NVIDIA B200 | A4 | Blackwell | 180 GB HBM3e (8 TBps) | 8 | 3600 Gbps | 12.000 GiB | NVLink Full Mesh (1800 GBps) | No |
| NVIDIA H200 | A3 Ultra | Tramoggia | 141 GB HBM3e (4,8 TBps) | 8 | 3600 Gbps | 12.000 GiB | NVLink Full Mesh (900 GBps) | No |
| NVIDIA H100 | A3 Mega, High, Edge | Tramoggia | 80 GB HBM3 (3,35 TBps) | 1, 2, 4, 8 | Fino a 1000 Gbps | Fino a 6000 GiB | NVLink Full Mesh (900 GBps) | No |
| NVIDIA A100 (80GB) | A2 Ultra | Ampere | 80 GB HBM2e (1,9 TBps) | 1, 2, 4, 8 | 100 Gbps | Fino a 3000 GiB | NVLink Full Mesh (600 GBps) | No |
| NVIDIA A100 (40GB) | A2 Standard | Ampere | HBM2 da 40 GB (1,6 TBps) | 1, 2, 4, 8, 16 | 100 Gbps | Fino a 3000 GiB | NVLink Full Mesh (600 GBps) | No |
| NVIDIA RTX PRO 6000 | G4 | Blackwell | GDDR7 da 96 GB (1597 TBps) | 1/8, 1/4, 1/2, 1, 2, 4, 8 | 200 Gbps | Fino a 3000 GiB | PCIe Gen 5 | Sì |
| NVIDIA L4 | G2 | Ada Lovelace | GDDR6 da 24 GB (300 GBps) | 1, 2, 4, 8 | 100 Gbps | Fino a 3000 GiB | PCIe Gen 4 | Sì |
| NVIDIA V100 | N1+V100 | Volta | HBM2 da 16 GB (900 GBps) | 1, 2, 4, 8 | 100 Gbps | Supportato | NVLink Ring (300 GBps) | No |
| NVIDIA T4 (fine del supporto imminente) | N1+T4 | Turing | GDDR6 da 16 GB (320 GBps) | 1, 2, 4 | 100 Gbps | Supportato | PCIe Gen 3 | Sì |
| NVIDIA P4 (fine del supporto imminente) | N1+P4 | Pascal | GDDR5 da 8 GB (192 GBps) | 1, 2, 4 | 100 Gbps | Supportato | PCIe Gen 3 | Sì |
Caratteristiche delle prestazioni della GPU
La scelta del modello di GPU giusto dipende dalle caratteristiche di calcolo, dai requisiti di memoria, dai formati di precisione e dalle esigenze di scalabilità del tuo workload.
Casi d'uso ideali e requisiti dei workload
Le GPU accelerano diversi workload di calcolo nell'AI, nel computing visivo e nella modellazione scientifica. Per comprendere i requisiti di architettura per ogni categoria di workload, seleziona una delle seguenti schede:
Addestramento AI/ML
Modelli di base all'avanguardia e Mixture of Experts (MoE): il pre-addestramento di modelli di transformer di grandi dimensioni, architetture multimodali e reti Mixture of Experts (MoE) richiede un throughput elevato di Tensor Core, grandi capacità di High Bandwidth Memory (HBM) (fino a 279 GB per GPU) e una larghezza di banda di interconnessione NVLink ad altissima velocità (fino a 1800 GBps) per ridurre al minimo la latenza di sincronizzazione multi-nodo. Serie di macchine consigliata:
- A4X Max (NVIDIA GB300)
- A4X (NVIDIA GB200)
- A4 (NVIDIA B200)
- A3 Ultra (NVIDIA H200)
- A3 Mega (NVIDIA H100)
Per saperne di più, consulta Consigli per i modelli di preaddestramento nella documentazione di AI Hypercomputer.
Fine-tuning e addestramento di modelli moderati: l'adattamento dei foundation model esistenti utilizzando tecniche come il parameter-efficient fine-tuning (PEFT) e la Low-Rank Adaptation (LoRA) richiede una memoria GPU sufficiente per contenere i pesi e i gradienti del modello senza richiedere il clustering multi-nodo exascale. Serie di macchine consigliata:
Per saperne di più, consulta Consigli per i modelli di ottimizzazione nella documentazione di AI Hypercomputer.
Inferenza AI/ML
Inferenza di modelli di grandi dimensioni (oltre 70 miliardi di parametri): l'erogazione di modelli linguistici di grandi dimensioni (LLM) trae vantaggio dall'elevata capacità della memoria ad alta larghezza di banda (HBM3e) (141-186 GB per GPU) per adattare i pesi del modello a un numero inferiore di GPU, riducendo l'overhead di comunicazione tra i chip. Serie di macchine consigliata:
Pubblicazione in tempo reale e con throughput elevato: le query interattive a bassa latenza, le risposte in streaming e la generazione di immagini utilizzano formati numerici quantizzati con accelerazione hardware, come la rappresentazione in virgola mobile a 8 bit (FP8), l'intero a 8 bit (INT8) e l'intero a 4 bit (INT4), per massimizzare il throughput delle richieste per dollaro. Serie di macchine consigliata:
- G2 (NVIDIA L4)
- G4 (NVIDIA RTX PRO 6000)
- A3 Edge e High (NVIDIA H100)
Per saperne di più, consulta Consigli per l'inferenza di pubblicazione nella documentazione di AI Hypercomputer.
Grafica e immagini
CAD 3D, gemelli digitali e workstation virtuali: la modellazione 3D interattiva, la progettazione assistita da computer (CAD), il rendering architettonico e i gemelli digitali (come NVIDIA Omniverse) utilizzano core di ray tracing (RT) dedicati e workstation virtuali (vWS) NVIDIA RTX per workstation visive remote e GPU virtuali (vGPU) frazionarie. Serie di macchine consigliata:
Elaborazione e transcodifica video: le pipeline di live streaming, la transcodifica video e l'elaborazione dei contenuti multimediali utilizzano i motori video dedicati NVIDIA Encoder (NVENC) e NVIDIA Decoder (NVDEC) che supportano i codec AV1, High Efficiency Video Coding (HEVC) e H.264. Serie di macchine consigliata:
HPC e simulazione
Simulazione e modellazione scientifica: le applicazioni nella dinamica molecolare (come GROMACS e AMBER), nella fluidodinamica computazionale (CFD), nella chimica quantistica, nell'astrofisica e nelle previsioni meteorologiche richiedono prestazioni elevate di rappresentazione in virgola mobile a doppia precisione (FP64) a 64 bit e una larghezza di banda della memoria elevata. Serie di macchine consigliata:
Per ulteriori informazioni, consulta Consigli per l'HPC (computing ad alte prestazioni) nella documentazione di AI Hypercomputer.
Considerazioni sul workload
In genere, le GPU non sono adatte per i seguenti workload:
- Logica sequenziale e single-threaded: le attività dominate da rami decisionali sequenziali o pipeline di esecuzione seriale funzionano meglio su CPU con frequenze di clock single-core elevate.
- Applicazioni web e microservizi standard: i server web per uso generico, i sistemi di gestione di database relazionali (RDBMS) e i backend API standard senza requisiti di AI o elaborazione grafica non traggono vantaggio dall'accelerazione GPU. Questi workload sono ospitati in modo più conveniente su istanze CPU per uso generico o ottimizzate per il calcolo.
- Workload ottimizzati per XLA e framework compilati con grafi: se i tuoi modelli di deep learning sono creati utilizzando framework come JAX, PyTorch/XLA o TensorFlow, possono sfruttare le ottimizzazioni dei grafi basate su compilatore (XLA). Se i tuoi modelli traggono vantaggio anche da array sistolici di matrici personalizzate e dalla commutazione di circuiti ottici, valuta la possibilità di esaminare architetture di acceleratori alternative progettate per questi paradigmi di esecuzione specifici.
Considerazioni sui prezzi
I seguenti fattori determinano i prezzi delle GPU su Cloud de Confiance:
Il modello di GPU specifico.
Il numero di GPU collegate.
Risorse di cui è stato eseguito il provisioning, come vCPU, memoria di sistema e spazio di archiviazione.
Il modello di consumo selezionato.
Le sezioni seguenti descrivono i modelli di consumo e le opzioni di sconto disponibili per le GPU in Cloud de Confiance.
Modelli di consumo e acquisto
Puoi eseguire il provisioning delle istanze GPU utilizzando diverse opzioni di consumo a seconda dei requisiti di disponibilità e della tolleranza ai costi:
On demand: prezzi standard con pagamento a consumo (PAYG) fatturati al secondo senza impegno a lungo termine. Le istanze on demand offrono una flessibilità completa del ciclo di vita per lo sviluppo, i test e i workload di produzione variabili.
VM spot: istanze di computing con sconti significativi (fino al 60-91% di sconto sulle tariffe on demand) che attingono alla capacitàCloud de Confiance in eccesso. Poiché Cloud de Confiance può arrestare o eliminare le VM spot per recuperare capacità con un preavviso di 30 secondi, queste istanze di computing sono ideali per l'addestramento ML batch a tolleranza di errore, i job batch con checkpoint e il trattamento dati distribuito.
Flex-start VM: opzione di pianificazione dinamica basata su Dynamic Workload Scheduler (DWS) che esegue il provisioning delle risorse GPU entro un periodo specificato per workload di durata fissa (fino a 7 giorni) a tariffe scontate.
Prenotazioni:
- Prenotazioni: puoi prenotare la capacità per le GPU standard e utilizzarla immediatamente.
- Prenotazioni future (modalità calendario e AI Hypercomputer): puoi richiedere di prenotare la capacità delle GPU cluster per una data e un'ora future. Se Cloud de Confiance approva la tua richiesta, puoi iniziare a utilizzare la capacità all'ora specificata e mantenere l'accesso esclusivo fino al termine della prenotazione.
Opzioni di sconto
Sconti per impegno di utilizzo (CUD): offrono sconti sostanziali (fino al 55% per impegni di 3 anni o al 37% per impegni di 1 anno) in cambio dell'impegno a mantenere un livello continuo di utilizzo delle risorse in una regione specifica. Per i tipi di macchine ottimizzate per l'acceleratore e le GPU collegate, i CUD richiedono l'acquisto di impegni basati sulle risorse collegati alle prenotazioni.
Sconti per utilizzo sostenuto (SUD): sconti automatici applicati alle istanze di computing N1 e alle GPU collegate quando vengono eseguite per più del 25% di un mese di fatturazione. Le serie di macchine ottimizzate per l'acceleratore (serie A e G) non ricevono sconti per utilizzo sostenuto (SUD).
Per informazioni dettagliate sui prezzi orari e mensili in tutte le regioni, consulta la pagina dei prezzi delle GPU e la pagina dei prezzi delle istanze VM.
Per una matrice dettagliata delle funzionalità della disponibilità delle opzioni di consumo per tutti i tipi di macchine con acceleratore, consulta Disponibilità delle opzioni di consumo per tipo di macchina.
Passaggi successivi
- Scopri le macchine GPU nella famiglia di macchine ottimizzate per l'acceleratore.
- Scopri come creare una VM con GPU collegate.
- Scopri l'architettura di AI di supercomputing di Cloud de Confiancenella panoramica di AI Hypercomputer.