Trusted Cloud by S3NS si impegna a fornire un'infrastruttura di intelligenza artificiale (AI) di livello mondiale per supportare i carichi di lavoro accelerati da GPU più impegnativi in un'ampia gamma di segmenti. Puoi utilizzare le GPU su Trusted Cloud by S3NS per eseguire applicazioni di AI, machine learning (ML), scientifiche, di analisi, di ingegneria, per consumatori ed enterprise.
Grazie alla nostra partnership con NVIDIA, Trusted Cloud by S3NS offriamo le GPU più recenti, ottimizzando al contempo lo stack software con un'ampia gamma di opzioni di archiviazione e networking. Per un elenco completo delle GPU disponibili, consulta Piattaforme GPU.
Le sezioni seguenti descrivono i vantaggi delle GPU su Trusted Cloud by S3NS.
VM accelerate da GPU
Su Trusted Cloud by S3NS, puoi accedere e eseguire il provisioning delle GPU nel modo più adatto alle tue esigenze. È disponibile una famiglia di macchine ottimizzate per l'acceleratore specializzata, con GPU preaccoppiate e funzionalità di rete ideali per massimizzare le prestazioni. Sono disponibili nelle serie di macchine A4X, A4, A3, A2 e G2.
Più opzioni di provisioning
Puoi eseguire il provisioning dei cluster utilizzando la famiglia di macchine ottimizzate per l'acceleratore con uno dei seguenti prodotti open source o Trusted Cloud by S3NS .
Vertex AI
Vertex AI è una piattaforma di machine learning (ML) completamente gestita che puoi utilizzare per addestrare ed eseguire il deployment di modelli ML e applicazioni AI. Nelle applicazioni Vertex AI, puoi utilizzare le VM con accelerazione GPU per migliorare le prestazioni nei seguenti modi:
- Utilizza VM con GPU nei pool di worker GKE per l'addestramento personalizzato.
- Utilizza i modelli LLM open source di Vertex AI Model Garden.
- Riduci la latenza della previsione.
- Migliorare le prestazioni del codice del notebook di Vertex AI Workbench.
- Migliora le prestazioni di un runtime di Colab Enterprise.
Cluster Director
Cluster Director (in precedenza Hypercompute Cluster) è un insieme di funzionalità e servizi progettati per consentirti di eseguire il deployment e gestire un numero elevato, fino a decine di migliaia, di risorse di accelerazione e di rete che funzionano come un'unica unità omogenea. Questa opzione è ideale per creare un'infrastruttura ottimizzata per le prestazioni e con allocazioni dense che include integrazioni per gli schedulatori Google Kubernetes Engine (GKE) e Slurm. Cluster Director ti aiuta a creare un'infrastruttura progettata specificamente per l'esecuzione di carichi di lavoro di AI, ML e HPC. Per ulteriori informazioni, consulta Cluster Director.
Per iniziare a utilizzare Cluster Director, consulta Scegliere una strategia di implementazione.
Compute Engine
Puoi anche creare e gestire singole VM o piccoli cluster di VM con GPU collegate su Compute Engine. Questo metodo viene utilizzato principalmente per eseguire carichi di lavoro con uso intensivo di risorse grafiche, carichi di lavoro di simulazione o addestramento di modelli ML su piccola scala.
La tabella seguente mostra i metodi che puoi utilizzare per creare VM con GPU collegate:
Opzione di deployment |
Guide al deployment |
Creare una VM per la pubblicazione e i carichi di lavoro a singolo nodo |
|
Crea gruppi di istanze gestite (MIG) |
|
Creare VM collettivamente |
|
Crea una singola VM |
|
Creare workstation virtuali |
Cloud Run
Puoi configurare le GPU per le tue istanze Cloud Run. Le GPU sono ideali per eseguire carichi di lavoro di inferenza AI utilizzando modelli linguistici di grandi dimensioni su Cloud Run.
Su Cloud Run, consulta queste risorse per eseguire carichi di lavoro di AI su GPU:
- Configurare le GPU per un servizio Cloud Run
- Caricare modelli ML di grandi dimensioni su Cloud Run con GPU
- Tutorial: esegui l'inferenza LLM sulle GPU Cloud Run con Ollama