Trusted Cloud by S3NS konzentriert sich auf die Bereitstellung einer erstklassigen KI-Infrastruktur (Künstliche Intelligenz), die Ihre anspruchsvollsten GPU-beschleunigten Arbeitslasten in einer Vielzahl von Segmenten unterstützt. Sie können GPUs auf Trusted Cloud by S3NS verwenden, um KI-, maschinelles Lernen (ML), wissenschaftliche, Analyse-, Engineering-, Verbraucher- und Unternehmensanwendungen auszuführen.
Durch unsere Partnerschaft mit NVIDIA bietet Trusted Cloud by S3NS die neuesten GPUs und optimiert den Softwarestack mit einer Vielzahl von Speicher- und Netzwerkoptionen. Eine vollständige Liste der verfügbaren GPUs finden Sie unter GPU-Plattformen.
In den folgenden Abschnitten werden die Vorteile von GPUs auf Trusted Cloud by S3NSbeschrieben.
GPU-beschleunigte VMs
Auf Trusted Cloud by S3NSkönnen Sie auf GPUs zugreifen und sie so bereitstellen, wie es Ihren Anforderungen am besten entspricht. Es ist eine spezielle beschleunigungsoptimierte Maschinenfamilie mit vorkonfigurierten GPUs und Netzwerkfunktionen verfügbar, die sich ideal zur Leistungsoptimierung eignen. Sie sind in den Maschinenserien A4X, A4, A3, A2 und G2 verfügbar.
Mehrere Bereitstellungsoptionen
Sie können Cluster mit der beschleunigungsoptimierten Maschinenfamilie mit einem der folgenden Open-Source- Trusted Cloud by S3NS Produkte bereitstellen.
Vertex AI
Vertex AI ist eine vollständig verwaltete ML-Plattform (Machine Learning), mit der Sie ML-Modelle und KI-Anwendungen trainieren und bereitstellen können. In Vertex AI-Anwendungen können Sie mit GPU-beschleunigten VMs die Leistung auf folgende Weise verbessern:
- Verwenden Sie GPU-fähige VMs in benutzerdefinierten GKE-Worker-Pools für das Training.
- Open-Source-LLM-Modelle aus dem Vertex AI Model Garden verwenden
- Verringern Sie die Vorhersagelatenz.
- Leistung des Notebookcodes in Vertex AI Workbench verbessern
- Leistung einer Colab Enterprise-Laufzeit verbessern
Cluster Director
Cluster Director (früher Hypercompute Cluster) ist eine Reihe von Funktionen und Diensten, mit denen Sie große Mengen an Beschleuniger- und Netzwerkressourcen (bis zu Zehntausende) bereitstellen und verwalten können, die als einzelne homogene Einheit funktionieren. Diese Option eignet sich ideal für die Erstellung einer dicht belegten, leistungsoptimierten Infrastruktur mit Integrationen für die Google Kubernetes Engine (GKE) und Slurm-Scheduler. Cluster Director hilft Ihnen, eine Infrastruktur zu erstellen, die speziell für die Ausführung von KI-, ML- und HPC-Arbeitslasten entwickelt wurde. Weitere Informationen finden Sie unter Cluster Director.
Informationen zu den ersten Schritten mit Cluster Director finden Sie unter Bereitstellungsstrategie auswählen.
Compute Engine
Sie können auch einzelne VMs oder kleine VM-Cluster mit angehängten GPUs in der Compute Engine erstellen und verwalten. Diese Methode wird hauptsächlich für die Ausführung grafikintensiver Arbeitslasten, Simulationsarbeitslasten oder das Training von ML-Modellen im kleinen Maßstab verwendet.
In der folgenden Tabelle sind die Methoden aufgeführt, mit denen Sie VMs mit angeschlossenen GPUs erstellen können:
Bereitstellungsoption |
Bereitstellungshandbücher |
VM für Dienste und Arbeitslasten mit einem einzelnen Knoten erstellen |
|
Verwaltete Instanzgruppen (MIGs) erstellen |
|
VMs im Bulk erstellen |
|
Einzelne VM erstellen |
|
Virtuelle Workstations erstellen |
Cloud Run
Sie können GPUs für Ihre Cloud Run-Instanzen konfigurieren. GPUs eignen sich hervorragend für die Ausführung von KI-Inferenzarbeitslasten mit Large Language Models in Cloud Run.
In Cloud Run finden Sie hier Informationen zum Ausführen von KI-Arbeitslasten auf GPUs:
- GPUs für einen Cloud Run-Dienst konfigurieren
- Große ML-Modelle mit GPUs in Cloud Run laden
- Anleitung: LLM-Inferenzen auf Cloud Run-GPUs mit Ollama ausführen