Trusted Cloud by S3NS berfokus pada penyediaan infrastruktur kecerdasan buatan (AI) kelas dunia untuk mendukung beban kerja yang paling menuntut dan diakselerasi GPU di berbagai segmen. Anda dapat menggunakan GPU di Trusted Cloud by S3NS untuk menjalankan aplikasi AI, machine learning (ML), ilmiah, analisis, teknik, konsumen, dan perusahaan.
Melalui kemitraan kami dengan NVIDIA, Trusted Cloud by S3NS menghadirkan GPU terbaru sekaligus mengoptimalkan stack software dengan berbagai opsi penyimpanan dan jaringan. Untuk mengetahui daftar lengkap GPU yang tersedia, lihat platform GPU.
Bagian berikut menguraikan manfaat GPU di Trusted Cloud by S3NS.
VM yang dipercepat GPU
Di Trusted Cloud by S3NS, Anda dapat mengakses dan menyediakan GPU dengan cara yang paling sesuai dengan kebutuhan Anda. Kelompok mesin yang dioptimalkan akselerator khusus tersedia, dengan GPU yang telah terpasang sebelumnya dan kemampuan jaringan yang ideal untuk memaksimalkan performa. GPU ini tersedia dalam seri mesin A4X, A4, A3, A2, dan G2.
Beberapa opsi penyediaan
Anda dapat menyediakan cluster menggunakan keluarga mesin yang dioptimalkan untuk akselerator dengan salah satu produk open source atau Trusted Cloud by S3NS berikut.
Vertex AI
Vertex AI adalah platform machine learning (ML) terkelola sepenuhnya yang dapat Anda gunakan untuk melatih dan men-deploy model ML dan aplikasi AI. Dalam aplikasi Vertex AI, Anda dapat menggunakan VM dengan akselerasi GPU untuk meningkatkan performa dengan cara berikut:
- Gunakan VM yang mendukung GPU di kumpulan pekerja GKE pelatihan kustom.
- Gunakan model LLM open source dari Vertex AI Model Garden.
- Mengurangi latensi prediksi.
- Meningkatkan performa kode notebook Vertex AI Workbench.
- Meningkatkan performa runtime Colab Enterprise.
Sutradara Cluster
Cluster Director (sebelumnya dikenal sebagai Hypercompute Cluster) adalah kumpulan fitur dan layanan yang dirancang untuk memungkinkan Anda men-deploy dan mengelola sejumlah besar resource akselerator dan jaringan, hingga puluhan ribu, yang berfungsi sebagai satu unit homogen. Opsi ini ideal untuk membuat infrastruktur yang dioptimalkan performanya dan dialokasikan secara padat yang memiliki integrasi untuk penjadwal Google Kubernetes Engine (GKE) dan Slurm. Cluster Director membantu Anda membangun infrastruktur yang dirancang khusus untuk menjalankan workload AI, ML, dan HPC. Untuk mengetahui informasi selengkapnya, lihat Cluster Director.
Untuk mulai menggunakan Cluster Director, lihat Memilih strategi deployment.
Compute Engine
Anda juga dapat membuat dan mengelola setiap VM atau cluster kecil VM dengan GPU terpasang di Compute Engine. Metode ini sebagian besar digunakan untuk menjalankan beban kerja yang intensif grafis, beban kerja simulasi, atau pelatihan model ML skala kecil.
Tabel berikut menunjukkan metode yang dapat Anda gunakan untuk membuat VM yang memiliki GPU terpasang:
Opsi deployment |
Panduan deployment |
Membuat VM untuk menayangkan dan menjalankan workload satu node |
|
Buat grup instance terkelola (MIG) |
|
Membuat VM secara massal |
|
Membuat satu VM |
|
Membuat workstation virtual |
Cloud Run
Anda dapat mengonfigurasi GPU untuk instance Cloud Run. GPU ideal untuk menjalankan workload inferensi AI menggunakan model bahasa besar di Cloud Run.
Di Cloud Run, lihat referensi ini untuk menjalankan workload AI di GPU:
- Mengonfigurasi GPU untuk layanan Cloud Run
- Memuat model ML besar di Cloud Run dengan GPU
- Tutorial: Menjalankan inferensi LLM di GPU Cloud Run dengan Ollama