Tentang instance GPU

Dokumen ini menjelaskan fitur dan batasan instance virtual machine (VM) GPU yang berjalan di Compute Engine.

Untuk mempercepat workload tertentu di Compute Engine, Anda dapat men-deploy instance yang dioptimalkan untuk akselerator dengan GPU terpasang, atau memasang GPU ke instance tujuan umum N1. Compute Engine menyediakan GPU untuk instance Anda dalam mode passthrough. Mode pass-through memberikan kontrol langsung atas GPU dan memorinya kepada instance Anda.

Anda juga dapat menggunakan beberapa jenis mesin GPU di AI Hypercomputer. AI Hypercomputer adalah sistem superkomputer yang dioptimalkan untuk mendukung workload kecerdasan buatan (AI) dan machine learning (ML) Anda. Opsi ini direkomendasikan untuk membuat infrastruktur yang dialokasikan secara padat dan dioptimalkan untuk performa yang memiliki integrasi untuk penjadwal Google Kubernetes Engine (GKE) dan Slurm.

Jenis mesin yang didukung

Kelompok mesin tujuan umum N1 dan yang dioptimalkan akselerator mendukung GPU. Untuk instance yang menggunakan jenis mesin yang dioptimalkan akselerator, Compute Engine akan otomatis memasang GPU saat Anda membuat instance. Untuk instance yang menggunakan jenis mesin N1, Anda memasang GPU ke instance selama atau setelah pembuatan instance. GPU tidak kompatibel dengan jenis mesin lainnya.

Jenis mesin yang dioptimalkan untuk akselerator

Setiap jenis mesin yang dioptimalkan akselerator memiliki model GPU NVIDIA tertentu yang terpasang. Jika memiliki workload grafis yang intensif, seperti visualisasi 3D, Anda juga dapat membuat workstation virtual yang menggunakan NVIDIA RTX Virtual Workstations (vWS). NVIDIA RTX Virtual Workstation tersedia untuk beberapa model GPU.

Jenis mesin Model GPU Model NVIDIA RTX Virtual Workstation (vWS)
A4X Chip Super GB200 Grace Blackwell dari NVIDIA (nvidia-gb200).

Setiap Superchip berisi empat GPU NVIDIA B200 Blackwell.
A4 GPU NVIDIA B200 Blackwell (nvidia-b200)
A3 Ultra GPU NVIDIA H200 SXM (nvidia-h200-141gb)
A3 Mega GPU NVIDIA H100 SXM (nvidia-h100-mega-80gb)
A3 High, A3 Edge GPU NVIDIA H100 SXM (nvidia-h100-80gb)
A2 Ultra GPU NVIDIA A100 80 GB (nvidia-a100-80gb)
Standar A2 GPU NVIDIA A100 40 GB (nvidia-a100-40gb)
G4 (Pratinjau) NVIDIA RTX PRO 6000 Blackwell Server Edition (nvidia-rtx-pro-6000)
G2 GPU NVIDIA L4 (nvidia-l4) GPU Workstation Virtual NVIDIA L4 (nvidia-l4-vws)

Untuk mengetahui informasi selengkapnya, lihat Kelompok mesin yang dioptimalkan akselerator.

Jenis mesin N1 untuk tujuan umum

Untuk sebagian besar jenis mesin N1, kecuali inti bersama N1 (f1-micro dan g1-small), Anda dapat melampirkan model GPU berikut:

GPU NVIDIA:

  • NVIDIA T4: nvidia-tesla-t4
  • NVIDIA P4: nvidia-tesla-p4
  • NVIDIA P100: nvidia-tesla-p100
  • NVIDIA V100: nvidia-tesla-v100

NVIDIA RTX Virtual Workstation (vWS) (sebelumnya disebut NVIDIA GRID):

  • NVIDIA T4 Virtual Workstation: nvidia-tesla-t4-vws
  • NVIDIA P4 Virtual Workstation: nvidia-tesla-p4-vws

  • NVIDIA P100 Virtual Workstation: nvidia-tesla-p100-vws

    Untuk workstation virtual ini, lisensi NVIDIA RTX Virtual Workstation (vWS) otomatis ditambahkan ke instance Anda.

Untuk kelompok tujuan umum N1, Anda dapat menggunakan jenis mesin yang telah ditentukan atau kustom.

GPU di Spot VM

Anda dapat menambahkan GPU ke Spot VM dengan harga spot yang lebih rendah untuk GPU tersebut. GPU yang terpasang ke Spot VM berfungsi seperti GPU normal, tetapi hanya bertahan selama masa pakai VM. Spot VM dengan GPU mengikuti proses preemption yang sama seperti semua VM Spot.

Sebaiknya minta kuota Preemptible GPU khusus untuk digunakan dengan GPU di Spot VM. Untuk mengetahui informasi lebih lanjut, baca Kuota untuk Spot VM.

Selama peristiwa pemeliharaan, Spot VM dengan GPU di-preempt secara default dan tidak dapat dimulai ulang secara otomatis. Jika Anda ingin membuat ulang VM setelah di-preempt, gunakan grup instance terkelola. Grup instance terkelola akan membuat ulang instance VM Anda jika resource vCPU, memori, dan GPU tersedia.

Jika Anda ingin diberi tahu sebelum VM di-preempt, atau ingin mengonfigurasi VM agar otomatis dimulai ulang setelah peristiwa pemeliharaan, gunakan VM standar dengan GPU. Untuk VM standar dengan GPU, Compute Engine memberikan pemberitahuan awal satu jam sebelum preemption.

Compute Engine tidak mengenakan biaya untuk GPU jika VM-nya di-preempt dalam menit pertama setelah mulai berjalan.

Untuk mempelajari cara membuat Spot VM dengan GPU terpasang, baca Membuat VM dengan GPU yang terpasang dan Membuat Spot VM. Misalnya, lihat Membuat instance A3 Ultra atau A4 menggunakan Spot VM.

GPU pada instance dengan waktu proses yang telah ditentukan sebelumnya

Instance yang menggunakan model penyediaan standar biasanya tidak dapat menggunakan kuota alokasi preemptible. Kuota yang dapat diakhiri ditujukan untuk workload sementara dan biasanya lebih tersedia. Jika project Anda tidak memiliki kuota preemptible, dan Anda tidak pernah memintanya, semua instance di project Anda akan menggunakan kuota alokasi standar.

Jika Anda meminta kuota alokasi preemptible, instance yang menggunakan model penyediaan standar harus memenuhi semua kriteria berikut untuk menggunakan kuota alokasi preemptible:

Saat menggunakan alokasi yang dapat diakhiri untuk beban kerja GPU yang terikat waktu, Anda dapat memperoleh manfaat dari waktu berjalan tanpa gangguan dan ketersediaan kuota alokasi yang dapat diakhiri yang tinggi. Untuk mengetahui informasi selengkapnya, lihat Kuota preemptible.

GPU dan Confidential VM

Anda dapat menggunakan GPU dengan instance Confidential VM yang menggunakan Intel TDX pada seri mesin A3. Untuk mengetahui informasi selengkapnya, lihat konfigurasi yang didukung Confidential VM. Untuk mempelajari cara membuat instance Confidential VM dengan GPU, lihat Membuat instance Confidential VM dengan GPU.

GPU dan block storage

Saat membuat instance menggunakan jenis mesin GPU, Anda dapat menambahkan penyimpanan blok persisten atau sementara ke instance. Untuk menyimpan data non-transien, gunakan penyimpanan blok persisten seperti Hyperdisk atau Persistent Disk karena disk ini tidak bergantung pada siklus proses instance. Data di penyimpanan persisten dapat dipertahankan meskipun Anda menghapus instance.

Untuk penyimpanan atau cache scratch sementara, gunakan penyimpanan blok sementara dengan menambahkan disk SSD Lokal saat Anda membuat instance.

Penyimpanan blok persisten dengan volume Persistent Disk dan Hyperdisk

Anda dapat memasang Persistent Disk dan memilih volume Hyperdisk ke instance yang mendukung GPU.

Untuk beban kerja machine learning (ML) dan penayangan, gunakan volume Hyperdisk ML yang menawarkan throughput tinggi dan waktu pemuatan data yang lebih singkat. Hyperdisk ML adalah opsi yang lebih hemat biaya untuk beban kerja ML karena menawarkan waktu tunggu GPU yang lebih rendah.

Volume Hyperdisk ML menyediakan dukungan multi-lampiran hanya baca, sehingga Anda dapat melampirkan disk yang sama ke beberapa instance, yang memberikan akses ke data yang sama untuk setiap instance.

Untuk mengetahui informasi selengkapnya tentang jenis disk yang didukung untuk seri mesin yang mendukung GPU, lihat halaman seri mesin N1 dan yang dioptimalkan untuk akselerator.

Disk SSD lokal

Disk SSD lokal menyediakan penyimpanan sementara yang cepat untuk caching, pemrosesan data, atau data sementara lainnya. Disk SSD lokal menyediakan penyimpanan cepat karena terpasang secara fisik ke server yang menghosting instance Anda. Disk SSD lokal menyediakan penyimpanan sementara karena instance akan kehilangan data jika dimulai ulang.

Hindari menyimpan data dengan persyaratan persistensi yang kuat di disk SSD Lokal. Untuk menyimpan data non-transien, gunakan penyimpanan persisten.

Jika Anda menghentikan instance dengan GPU secara manual, Anda dapat mempertahankan data SSD Lokal, dengan batasan tertentu. Lihat Dokumentasi SSD lokal untuk mengetahui detail selengkapnya.

Untuk dukungan regional SSD Lokal dengan jenis GPU, lihat Ketersediaan SSD lokal menurut region dan zona GPU.

Pemeliharaan GPU dan host

Compute Engine selalu menghentikan instance dengan GPU terpasang saat melakukan peristiwa pemeliharaan di server host. Jika instance memiliki disk SSD Lokal yang terpasang, instance akan kehilangan data SSD Lokal setelah berhenti.

Untuk informasi tentang cara menangani peristiwa pemeliharaan, lihat Menangani peristiwa pemeliharaan host GPU.

Penentuan harga GPU

Untuk instance yang memiliki GPU terpasang, Anda akan dikenai biaya sebagai berikut:

Untuk mengetahui harga per jam dan bulanan untuk GPU, lihat halaman harga GPU.

Melakukan reservasi GPU dengan diskon abonemen

Untuk mencadangkan resource GPU di zona tertentu, lihat Memilih jenis reservasi.

Guna menerima diskon abonemen untuk GPU di zona tertentu, Anda harus membeli komitmen berbasis resource untuk GPU dan juga melampirkan reservasi yang menentukan GPU yang cocok ke komitmen Anda. Untuk mengetahui informasi selengkapnya, lihat Melampirkan reservasi ke komitmen berbasis resource.

Pembatasan dan batasan GPU

Untuk instance dengan GPU yang terpasang, pembatasan dan batasan berikut berlaku:

  • Hanya jenis mesin yang dioptimalkan akselerator (A4X, A4, A3, A2, dan G2) dan jenis mesin N1 tujuan umum yang mendukung GPU.

  • Untuk melindungi sistem dan pengguna Compute Engine, project baru memiliki kuota GPU global yang membatasi jumlah total GPU yang dapat Anda buat di zona mana pun yang didukung. Saat meminta kuota GPU, Anda harus meminta kuota untuk model GPU yang ingin dibuat di setiap region, dan kuota global tambahan untuk jumlah total semua jenis GPU di semua zona.

  • Instance dengan satu atau beberapa GPU memiliki jumlah vCPU maksimum untuk setiap GPU yang Anda tambahkan ke instance. Informasi tentang rentang vCPU dan memori yang tersedia untuk berbagai konfigurasi GPU tersedia di daftar GPU.

  • GPU memerlukan driver perangkat agar berfungsi dengan baik. GPU NVIDIA yang berjalan di Compute Engine harus menggunakan versi driver minimum. Untuk informasi selengkapnya tentang versi driver, lihat Versi driver NVIDIA yang diperlukan.

  • SLA Compute Engine mencakup instance dengan model GPU terpasang hanya jika model GPU terpasang tersebut tersedia secara umum.

    Untuk region yang memiliki beberapa zona, SLA Compute Engine mencakup instance hanya jika model GPU tersedia di lebih dari satu zona dalam region tersebut. Untuk mengetahui model GPU menurut region, lihat Region dan zona GPU.

  • Compute Engine mendukung satu pengguna serentak per GPU.

  • Lihat juga batasan untuk setiap jenis mesin dengan GPU terpasang.

Apa langkah selanjutnya?