Tentang instance GPU

Dokumen ini menjelaskan fitur dan batasan instance Compute Engine yang memiliki GPU terpasang.

Untuk mempercepat workload tertentu di Compute Engine, Anda dapat men-deploy instance yang dioptimalkan akselerator yang memiliki GPU terpasang, atau memasang GPU ke instance tujuan umum N1. Untuk sebagian besar workload, Compute Engine menyediakan GPU untuk instance Anda dalam mode pass-through, yang memberi instance Anda kontrol langsung atas GPU dan memorinya. Namun, untuk workload yang lebih intensif grafis dan berjalan di GPU G4, G2, atau N1, Anda dapat menggunakan NVIDIA RTX Virtual Workstation (vWS). Pada instance G4, NVIDIA RTX vWS memungkinkan penggunaan jenis mesin GPU pecahan. Dengan jenis mesin ini, satu GPU fisik dapat digunakan bersama oleh beberapa workstation virtual dengan menetapkan GPU virtual (vGPU) ke setiap instance. Instance G2 dan N1 mendukung vWS, tetapi tidak mendukung jenis mesin vGPU pecahan.

Anda juga dapat menggunakan beberapa jenis mesin GPU di AI Hypercomputer. AI Hypercomputer adalah sistem superkomputer yang dioptimalkan untuk mendukung workload kecerdasan buatan (AI) dan machine learning (ML) Anda. Opsi ini direkomendasikan untuk membuat infrastruktur dengan alokasi padat dan performa optimal, yang memiliki integrasi untuk scheduler Google Kubernetes Engine (GKE) dan Slurm.

Jenis mesin yang didukung

Compute Engine menawarkan berbagai jenis mesin untuk mendukung berbagai workload Anda.

Beberapa jenis mesin mendukung NVIDIA RTX Virtual Workstations (vWS). Saat Anda membuat instance yang menggunakan NVIDIA RTX Virtual Workstation, Compute Engine akan otomatis menambahkan lisensi vWS. Untuk mengetahui informasi tentang harga workstation virtual, lihat halaman harga GPU.

Jenis mesin GPU
Workload AI dan ML Grafis dan visualisasi Workload GPU lainnya
Jenis mesin seri A yang dioptimalkan untuk akselerator dirancang untuk workload komputasi berperforma tinggi (HPC), kecerdasan buatan (AI), dan machine learning (ML).

Seri A generasi terbaru ideal untuk prapelatihan dan penyesuaian model dasar yang melibatkan cluster akselerator besar, sedangkan seri A2 dapat digunakan untuk melatih model yang lebih kecil dan inferensi host tunggal.

Untuk jenis mesin ini, model GPU otomatis dipasang ke instance.

Jenis mesin seri G yang dioptimalkan akselerator dirancang untuk workload seperti workload simulasi NVIDIA Omniverse, aplikasi yang intensif grafis, transcoding video, dan desktop virtual. Jenis mesin ini mendukung NVIDIA RTX Virtual Workstations (vWS).

Seri G juga dapat digunakan untuk melatih model yang lebih kecil dan untuk inferensi host tunggal.

Untuk jenis mesin ini, model GPU otomatis dipasang ke instance.

Untuk jenis mesin untuk tujuan umum N1, kecuali untuk N1 dengan inti bersama (f1-micro dan g1-small), Anda dapat memasang serangkaian model GPU tertentu. Beberapa model GPU ini juga mendukung NVIDIA RTX Virtual Workstation (vWS).

  • A5X (Superchip NVIDIA Vera Rubin)
    (nvidia-vr200)
  • A4X Max (Superchip NVIDIA GB300 Ultra)
    (nvidia-gb300)
  • A4X (superchip NVIDIA GB200)
    (nvidia-gb200)
  • A4 (NVIDIA B200)
    (nvidia-b200)
  • A3 Ultra (NVIDIA H200)
    (nvidia-h200-141gb)
  • A3 Mega (NVIDIA H100)
    (nvidia-h100-mega-80gb)
  • A3 High (NVIDIA H100)
    (nvidia-h100-80gb)
  • A3 Edge (NVIDIA H100)
    (nvidia-h100-80gb)
  • A2 Ultra (NVIDIA A100 80GB)
    (nvidia-a100-80gb)
  • A2 Standard (NVIDIA A100 4OGB)
    (nvidia-tesla-a100)
  • G4 (NVIDIA RTX PRO 6000)
    (nvidia-rtx-pro-6000)
    (nvidia-rtx-pro-6000-vws)
  • G2 (NVIDIA L4)
    (nvidia-l4)
    (nvidia-l4-vws)
Model GPU berikut dapat dipasang ke jenis mesin untuk tujuan umum N1:
  • NVIDIA T4
    (nvidia-tesla-t4)
    (nvidia-tesla-t4-vws). NVIDIA T4 akan segera berakhir masa dukungannya, lihat Akhir dukungan NVIDIA T4.
  • NVIDIA P4
    (nvidia-tesla-p4)
    (nvidia-tesla-p4-vws). NVIDIA P4 mendekati akhir dukungan, lihat Akhir dukungan NVIDIA P4.
  • NVIDIA V100
    (nvidia-tesla-v100)

GPU di Spot VM

Anda dapat menambahkan GPU ke Spot VM dengan harga spot yang lebih rendah untuk GPU tersebut. GPU yang terpasang ke Spot VM berfungsi seperti GPU normal, tetapi hanya bertahan selama masa pakai VM. Spot VM dengan GPU mengikuti proses preemption yang sama seperti semua VM Spot.

Selama peristiwa pemeliharaan, Spot VM dengan GPU di-preempt secara default dan tidak dapat dimulai ulang secara otomatis. Jika Anda ingin membuat ulang VM setelah di-preempt, gunakan grup instance terkelola. Grup instance terkelola akan membuat ulang instance VM jika resource vCPU, memori, dan GPU tersedia.

Jika Anda ingin diberi tahu sebelum VM di-preempt, atau ingin mengonfigurasi VM agar otomatis dimulai ulang setelah peristiwa pemeliharaan, gunakan VM standar dengan GPU. Untuk VM standar dengan GPU, Compute Engine memberikan pemberitahuan awal satu jam sebelum preemption.

Compute Engine tidak mengenakan biaya untuk GPU jika VM-nya di-preempt dalam menit pertama setelah mulai berjalan.

Untuk mempelajari cara membuat Spot VM dengan GPU terpasang, baca Membuat VM dengan GPU yang terpasang dan Membuat Spot VM. Misalnya, lihat Membuat instance A3 Ultra atau A4 menggunakan Spot VM.

GPU pada instance dengan waktu proses yang telah ditentukan

Instance yang menggunakan model penyediaan standar biasanya tidak dapat menggunakan kuota alokasi preemptible. Kuota preemptible ditujukan untuk workload sementara dan biasanya lebih tersedia. Jika project Anda tidak memiliki kuota preemptible, dan Anda belum pernah memintanya, semua instance dalam project Anda akan menggunakan kuota alokasi standar.

Jika Anda meminta kuota alokasi preemptible, instance yang menggunakan model penyediaan standar harus memenuhi semua kriteria berikut untuk menggunakan kuota alokasi preemptible:

Saat menggunakan alokasi preemptible untuk workload GPU yang terikat waktu, Anda dapat memperoleh manfaat dari waktu proses yang tidak terganggu dan ketersediaan kuota alokasi preemptible yang tinggi. Untuk mengetahui informasi selengkapnya, lihat Kuota preemptible.

GPU dan Confidential VM

Anda dapat menggunakan GPU dengan instance Confidential VM yang menggunakan Intel TDX pada jenis mesin A3 High dan AMD SEV pada jenis mesin G4. Untuk mengetahui informasi selengkapnya, lihat Konfigurasi yang didukung Confidential VM. Untuk mempelajari cara membuat instance Confidential VM dengan GPU, lihat Membuat instance Confidential VM dengan GPU.

GPU dan block storage

Saat membuat instance menggunakan jenis mesin GPU, Anda dapat menambahkan penyimpanan blok persisten atau sementara ke instance. Untuk menyimpan data non-transien, gunakan block storage persisten seperti Hyperdisk atau Persistent Disk karena disk ini tidak bergantung pada siklus proses instance. Data di penyimpanan persisten dapat dipertahankan bahkan setelah Anda menghapus instance.

Untuk penyimpanan scratch atau cache sementara, gunakan block storage sementara dengan menambahkan disk SSD Lokal saat Anda membuat instance.

Penyimpanan blok persisten dengan volume Persistent Disk dan Hyperdisk

Anda dapat memasang Persistent Disk dan memilih volume Hyperdisk ke instance yang mendukung GPU.

Untuk workload machine learning (ML) dan inferensi, gunakan volume Hyperdisk ML, yang menawarkan throughput tinggi dan waktu pemuatan data yang lebih singkat. Hyperdisk ML adalah opsi yang lebih hemat biaya untuk workload ML karena menawarkan waktu tidak ada aktivitas GPU yang lebih rendah.

Volume Hyperdisk ML memberikan dukungan multi-pemasangan hanya baca, sehingga Anda dapat memasang disk yang sama ke beberapa instance, sehingga setiap instance dapat mengakses data yang sama.

Untuk mengetahui informasi selengkapnya tentang jenis disk yang didukung untuk seri mesin yang mendukung GPU, lihat halaman seri mesin N1 dan yang dioptimalkan akselerator.

Disk SSD lokal

Disk SSD lokal menyediakan penyimpanan sementara yang cepat untuk caching, pemrosesan data, atau data sementara lainnya. Disk SSD lokal menyediakan penyimpanan yang cepat karena terpasang secara fisik ke server yang menghosting instance Anda. Disk SSD Lokal menyediakan penyimpanan sementara karena instance akan kehilangan data jika dimulai ulang.

Hindari menyimpan data dengan persyaratan persistensi yang kuat di disk SSD Lokal. Untuk menyimpan data non-transien, gunakan penyimpanan persisten.

Jika Anda menghentikan instance dengan GPU secara manual, Anda dapat mempertahankan data SSD Lokal, dengan batasan tertentu. Lihat Dokumentasi SSD lokal untuk mengetahui detail selengkapnya.

Untuk mengetahui dukungan regional untuk SSD Lokal dengan jenis GPU, lihat Ketersediaan SSD Lokal.

Pemeliharaan GPU dan host

Compute Engine selalu menghentikan instance dengan GPU terpasang saat melakukan peristiwa pemeliharaan di server host. Jika instance memiliki disk SSD Lokal yang terpasang, instance akan kehilangan data SSD Lokal setelah berhenti.

Untuk mengetahui informasi tentang cara menangani peristiwa pemeliharaan, lihat Menangani peristiwa pemeliharaan host GPU.

Memesan kapasitas GPU

Pemesanan memberikan jaminan kapasitas yang tinggi untuk resource khusus zona, termasuk GPU. Anda dapat menggunakan pemesanan untuk memastikan bahwa Anda memiliki GPU yang tersedia saat Anda perlu menggunakannya untuk aplikasi yang membutuhkan performa tinggi. Untuk mengetahui berbagai metode dalam memesan resource khusus zona di Compute Engine, lihat Memilih jenis pemesanan.

Pemesanan juga diperlukan jika Anda ingin menerima diskon abonemen (DA) berbasis resource untuk GPU Anda.

Penentuan harga GPU

Jika Anda meminta Compute Engine untuk menyediakan GPU menggunakan model penyediaan spot, flex-start, atau terikat pemesanan, Anda akan mendapatkan GPU dengan harga diskon, bergantung pada jenis GPU. Anda juga dapat menerima diskon abonemen atau diskon untuk penggunaan berkelanjutan (hanya dengan VM N1) untuk penggunaan GPU Anda.

Untuk mengetahui harga per jam dan bulanan untuk GPU, lihat halaman harga GPU.

Diskon abonemen untuk GPU

Anda dapat menerima diskon abonemen untuk GPU dengan membeli komitmen berbasis resource atau komitmen fleksibel Compute:

  • Komitmen berbasis resource memberikan diskon besar untuk resource Compute Engine sebagai imbalan atas komitmen untuk menggunakan resource di region tertentu selama minimal satu tahun. Anda biasanya membeli komitmen untuk resource seperti vCPU, memori, GPU, dan disk SSD Lokal untuk digunakan dengan seri mesin tertentu. Saat menggunakan resource, Anda akan menerima penggunaan resource yang memenuhi syarat dengan harga diskon. Untuk mempelajari lebih lanjut diskon ini, lihat Diskon abonemen berbasis resource. Untuk membeli komitmen dengan GPU, Anda juga harus memesan GPU dan melampirkan pemesanan ke komitmen Anda. Untuk mengetahui informasi selengkapnya, lihat Melampirkan reservasi ke komitmen berbasis resource.

  • Komitmen fleksibel Compute mencakup pengeluaran GPU G2 dan G4 yang memenuhi syarat tanpa memerlukan pemesanan terlampir. Anda tidak dapat melampirkan pemesanan ke komitmen fleksibel Compute. Karena komitmen fleksibel komputasi tidak memesan kapasitas, kapasitas tidak dijamin untuk GPU G2 atau G4. Jika GPU tidak tersedia, Anda dapat menggunakan komitmen fleksibel untuk mencakup jenis resource atau layanan lain yang memenuhi syarat. Jika Anda menginginkan jaminan kapasitas, pastikan untuk memesan GPU secara terpisah dengan membuat pemesanan. Untuk mengetahui informasi selengkapnya, lihat DA fleksibel Compute.

Diskon untuk penggunaan berkelanjutan untuk GPU

Instance yang menggunakan jenis mesin N1 dengan GPU terpasang akan menerima diskon untuk penggunaan berkelanjutan (SUD), yang mirip dengan vCPU. Saat Anda memilih GPU untuk workstation virtual, Compute Engine akan otomatis menambahkan lisensi NVIDIA RTX Virtual Workstation ke instance Anda.

Pembatasan dan batasan GPU

Untuk instance dengan GPU yang terpasang, pembatasan dan batasan berikut berlaku:

  • Hanya jenis mesin yang dioptimalkan akselerator (A5X, A4X Max, A4X, A4, A3, A2, G4, dan G2) dan N1 tujuan umum yang mendukung GPU.

  • Untuk melindungi sistem dan pengguna Compute Engine, project baru memiliki kuota GPU global yang membatasi jumlah total GPU yang dapat Anda buat di zona mana pun yang didukung. Saat meminta kuota GPU, Anda harus meminta kuota untuk model GPU yang ingin dibuat di setiap region, dan kuota global tambahan untuk jumlah total semua jenis GPU di semua zona.

  • Instance dengan satu atau beberapa GPU memiliki jumlah vCPU maksimum untuk setiap GPU yang Anda tambahkan ke instance. Informasi tentang rentang vCPU dan memori yang tersedia untuk berbagai konfigurasi GPU tersedia di daftar GPU.

  • GPU memerlukan driver perangkat agar berfungsi dengan baik. GPU NVIDIA yang berjalan di Compute Engine harus menggunakan versi driver minimum. Untuk informasi selengkapnya tentang versi driver, lihat Versi driver NVIDIA yang diperlukan.

  • SLA Compute Engine mencakup instance dengan model GPU terpasang hanya jika model GPU terpasang tersebut tersedia secara umum.

    Untuk region yang memiliki beberapa zona, SLA Compute Engine hanya mencakup instance jika model GPU tersedia di lebih dari satu zona dalam region tersebut. Untuk mengetahui model GPU berdasarkan region, lihat lokasi GPU.

  • Compute Engine mendukung satu pengguna serentak per GPU atau vGPU.

  • Lihat juga batasan untuk setiap jenis mesin dengan GPU terpasang.

Apa langkah selanjutnya?