Ringkasan pembuatan instance dengan GPU yang terpasang

Compute Engine menyediakan unit pemrosesan grafis (GPU) yang dapat Anda tambahkan ke mesin virtual (VM). Anda dapat menggunakan GPU ini untuk mempercepat workload tertentu pada VM Anda, seperti machine learning dan pemrosesan data.

Anda juga dapat menggunakan beberapa jenis mesin GPU di AI Hypercomputer. AI Hypercomputer adalah sistem superkomputer yang dioptimalkan untuk mendukung workload kecerdasan buatan (AI) dan machine learning (ML) Anda. Opsi ini direkomendasikan untuk membuat infrastruktur yang dialokasikan secara padat dan dioptimalkan untuk performa yang memiliki integrasi untuk penjadwal Google Kubernetes Engine (GKE) dan Slurm.

Dokumen ini memberikan ringkasan langkah-langkah yang diperlukan untuk membuat VM dengan GPU yang terpasang.

Untuk mengetahui informasi selengkapnya tentang GPU di Compute Engine, lihat Tentang GPU.

Memilih model GPU

Untuk daftar model GPU yang tersedia, lihat platform GPU. Catat juga jenis mesin yang didukung untuk model GPU yang dipilih.

Untuk setiap model, Anda juga dapat meninjau hal-hal berikut:

Batasan

Selain pembatasan untuk semua VM dengan GPU, setiap seri mesin dengan GPU yang terpasang memiliki batasan berikut:

VM A4

VM A3 Ultra

  • Anda hanya dapat meminta kapasitas menggunakan opsi konsumsi yang didukung untuk jenis mesin A3 Ultra.
  • Anda tidak menerima diskon untuk penggunaan berkelanjutan dan diskon abonemen fleksibel untuk instance yang menggunakan jenis mesin A3 Ultra.
  • Anda hanya dapat menggunakan jenis mesin A3 Ultra di region dan zona tertentu.
  • Anda tidak dapat menggunakan Persistent Disk (regional atau zonal) pada instance yang menggunakan jenis mesin Ultra A3.
  • Jenis mesin A3 Ultra hanya tersedia di platform CPU Emerald Rapids.
  • Anda tidak dapat mengubah jenis mesin instance yang ada menjadi jenis mesin A3 Ultra. Anda hanya dapat membuat instance A3-ultra baru. Setelah membuat instance menggunakan jenis mesin A3 Ultra, Anda tidak dapat mengubah jenis mesin.
  • Jenis mesin A3 Ultra tidak mendukung sole-tenancy.
  • Anda tidak dapat menjalankan sistem operasi Windows pada jenis mesin A3 Ultra.

VM Mega A3

  • Anda hanya dapat meminta kapasitas menggunakan opsi penggunaan yang didukung untuk jenis mesin A3 Mega.
  • Anda tidak menerima diskon untuk penggunaan berkelanjutan dan diskon abonemen fleksibel untuk instance yang menggunakan jenis mesin A3 Mega.
  • Anda hanya dapat menggunakan jenis mesin A3 Mega di region dan zona tertentu.
  • Anda tidak dapat menggunakan Persistent Disk regional pada instance yang menggunakan jenis mesin A3 Mega.
  • Jenis mesin A3 Mega hanya tersedia di platform CPU Sapphire Rapids.
  • Anda tidak dapat mengubah jenis mesin instance yang ada menjadi jenis mesin A3 Mega. Anda hanya dapat membuat instance A3-mega baru. Setelah membuat instance menggunakan jenis mesin A3 Mega, Anda tidak dapat mengubah jenis mesin.
  • Jenis mesin A3 Mega tidak mendukung sole-tenancy.
  • Anda tidak dapat menjalankan sistem operasi Windows pada jenis mesin A3 Mega.

VM Tinggi A3

  • Anda hanya dapat meminta kapasitas menggunakan opsi penggunaan yang didukung untuk jenis mesin A3 High.
  • Anda tidak menerima diskon untuk penggunaan berkelanjutan dan diskon abonemen fleksibel untuk instance yang menggunakan jenis mesin A3 Tinggi.
  • Anda hanya dapat menggunakan jenis mesin A3 High di region dan zona tertentu.
  • Anda tidak dapat menggunakan Persistent Disk regional pada instance yang menggunakan jenis mesin A3 High.
  • Jenis mesin A3 High hanya tersedia di platform CPU Sapphire Rapids.
  • Anda tidak dapat mengubah jenis mesin instance yang ada menjadi jenis mesin A3 High. Anda hanya dapat membuat instance baru dengan tinggi A3. Setelah membuat instance menggunakan jenis mesin A3 Tinggi, Anda tidak dapat mengubah jenis mesin.
  • Jenis mesin A3 High tidak mendukung sole-tenancy.
  • Anda tidak dapat menjalankan sistem operasi Windows pada jenis mesin A3 High.
  • Untuk jenis mesin a3-highgpu-1g, a3-highgpu-2g, dan a3-highgpu-4g, Anda harus membuat instance menggunakan Spot VM atau fitur yang menggunakan Dynamic Workload Scheduler (DWS), seperti permintaan pengubahan ukuran dalam MIG. Untuk petunjuk mendetail tentang salah satu opsi ini, tinjau hal berikut:

VM A3 Edge

VM Standar A2

  • Anda hanya dapat meminta kapasitas menggunakan opsi penggunaan yang didukung untuk jenis mesin Standar A2.
  • Anda tidak menerima diskon untuk penggunaan berkelanjutan dan diskon penggunaan berkelanjutan fleksibel untuk instance yang menggunakan jenis mesin Standar A2.
  • Anda hanya dapat menggunakan jenis mesin Standar A2 di region dan zona tertentu.
  • Jenis mesin Standar A2 hanya tersedia di platform Cascade Lake.
  • Jika instance Anda menggunakan jenis mesin Standar A2, Anda hanya dapat beralih dari satu jenis mesin Standar A2 ke jenis mesin Standar A2 lainnya. Anda tidak dapat mengubah ke jenis mesin lainnya. Untuk mengetahui informasi selengkapnya, lihat Mengubah instance yang dioptimalkan untuk akselerator.
  • Anda tidak dapat menggunakan sistem operasi Windows dengan jenis mesin a2-megagpu-16g A2 Standard. Saat menggunakan sistem operasi Windows, pilih jenis mesin Standar A2 yang berbeda.
  • Anda tidak dapat melakukan format cepat SSD Lokal yang terpasang di instance Windows yang menggunakan jenis mesin Standar A2. Untuk memformat SSD Lokal ini, Anda harus membuat format penuh dengan menggunakan utilitas diskpart dan menentukan format fs=ntfs label=tmpfs.
  • Jenis mesin Standar A2 tidak mendukung tenancy tunggal.

VM A2 Ultra

  • Anda hanya dapat meminta kapasitas menggunakan opsi penggunaan yang didukung untuk jenis mesin A2 Ultra.
  • Anda tidak menerima diskon untuk penggunaan berkelanjutan dan diskon penggunaan berkelanjutan fleksibel untuk instance yang menggunakan jenis mesin A2 Ultra.
  • Anda hanya dapat menggunakan jenis mesin A2 Ultra di region dan zona tertentu.
  • Jenis mesin A2 Ultra hanya tersedia di platform Cascade Lake.
  • Jika instance Anda menggunakan jenis mesin A2 Ultra, Anda tidak dapat mengubah jenis mesin. Jika perlu menggunakan jenis mesin Ultra A2 yang berbeda, atau jenis mesin lainnya, Anda harus membuat instance baru.
  • Anda tidak dapat mengubah jenis mesin lainnya menjadi jenis mesin A2 Ultra. Jika Anda memerlukan instance yang menggunakan jenis mesin Ultra A2, Anda harus membuat instance baru.
  • Anda tidak dapat melakukan format cepat SSD Lokal yang terpasang di instance Windows yang menggunakan jenis mesin Ultra A2. Untuk memformat SSD Lokal ini, Anda harus membuat format penuh dengan menggunakan utilitas diskpart dan menentukan format fs=ntfs label=tmpfs.

VM G2

  • Anda hanya dapat meminta kapasitas menggunakan opsi penggunaan yang didukung untuk jenis mesin G2.
  • Anda tidak menerima diskon untuk penggunaan berkelanjutan dan diskon abonemen fleksibel untuk instance yang menggunakan jenis mesin G2.
  • Anda hanya dapat menggunakan jenis mesin G2 di region dan zona tertentu.
  • Jenis mesin G2 hanya tersedia di platform Cascade Lake.
  • Persistent Disk Standar (pd-standard) tidak didukung pada instance yang menggunakan jenis mesin G2. Untuk mengetahui jenis disk yang didukung, lihat Jenis disk yang didukung untuk G2.
  • Anda tidak dapat membuat GPU Multi-Instance pada instance yang menggunakan jenis mesin G2.
  • Jika Anda perlu mengubah jenis mesin instance G2, tinjau Mengubah instance yang dioptimalkan untuk akselerator.
  • Anda tidak dapat menggunakan Deep Learning VM Image sebagai boot disk untuk instance yang menggunakan jenis mesin G2.
  • Driver default saat ini untuk Container-Optimized OS tidak mendukung GPU L4 yang berjalan pada jenis mesin G2. Selain itu, Container-Optimized OS hanya mendukung serangkaian driver tertentu. Jika Anda ingin menggunakan Container-Optimized OS pada jenis mesin G2, tinjau catatan berikut:
    • Gunakan versi Container-Optimized OS yang mendukung versi driver NVIDIA minimum yang direkomendasikan 525.60.13 atau yang lebih baru. Untuk informasi selengkapnya, tinjau catatan rilis Container-Optimized OS.
    • Saat Anda menginstal driver, tentukan versi terbaru yang tersedia yang berfungsi untuk GPU L4. Contoh, sudo cos-extensions install gpu -- -version=525.60.13.
  • Anda harus menggunakan Google Cloud CLI atau REST untuk membuat instance G2 untuk skenario berikut:
    • Anda ingin menetapkan nilai memori kustom.
    • Anda ingin menyesuaikan jumlah inti CPU yang terlihat.

VM N1+GPU

Untuk mempelajari batasan instance N1 dengan GPU, lihat fitur untuk seri mesin N1 dan GPU untuk seri mesin N1.

Memilih sistem operasi

Jika Anda menggunakan GPU untuk machine learning, gunakan salah satu sistem operasi berikut:

  • Gambar yang dioptimalkan untuk workload AI. Anda dapat menggunakan image Ubuntu dan Rocky, yang tersedia dalam versi yang dioptimalkan untuk akselerator dengan driver dan toolkit CUDA yang telah diinstal sebelumnya. Lihat Image OS dalam dokumentasi AI Hypercomputer.
  • Deep Learning VM Image. Setiap Deep Learning VM memiliki alat penginstal driver GPU dan menyertakan paket seperti TensorFlow dan PyTorch. Anda juga dapat menggunakan Deep Learning VM untuk workload GPU umum. Untuk mempelajari lebih lanjut image yang tersedia dan paket yang diinstal pada image ini, lihat Memilih image.

Atau, Anda dapat menggunakan image publik atau image kustom. Perhatikan bahwa beberapa image mungkin memerlukan driver unik atau memiliki proses penginstalan yang berada di luar cakupan dokumentasi Compute Engine. Untuk membantu mengidentifikasi driver yang sesuai untuk image OS Anda, lihat menginstal driver GPU.

Memeriksa kuota GPU

Untuk melindungi sistem dan pengguna Compute Engine, project baru memiliki kuota GPU global, yang membatasi jumlah total GPU yang dapat Anda buat di semua zona yang didukung. Untuk meninjau kuota GPU, lihat Kuota GPU.

Jika Anda memerlukan kuota GPU tambahan, minta penambahan kuota. Saat meminta kuota GPU, Anda harus meminta kuota untuk jenis GPU yang ingin dibuat di setiap region dan kuota global tambahan untuk jumlah total GPU dari semua jenis di semua zona.

Jika project Anda memiliki histori penagihan yang telah ditetapkan, project tersebut akan otomatis menerima kuota setelah Anda mengirimkan permintaan.

Kuota alokasi preemptible dan VM GPU

Instance yang menggunakan model penyediaan standar biasanya tidak dapat menggunakan kuota alokasi preemptible. Kuota yang dapat diakhiri ditujukan untuk workload sementara dan biasanya lebih tersedia. Jika project Anda tidak memiliki kuota preemptible, dan Anda tidak pernah memintanya, semua instance di project Anda akan menggunakan kuota alokasi standar.

Jika Anda meminta kuota alokasi preemptible, instance yang menggunakan model penyediaan standar harus memenuhi semua kriteria berikut untuk menggunakan kuota alokasi preemptible:

Saat menggunakan alokasi preemptible untuk workload GPU yang terikat waktu, Anda dapat memperoleh manfaat dari waktu berjalan tanpa gangguan dan ketersediaan kuota alokasi preemptible yang tinggi. Untuk mengetahui informasi selengkapnya, lihat Kuota preemptible.

Buat VM yang telah memasang GPU

Untuk membuat VM dengan memasang GPU, selesaikan langkah-langkah berikut:

  1. Membuat VM. Metode yang digunakan untuk membuat VM bergantung pada model GPU yang dipilih.

  2. Agar VM dapat menggunakan GPU, Anda harus menginstal driver GPU pada VM. Jika Anda mengaktifkan workstation virtual NVIDIA RTX (sebelumnya disebut NVIDIA GRID), instal driver untuk workstation virtual.

Apa langkah selanjutnya?