Membuat instance VM yang siap digunakan dengan HPC

Workload komputasi berperforma tinggi (HPC) yang dikaitkan secara erat sering kali menggunakan Message Passing Interface (MPI) untuk berkomunikasi antara proses dan instance Compute Engine. Namun, membuat image OS Anda sendiri yang disesuaikan untuk performa MPI optimal memerlukan keahlian sistem, Cloud de Confiance by S3NS pengetahuan, dan waktu tambahan untuk pemeliharaan. Untuk menyiapkan lingkungan yang dioptimalkan dengan cepat untuk workload HPC, gunakan image VM HPC.

Image VM HPC didasarkan pada Rocky Linux 8 atau Rocky Linux 9, dan dioptimalkan untuk workload HPC yang terkait erat. Solusi ini mencakup parameter penyesuaian jaringan dan kernel yang telah dikonfigurasi sebelumnya yang diperlukan untuk membuat instance komputasi yang mencapai performa MPI optimal di Cloud de Confiance by S3NS.

Untuk mendapatkan hasil terbaik, deploy image VM HPC pada jenis mesin dari seri mesin yang dioptimalkan untuk komputasi. Jenis mesin ini dirancang untuk aplikasi HPC yang terkait erat. Untuk menggunakan Cloud RDMA dengan H4D, Anda harus menggunakan image VM HPC Rocky 8 versi 20250917 atau yang lebih baru.

Anda dapat membuat instance VM HPC menggunakan salah satu metode yang tersedia untuk membuat instance komputasi. Anda juga dapat menggunakan pengelola workload Slurm SchedMD untuk men-deploy cluster HPC. Dukungan Slurm belum tersedia untuk image VM HPC berbasis Rocky Linux 9.

Sebelum memulai

• Siapkan autentikasi jika Anda belum melakukannya. Autentikasi memverifikasi identitas Anda untuk mengakses layanan Cloud de Confiance by S3NS dan API. Untuk menjalankan kode atau sampel dari lingkungan pengembangan lokal, Anda dapat melakukan autentikasi ke Compute Engine dengan memilih salah satu opsi berikut:

  Pilih tab untuk melihat bagaimana Anda berencana menggunakan contoh di halaman ini:

  Konsol

  Saat menggunakan konsol Cloud de Confiance untuk mengakses layanan Cloud de Confiance by S3NS dan API, Anda tidak perlu menyiapkan autentikasi.

  gcloud

  1. Instal Google Cloud CLI, lalu login ke gcloud CLI dengan identitas gabungan Anda. Setelah login, inisialisasi Google Cloud CLI dengan menjalankan perintah berikut:

     gcloud init

• Tetapkan region dan zona default.

Manfaat

Image VM HPC memberikan manfaat berikut:

1. Instance komputasi siap pakai untuk workload HPC. Tidak perlu menyesuaikan performa secara manual, mengelola mulai ulang instance komputasi, atau terus mendapatkan info terbaru tentang update Cloud de Confiance terbaru untuk workload HPC yang terkait erat.
2. Pengoptimalan jaringan untuk workload yang dikaitkan secara erat. Pengoptimalan yang mengurangi latensi untuk pesan kecil disertakan, yang menguntungkan aplikasi yang sangat bergantung pada komunikasi titik ke titik dan kolektif. Jika menggunakan seri mesin H4D, image HPC VM Rocky 8 berisi driver Cloud RDMA yang diperlukan.
3. Pengoptimalan komputasi untuk workload HPC. Pengoptimalan yang mengurangi jitter sistem akan disertakan, yang membuat performa tinggi node tunggal lebih mudah diprediksi.
4. Performa yang konsisten dan dapat direproduksi. Standardisasi image OS akan memberi Anda performa level aplikasi yang konsisten dan dapat direproduksi.
5. Peningkatan kompatibilitas aplikasi. Perataan dengan persyaratan level node dalam spesifikasi platform HPC Intel yang memungkinkan interoperabilitas antar-sistem tingkat tinggi.

Fitur image VM HPC

Image VM HPC menawarkan beberapa fitur yang dirancang untuk mengoptimalkan performa untuk workload komputasi berperforma tinggi (HPC):

• Update otomatis dinonaktifkan
• Penyesuaian kolektif MPI
• RPM yang telah terinstal sebelumnya

Update otomatis dinonaktifkan

Pembaruan otomatis dapat berdampak negatif pada performa beban kerja HPC. Update otomatis dapat dinonaktifkan saat menggunakan image VM HPC dengan menyetel entri metadata google_disable_automatic_updates ke TRUE saat membuat instance komputasi. Cara entri metadata ini ditetapkan selama pembuatan instance bergantung pada alat yang Anda gunakan untuk membuat instance.

Misalnya, saat menggunakan perintah gcloud compute instances create untuk membuat instance komputasi, berikan argumen --metadata. Untuk mengetahui informasi selengkapnya, lihat artikel Tentang metadata VM.

Entri metadata google_disable_automatic_updates tersedia sebagai berikut:

• Image Rocky 9 VM HPC: semua versi.
• Image VM HPC Rocky 8: hanya tersedia di image yang dibuat pada atau setelah 12 Juli 2024. Tanggal build (diformat sebagai YYYYMMDD) digunakan sebagai nomor versi di akhir nama image. Misalnya, image VM HPC Rocky 8 yang dibuat pada 21 Juli 2025 memiliki nama hpc-rocky-linux-8-v20250721.

Jika Anda menonaktifkan update otomatis pada instance H4D, Anda harus menjalankan perintah dnf update secara rutin pada instance untuk menjaga driver Cloud RDMA tetap terupdate.

Intel MPI Library

Google merekomendasikan agar Anda menggunakan skrip google_install_intelmpi untuk menginstal library message passing interface (MPI) sebelum menjalankan tugas MPI di Cloud de Confiance by S3NS. Untuk mengetahui informasi selengkapnya, lihat Menggunakan Intel MPI 2021.

RPM yang telah terinstal sebelumnya

Image VM HPC dilengkapi dengan paket RPM berikut yang telah diinstal sebelumnya:

• daos-client
• gcc-gfortran
• gcc-toolset-12
• Lmod
• dkms
• htop
• hwloc
• hwloc-devel
• infiniband-diags
• kernel-devel
• kmod-idpf-irdma
• libfabric
• librdmacm-utils
• libibverbs-utils
• libXt
• ltrace
• nfs-utils
• numactl
• numactl-devel
• papi
• pciutils
• pdsh
• perf
• perftest
• rdma-core
• redhat-lsb-core (Khusus HPC VM Rocky 8)
• redhat-lsb-cxx (Khusus HPC VM Rocky 8)
• rsh
• screen
• strace
• wget
• zsh
• Grup paket "Development Tools"

Panduan memulai

Tutorial ini menjelaskan langkah-langkah untuk menyiapkan instance VM yang dioptimalkan untuk HPC. Prosedur ini menjelaskan cara:

• Membuat instance VM HPC (tanpa mengonfigurasi Cloud RDMA)
• Menentukan kebijakan penempatan rapat saat membuat instance VM HPC
• Membuat instance VM HPC yang menggunakan Cloud RDMA

Anda tidak dapat menambahkan Cloud RDMA ke instance VM HPC yang sudah ada, jadi ikuti langkah-langkah yang sesuai saat membuat instance.

Sebelum memulai

1. Agar dapat menggunakan Google Cloud CLI untuk panduan memulai ini, Anda harus menginstal dan menginisialisasi Google Cloud CLI terlebih dahulu:
   • Download dan instal Google Cloud CLI.
   • Lakukan inisialisasi Google Cloud CLI.
2. Di konsol Cloud de Confiance , pada halaman pemilih project, pilih atau buat Cloud de Confiance project.

Membuat instance VM HPC

Sebaiknya gunakan image VM HPC dengan workload HPC Anda menggunakan seri mesin berikut:

Jenis mesin dalam seri ini memiliki pemetaan inti virtual ke fisik yang tetap dan mengekspos arsitektur sel NUMA ke OS tamu, yang keduanya penting untuk performa aplikasi HPC dengan pengaitan erat.

Jika Anda membuat beberapa instance VM HPC yang saling terhubung, ikuti petunjuk di membuat instance VM HPC dengan kebijakan penempatan yang ringkas untuk mencapai latensi jaringan yang rendah.

gcloud compute instances create INSTANCE_NAME \
        --zone=ZONE \
        --image-family=IMAGE_FAMILY \
        --image-project=cloud-hpc-image-public \
        --maintenance-policy=TERMINATE \
        --machine-type=MACHINE_TYPE

gcloud compute instances describe INSTANCE_NAME

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances

{
   "machineType":"zones/ZONE/machineTypes/MACHINE_TYPE",
   "name":"VM_NAME",
   "disks":[
      {
         "initializeParams":{
            "sourceImage":"projects/cloud-hpc-image-public/global/images/IMAGE"
         },
         "boot":true
      }
   ],
   "networkInterfaces":[
      {
         "network":"global/networks/NETWORK_NAME"
      }
   ]
}

Membuat instance VM HPC dengan kebijakan penempatan yang ringkas

Anda dapat mengurangi latensi antar-instance komputasi dengan membuat kebijakan penempatan rapat. Kebijakan penempatan rapat memastikan bahwa instance di zona ketersediaan yang sama berdekatan satu sama lain.

Jika Anda memerlukan lebih banyak instance komputasi daripada yang dapat dimuat dalam satu kebijakan penempatan ringkas, bagi instance Anda menjadi beberapa kebijakan penempatan. Gunakan jumlah minimum kebijakan penempatan yang dapat memuat semua instance Anda.

Untuk membuat instance VM HPC yang menentukan kebijakan penempatan yang ringkas, ikuti langkah-langkah berikut:

1. Buat kebijakan penempatan yang ringkas.

2. Lakukan salah satu hal berikut:

   • Terapkan kebijakan penempatan yang ringkas ke instance VM HPC yang ada.

   • Buat instance yang menentukan kebijakan penempatan yang ringkas.

     Untuk membuat instance yang menentukan kebijakan penempatan ringkas, gunakan flag --maintenance-policy dan --resource-policies dengan perintah gcloud compute instances create.

Membuat instance VM HPC yang menggunakan Cloud RDMA

Untuk membuat instance VM HPC yang menggunakan Cloud RDMA, Anda harus terlebih dahulu membuat setidaknya satu jaringan Virtual Private Cloud (VPC) reguler dan satu jaringan VPC Falcon. Jaringan VPC Falcon menggunakan profil jaringan RDMA yang memungkinkan traffic RDMA di antara instance komputasi. Jaringan ini terpisah dari jaringan VPC reguler yang membawa traffic non-RDMA ke layanan Cloud de Confiance lain atau internet.

Untuk membuat instance VM HPC yang menggunakan Cloud RDMA, tugas yang harus diselesaikan adalah sebagai berikut:

1. Identifikasi atau buat minimal dua jaringan VPC:

   • Jaringan VPC reguler untuk traffic yang melewati antarmuka jaringan gVNIC
   • Jaringan VPC Falcon untuk traffic jaringan RDMA

2. Buat instance VM HPC.

   1. Untuk image sumber, gunakan image VM HPC. Image ini mencakup driver yang diperlukan untuk Cloud RDMA.

   2. Selama pembuatan instance, konfigurasi setidaknya dua antarmuka jaringan—satu yang menggunakan driver gVNIC dan satu yang menggunakan driver IRDMA.

      Untuk penjelasan yang lebih lengkap, lihat Membuat instance yang menggunakan Cloud RDMA.

3. Jika Anda berencana menjalankan aplikasi MPI pada instance VM HPC yang menggunakan Cloud RDMA, ikuti langkah-langkah konfigurasi MPI di Menyiapkan dan menskalakan aplikasi MPI pada VM H4D dengan Cloud RDMA.

Mengakses instance VM HPC

Setelah dibuat, instance VM HPC akan otomatis dimulai. Untuk mengakses instance, lakukan salah satu hal berikut:

gcloud compute ssh INSTANCE_NAME --zone ZONE

Pembersihan

Agar tidak menimbulkan biaya pada akun Cloud de Confiance by S3NS Anda untuk resource yang digunakan dalam panduan memulai ini, hapus semua instance VM HPC dan semua resource terpasang yang Anda buat.

gcloud compute instances delete INSTANCE_NAMES \
        --delete-disks=DELETE_DISK_TYPE \
        --zone=ZONE

Mengonfigurasi instance VM HPC Anda sesuai dengan praktik terbaik

Untuk mendapatkan performa yang lebih baik dan lebih dapat diprediksi untuk instance VM HPC Anda, sebaiknya gunakan praktik terbaik berikut.

Menonaktifkan multithreading simultan

Secara default, image VM HPC memungkinkan multithreading simultan (SMT), yang juga dikenal sebagai Hyper-Threading pada prosesor Intel. Menonaktifkan SMT dapat membuat performa Anda lebih dapat diprediksi dan dapat mengurangi waktu tugas.

Anda dapat menggunakan metode berikut untuk menonaktifkan SMT:

• Untuk menonaktifkan SMT saat membuat instance VM HPC baru, ikuti langkah-langkah untuk membuat instance VM HPC dan sertakan flag
  --threads-per-core=1.

• Untuk menonaktifkan SMT di instance VM HPC yang ada, hubungkan ke instance dan jalankan perintah berikut dari OS tamu:

  sudo google_mpi_tuning --nosmt
  

Untuk informasi selengkapnya, lihat Menetapkan jumlah thread per core.

Mengonfigurasi gVNIC sebagai jenis antarmuka jaringan untuk instance C2 dan C2D

Image VM HPC mendukung Virtio-net dan Google Virtual NIC (gVNIC) sebagai antarmuka jaringan virtual. Menggunakan gVNIC sebagai pengganti Virtio-net dapat meningkatkan skalabilitas aplikasi MPI dengan memberikan performa komunikasi yang lebih baik dan throughput yang lebih tinggi. Selain itu, gVNIC merupakan prasyarat untuk performa jaringan Tier_1 per VM, yang menyediakan bandwidth lebih tinggi dan memungkinkan juga untuk throughput yang lebih tinggi.

Jika Anda membuat instance C2 atau C2D baru, maka secara default, Virtio-net akan digunakan untuk antarmuka jaringan virtual. Untuk menggunakan gVNIC, ikuti langkah-langkah untuk membuat instance VM HPC dan lakukan salah satu hal berikut:

Image VM HPC menyertakan driver gVNIC sebagai Dukungan Modul Kernel Dinamis (DKMS). Untuk mengetahui informasi selengkapnya, lihat Menggunakan NIC Virtual Google.

Menonaktifkan mitigasi Meltdown dan Spectre

Image VM HPC mengaktifkan mitigasi Meltdown dan Spectre secara default. Pada beberapa kasus, mitigasi ini dapat mengakibatkan penurunan performa spesifik beban kerja. Untuk menonaktifkan mitigasi ini dan menimbulkan risiko keamanan terkait, lakukan tindakan berikut:

1. Jalankan perintah berikut di instance HPC Anda:

   sudo google_mpi_tuning --nomitigation
   

2. Mulai ulang instance.

Meningkatkan performa jaringan

Untuk meningkatkan performa jaringan instance Anda, siapkan satu atau beberapa konfigurasi berikut:

• Konfigurasikan bandwidth yang lebih tinggi. Untuk mengonfigurasi jaringan Tier_1 untuk instance komputasi C2 atau C2D, gunakan perintah gcloud compute instances create untuk membuat instance. Tentukan flag --network-performance-configs saat membuat instance. Untuk mengetahui informasi selengkapnya, lihat Membuat instance dan container yang menggunakan jaringan Tingkat_1.

• Gunakan frame jumbo. Untuk membantu meminimalkan biaya tambahan pemrosesan untuk paket jaringan, sebaiknya gunakan ukuran paket yang lebih besar. Anda perlu memvalidasi ukuran paket yang lebih besar untuk spesifikasi aplikasi Anda. Untuk mengetahui informasi tentang penggunaan jumbo frame dan ukuran paket, lihat Panduan unit transmisi maksimum.

• Meningkatkan batas memori TCP. Bandwidth yang lebih tinggi memerlukan memori TCP yang lebih besar. Ikuti langkah-langkah untuk meningkatkan setelan tcp_*mem.

• Gunakan profil latensi jaringan. Evaluasi latensi aplikasi Anda dan aktifkan polling sibuk yang mengurangi latensi di jalur penerimaan jaringan. Sesuaikan setelan net.core.busy_poll dan net.core.busy_read di /etc/sysctl.conf, atau gunakan tuned-adm.

Menggunakan Intel MPI 2021

Google merekomendasikan penggunaan library Intel MPI 2021 untuk menjalankan tugas MPI di Cloud de Confiance.

Implementasi MPI memiliki banyak parameter konfigurasi internal yang dapat memengaruhi performa komunikasi. Parameter ini sangat relevan untuk komunikasi MPI Collective, yang memungkinkan Anda menentukan algoritma dan parameter konfigurasi yang dapat berperforma sangat berbeda di lingkungan Cloud de Confiance Google Cloud.

Image VM HPC menyertakan utilitas, google-hpc-compute, yang menginstal library MPI yang direkomendasikan dan menggunakan penyedia libfabric yang disesuaikan Cloud de Confiance melalui transport TCP.

Batasan

Manfaat tuning akan bervariasi untuk setiap aplikasi. Dalam beberapa kasus, penyesuaian tertentu mungkin berdampak negatif terhadap performa. Sebaiknya tolok ukur aplikasi Anda untuk menemukan konfigurasi yang paling efisien atau hemat biaya.

Menggunakan utilitas google-hpc-compute untuk dukungan Intel MPI 2021

Skrip google_install_intelmpi adalah alat terkait MPI dalam utilitas google-hpc-compute. Codelab ini membantu menginstal dan mengonfigurasi Intel MPI.

Utilitas google-hpc-compute disertakan dalam image VM HPC.

Menginstal Intel MPI 2021

Untuk menginstal library Intel MPI saat membuat instance VM HPC baru, ikuti langkah-langkah untuk membuat instance VM HPC dan sertakan baris berikut saat membuat instance komputasi:

--metadata=google_install_intelmpi="--impi_2021"

Untuk menginstal library di instance VM HPC yang ada, jalankan perintah berikut di instance komputasi tersebut:

sudo google_install_intelmpi --impi_2021 --install_dir=PATH_INSTALL_MPI

Lokasi default untuk install_dir ditetapkan ke /opt/intel.

Library Intel MPI dan penyesuaian kolektif MPI

Image VM HPC mencakup penyesuaian umum yang menonaktifkan hyperthreading, mengoptimalkan memori, mengubah batas resource sistem, dan menerapkan profil yang disesuaikan. Skrip google_hpc_firstrun dirancang untuk dijalankan secara otomatis pada booting pertama instance VM HPC.

Sebagai bagian dari utilitas google-hpc-firstrun, skrip mpi-tuning dijalankan untuk meningkatkan performa dan latensi instance VM HPC. Anda dapat menjalankan skrip mpi-tuning.sh untuk menerapkan penyesuaian pada setiap instance komputasi.

Usage:
  Verify tuning steps: $ mpi_tuning OPTIONS --dryrun
  Apply tunings: $ mpi_tuning OPTIONS

Options:
  --hpcprofile       Install and apply google-hpc-compute tuned profile
                     Also applies: --tcpmem, --limits
  --hpcthroughput    Install and apply google-hpc-compute-throughput profile
                     Also applies: --tcpmem, --limits
  --tcpmem           Increase memory for TCP
  --limits           Change the system ulimits
  --nosmt            Disable simultaneous multi threading
  --nofirewalld      Disable firewalld
  --noselinux        Disable SE Linux (reboot required)
  --nomitigation     Disable CPU vulnerabilities mitigations (reboot required)
  --reboot           Reboot system after tunings if required
  --dryrun           Do not execute commands
  --verbose          Print verbose messages
  --help             Show help message

Membuat image kustom menggunakan image VM HPC

Untuk menerapkan praktik terbaik dalam skala besar, buat image OS kustom untuk digunakan dengan instance VM HPC Anda. Selesaikan tugas berikut untuk membuat image kustom yang akan digunakan saat membuat instance VM HPC:

1. Buat instance komputasi yang menggunakan image VM HPC.

2. Menyesuaikan instance compute dengan penyesuaian MPI.

3. Buat image kustom menggunakan boot disk image VM HPC Anda sebagai disk sumber. Anda dapat melakukannya menggunakan konsolCloud de Confiance atau Google Cloud CLI.

gcloud compute images create IMAGE_NAME \
         --source-disk=INSTANCE_NAME \
         --source-disk-zone=ZONE \
         --family=IMAGE_FAMILY \
         --storage-location=LOCATION

Harga

Image VM HPC tersedia tanpa biaya tambahan. Karena image VM HPC berjalan di Compute Engine, Anda mungkin dikenai biaya untuk resource Compute Engine seperti vCPU, disk, dan memori.

Untuk mempelajari lebih lanjut, lihat Harga Compute Engine.

Langkah berikutnya

• Tinjau Praktik terbaik untuk menjalankan workload HPC.
• Pelajari cara Menyiapkan dan menskalakan aplikasi MPI di VM H4D dengan Cloud RDMA di Cloud de Confiance by S3NS.
• Pelajari lebih lanjut kelompok mesin yang dioptimalkan untuk komputasi.
• Pelajari cara membuat cluster HPC H4D dengan kemampuan pengelolaan cluster yang ditingkatkan.
• Jika Anda memiliki masukan atau memerlukan dukungan, kirim email ke hpc-image-feedback@google.com.