Crea una instancia de VM lista para HPC

Las cargas de trabajo de computación de alto rendimiento (HPC) con acoplamiento alto a menudo usan la interfaz de envío de mensajes (MPI) para comunicarse entre procesos e instancias de Compute Engine. Sin embargo,compilar tu propia imagen de SO que se ajuste para un rendimiento óptimo de la MPI requiere experiencia en sistemas, Cloud de Confiance by S3NS conocimiento y tiempo adicional de mantenimiento. Para configurar rápidamente un entorno optimizado para tus cargas de trabajo de HPC, usa una imagen de VM de HPC.

Una imagen de VM de HPC se basa en Rocky Linux 8 o Rocky Linux 9, y está optimizada para cargas de trabajo de HPC con acoplamiento alto. Incluye los parámetros de ajuste de red y kernel preconfigurados para crear instancias de procesamiento que alcancen un rendimiento MPI óptimo en Cloud de Confiance by S3NS.

Para obtener mejores resultados, implementa la imagen de VM de HPC en un tipo de máquina de la serie de máquinas optimizadas para procesamiento. Estos tipos de máquinas están diseñados para aplicaciones de HPC con acoplamiento alto. Para usar Cloud RDMA con H4D, debes usar la versión 20250917 o posterior de la imagen de VM de HPC Rocky 8.

Puedes crear una instancia de VM de HPC con cualquiera de los métodos disponibles para crear una instancia de procesamiento. También puedes usar el administrador de cargas de trabajo Slurm de SchedMD para implementar un clúster de HPC. La compatibilidad con Slurm aún no está disponible para las imágenes de VM de HPC basadas en Rocky Linux 9.

Antes de comenzar

• Si aún no lo hiciste, configura la autenticación. La autenticación verifica tu identidad para acceder a los servicios y las APIs de Cloud de Confiance by S3NS . Para ejecutar código o muestras desde un entorno de desarrollo local, puedes autenticarte en Compute Engine seleccionando una de las siguientes opciones:

  Selecciona la pestaña que corresponda a la forma en que planeas usar las muestras de esta página:

  Console

  Cuando usas la consola de Cloud de Confiance para acceder a los servicios y las APIs de Cloud de Confiance by S3NS , no necesitas configurar la autenticación.

  gcloud

  1. Instala Google Cloud CLI y, luego, accede a gcloud CLI con tu identidad federada. Después de acceder, inicializa Google Cloud CLI con el siguiente comando:

     gcloud init

• Configura una región y una zona predeterminadas.

Beneficios

La imagen de VM de HPC brinda los siguientes beneficios:

1. Instancias de procesamiento listas para usar cargas de trabajo de HPC de inmediato. No es necesario ajustar el rendimiento de forma manual, administrar los reinicios de instancias de procesamiento ni mantenerse actualizado con las últimas actualizaciones de Cloud de Confiance para cargas de trabajo de HPC con acoplamiento alto.
2. Optimizaciones de red para cargas de trabajo estrechamente vinculadas. Se incluyen optimizaciones que reducen la latencia de mensajes pequeños, lo que beneficia a las aplicaciones que dependen en gran medida de comunicaciones punto a punto y colectivas. Si usas la serie de máquinas H4D, la imagen de VM de HPC Rocky 8 contiene los controladores de RDMA de Cloud necesarios.
3. Optimizaciones para procesamiento de las cargas de trabajo de HPC. Se incluyen optimizaciones que reducen el Jitter del sistema, lo que hace que el alto rendimiento de un solo nodo sea más predecible.
4. Rendimiento coherente y reproducible. La estandarización de imagen de SO te brinda un rendimiento en el nivel de aplicación coherente y reproducible.
5. Compatibilidad mejorada con las aplicaciones. La alineación con los requisitos a nivel de nodo de la especificación de la plataforma Intel HPC habilita un alto grado de interoperabilidad entre los sistemas.

Funciones de la imagen de VM de HPC

La imagen de VM de HPC ofrece varias funciones diseñadas para optimizar el rendimiento de las cargas de trabajo de computación de alto rendimiento (HPC):

• Se inhabilitaron las actualizaciones automáticas
• Ajustes colectivos de MPI
• RPM preinstalados

Se inhabilitaron las actualizaciones automáticas

Las actualizaciones automáticas pueden tener un impacto negativo en el rendimiento de las cargas de trabajo de HPC. Cuando se usan imágenes de VM de HPC, se pueden inhabilitar las actualizaciones automáticas configurando la entrada de metadatos google_disable_automatic_updates en TRUE cuando se crea una instancia de procesamiento. La forma en que se establece esta entrada de metadatos durante la creación de la instancia depende de la herramienta que uses para crearla.

Por ejemplo, cuando uses el comando gcloud compute instances create para crear una instancia de procesamiento, proporciona el argumento --metadata. Para obtener más información, consulta Acerca de los metadatos de VMs.

La entrada de metadatos google_disable_automatic_updates está disponible de la siguiente manera:

• Imágenes de VM de HPC Rocky 9: Todas las versiones.
• Imágenes de VM de HPC Rocky 8: Solo en imágenes compiladas a partir del 12 de julio de 2024 La fecha de compilación (con el formato YYYYMMDD) se usa como número de versión al final de los nombres de las imágenes. Por ejemplo, una imagen de VM de HPC Rocky 8 compilada el 21 de julio de 2025 tiene el nombre hpc-rocky-linux-8-v20250721.

Si inhabilitas las actualizaciones automáticas en tus instancias de H4D, debes ejecutar el comando dnf update en la instancia con regularidad para mantener actualizado el controlador RDMA de Cloud.

Biblioteca de Intel MPI

Google recomienda que uses la secuencia de comandos google_install_intelmpi para instalar la biblioteca de la interfaz de envío de mensajes (MPI) antes de ejecutar trabajos de la MPI enCloud de Confiance by S3NS. Para obtener más información, consulta Usa Intel MPI 2021.

RPM preinstalados

La imagen de VM de HPC incluye los siguientes paquetes de RPM preinstalados:

• daos-client
• gcc-gfortran
• gcc-toolset-12
• Lmod
• dkms
• htop
• hwloc
• hwloc-devel
• infiniband-diags
• kernel-devel
• kmod-idpf-irdma
• libfabric
• librdmacm-utils
• libibverbs-utils
• libXt
• ltrace
• nfs-utils
• numactl
• numactl-devel
• papi
• pciutils
• pdsh
• perf
• perftest
• rdma-core
• redhat-lsb-core (solo para VM de HPC Rocky 8)
• redhat-lsb-cxx (solo para VM de HPC Rocky 8)
• rsh
• screen
• strace
• wget
• zsh
• Grupo de paquetes "Herramientas de desarrollo"

Guías de inicio rápido

En estos instructivos, se describen los pasos para configurar una instancia de VM optimizada para HPC. En los procedimientos, se describe cómo hacer lo siguiente:

• Crea una instancia de VM de HPC (sin configurar Cloud RDMA)
• Especifica una política de posición compacta cuando crees instancias de VM de HPC
• Crea una instancia de VM de HPC que use Cloud RDMA

No puedes agregar Cloud RDMA a una instancia de VM de HPC existente, por lo que debes seguir los pasos correspondientes cuando crees tu instancia.

Antes de comenzar

1. Si deseas usar Google Cloud CLI para esta guía de inicio rápido, primero debes instalar y, luego, inicializar Google Cloud CLI:
   • Descarga y, luego, instala Google Cloud CLI.
   • Inicializa Google Cloud CLI.
2. En la consola de Cloud de Confiance , en la página del selector de proyectos, selecciona o crea un proyecto deCloud de Confiance .

Crea una instancia de VM de HPC

Te recomendamos que uses la imagen de VM de HPC con tus cargas de trabajo de HPC en las siguientes series de máquinas:

Los tipos de máquinas de estas series tienen asignaciones fijas de núcleos virtuales a físicos y exponen la arquitectura de celdas de NUMA al SO invitado. Esto es fundamental para el rendimiento de las aplicaciones de HPC estrechamente vinculadas.

Si creas varias instancias de VM de HPC interconectadas, sigue las instrucciones en Crea instancias de VM de HPC con políticas de posición de compactación para lograr una latencia de red baja.

gcloud compute instances create INSTANCE_NAME \
        --zone=ZONE \
        --image-family=IMAGE_FAMILY \
        --image-project=cloud-hpc-image-public \
        --maintenance-policy=TERMINATE \
        --machine-type=MACHINE_TYPE

gcloud compute instances describe INSTANCE_NAME

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances

{
   "machineType":"zones/ZONE/machineTypes/MACHINE_TYPE",
   "name":"VM_NAME",
   "disks":[
      {
         "initializeParams":{
            "sourceImage":"projects/cloud-hpc-image-public/global/images/IMAGE"
         },
         "boot":true
      }
   ],
   "networkInterfaces":[
      {
         "network":"global/networks/NETWORK_NAME"
      }
   ]
}

Crea instancias de VM de HPC con políticas de posición compacta

Para reducir la latencia entre las instancias de procesamiento, crea una política de posición compacta. Una política de posición compacta garantiza que las instancias de la misma zona de disponibilidad se encuentren cerca unas de otras.

Si necesitas más instancias de procesamiento de las que caben en una sola política de posición compacta, divide tus instancias en varias políticas de posición. Usa la cantidad mínima de políticas de posición que se adapte a todas tus instancias.

Para crear instancias de VM de HPC que especifiquen una política de posición compacta, sigue estos pasos:

1. Crea una política de posición de compactación

2. Realiza una de las siguientes acciones:

   • Aplica la política de posición compacta a una instancia de VM de HPC existente.

   • Crea una instancia que especifique la política de posición compacta.

     Para crear una instancia que especifique una política de posición compacta, usa las marcas --maintenance-policy y --resource-policies con el comando gcloud compute instances create.

Crea una instancia de VM de HPC que use Cloud RDMA

Para crear una instancia de VM de HPC que use Cloud RDMA, primero debes crear al menos una red de nube privada virtual (VPC) normal y una red de VPC de Falcon. La red de VPC de Falcon usa un perfil de red de RDMA que habilita el tráfico de RDMA entre las instancias de procesamiento. Esta red es independiente de la red de VPC normal que transporta tráfico que no es de RDMA a otros servicios deCloud de Confiance o a Internet.

Para crear una instancia de VM de HPC que use Cloud RDMA, debes completar las siguientes tareas:

1. Identifica o crea al menos dos redes de VPC:

   • Una red de VPC normal para el tráfico que pasa por la interfaz de red de gVNIC
   • Una red de VPC de Falcon para el tráfico de red de RDMA

2. Crea una instancia de VM de HPC.

   1. Para la imagen de origen, usa una imagen de VM de HPC. Esta imagen incluye los controladores necesarios para Cloud RDMA.

   2. Durante la creación de la instancia, configura al menos dos interfaces de red: una que use el controlador de gVNIC y otra que use el controlador de IRDMA.

      Para obtener una explicación más completa, consulta Crea una instancia que use RDMA de Cloud.

3. Si planeas ejecutar aplicaciones de MPI en las instancias de VM de HPC que usan Cloud RDMA, sigue los pasos de configuración de MPI en Configura y escala aplicaciones de MPI en VMs de H4D con Cloud RDMA.

Accede a la instancia de VM de HPC

Después de crear la instancia de VM de HPC, esta se inicia de forma automática. Para acceder a la instancia, realiza una de las siguientes acciones:

gcloud compute ssh INSTANCE_NAME --zone ZONE

Realiza una limpieza

Para evitar que se apliquen cargos a tu cuenta de Cloud de Confiance by S3NS por los recursos que usaste en estas guías de inicio rápido, borra todas las instancias de VM de HPC y todos los recursos adjuntos que creaste.

gcloud compute instances delete INSTANCE_NAMES \
        --delete-disks=DELETE_DISK_TYPE \
        --zone=ZONE

Configura tu instancia de VM de HPC según las prácticas recomendadas

Para obtener un rendimiento mejor y más predecible para tu instancia de VM de HPC, te recomendamos que uses las siguientes prácticas recomendadas.

Inhabilitar el multiprocesamiento simultáneo

La imagen de VM de HPC habilita el multiprocesamiento simultáneo (SMT), también conocido como hipersubproceso en procesadores Intel de forma predeterminada. Inhabilitar SMT puede hacer que tu rendimiento sea más predecible y puede reducir los tiempos de trabajo.

Puedes usar los siguientes métodos para inhabilitar SMT:

• Para inhabilitar SMT mientras creas una instancia de VM de HPC nueva, sigue los pasos para crear una instancia de VM de HPC y, luego, incluye la marca
  --threads-per-core=1.

• Para inhabilitar SMT en una instancia de VM de HPC existente, conéctate a la instancia y ejecuta el siguiente comando desde el SO invitado:

  sudo google_mpi_tuning --nosmt
  

Para obtener más información, consulta Configura una cantidad de subprocesos por núcleo.

Configura gVNIC como el tipo de interfaz de red para las instancias C2 y C2D

La imagen de VM de HPC es compatible con Virtio-net y NIC virtual de Google (gVNIC) como interfaces de red virtuales. Usar gVNIC en lugar de Virtio-net puede mejorar la escalabilidad de las aplicaciones de la MPI, ya que proporciona un mejor rendimiento de la comunicación y una capacidad de procesamiento más alta. Además, gVNIC es un requisito previo para el rendimiento de red Tier_1 por VM, que proporciona un mayor ancho de banda y permite una mayor capacidad de procesamiento.

Si creas una instancia C2 o C2D nueva, de forma predeterminada, se usa Virtio-net para la interfaz de red virtual. Para usar gVNIC, sigue los pasos para crear una instancia de VM de HPC y realiza una de las siguientes acciones:

La imagen de VM de HPC incluye el controlador de gVNIC como compatibilidad con un módulo de kernel dinámico (DKMS). Para obtener más información, consulta Usa la NIC virtual de Google.

Desactiva las mitigaciones de Meltdown y Spectre

La imagen de VM de HPC habilita las mitigaciones de Meltdown y Spectre de forma predeterminada. En algunos casos, estas mitigaciones pueden provocar una degradación del rendimiento específica de la carga de trabajo. Para inhabilitar estas mitigaciones y, luego, incurrir en riesgos de seguridad asociados, haz lo siguiente:

1. Ejecuta el siguiente comando en tu instancia de HPC:

   sudo google_mpi_tuning --nomitigation
   

2. Reinicia la instancia.

Mejorar el rendimiento de la red

Para mejorar el rendimiento de la red de tu instancia, establece uno o más de los siguientes parámetros de configuración:

• Configura un ancho de banda mayor. Para configurar las redes de nivel 1 para las instancias de procesamiento C2 o C2D, usa el comando gcloud compute instances create para crear la instancia. Especifica la marca --network-performance-configs cuando crees la instancia. Para obtener más información, consulta Crea VMs y contenedores que usan redes Tier_1.

• Usa marcos jumbo A fin de ayudar a minimizar la sobrecarga de procesamiento para los paquetes de red, recomendamos usar un tamaño de paquete más grande. Debes validar los tamaños de paquetes más grandes para los detalles de tu aplicación. Para obtener información sobre el uso de marcos jumbo y los tamaños de paquetes, consulta la Guía de unidades de transmisión máxima.

• Aumenta los límites de memoria de TCP. Un mayor ancho de banda requiere una memoria TCP mayor. Sigue los pasos para aumentar la configuración de tcp_*mem.

• Usa el perfil de latencia de red. Evalúa la latencia de la aplicación y habilita el sondeo de disponibilidad que reduce la latencia en la ruta de recepción de la red. Ajusta la configuración de net.core.busy_poll y net.core.busy_read en /etc/sysctl.conf o usa tuned-adm.

Usa Intel MPI 2021

Google recomienda usar la biblioteca de Intel MPI 2021 para ejecutar trabajos de MPI enCloud de Confiance.

Las implementaciones de MPI tienen muchos parámetros de configuración internos que pueden afectar el rendimiento de la comunicación. Estos parámetros son relevantes en especial para la comunicación colectiva de la MPI, que te permite especificar algoritmos y parámetros de configuración que pueden tener un rendimiento muy diferente en el entorno de Cloud de Confiance.

La imagen de VM de HPC incluye una utilidad, google-hpc-compute, que instala las bibliotecas MPI recomendadas y usa proveedores de libfabric personalizados de Cloud de Confiance a través del transporte TCP.

Limitaciones

Los beneficios del ajuste varían entre las aplicaciones. En algunos casos, un ajuste en particular puede tener un efecto negativo en el rendimiento. Considera comparar tus aplicaciones para encontrar la configuración más eficiente o rentable.

Usa la utilidad google-hpc-compute para la compatibilidad con Intel MPI 2021

La secuencia de comandos google_install_intelmpi es la herramienta relacionada con la MPI en la utilidad google-hpc-compute. Ayuda a instalar y configurar Intel MPI.

La utilidad google-hpc-compute se incluye en la imagen de VM de HPC.

Instala Intel MPI 2021

Para instalar la biblioteca de Intel MPI mientras creas una instancia de VM de HPC nueva, sigue los pasos para crear una instancia de VM de HPC y, luego, incluye lo siguiente cuando crees la instancia de procesamiento:

--metadata=google_install_intelmpi="--impi_2021"

Para instalar la biblioteca en una instancia de VM de HPC existente, ejecuta el siguiente comando en esa instancia de procesamiento:

sudo google_install_intelmpi --impi_2021 --install_dir=PATH_INSTALL_MPI

La ubicación predeterminada para install_dir se establece en /opt/intel.

Biblioteca de Intel MPI y ajustes colectivos de MPI

La imagen de VM de HPC incluye ajustes genéricos que inhabilitan los hipersubprocesos, optimizan la memoria, modifican los límites de recursos del sistema y aplican perfiles personalizados ajustados. La secuencia de comandos google_hpc_firstrun está diseñada para ejecutarse automáticamente en el primer inicio de una instancia de VM de HPC.

Como parte de la utilidad google-hpc-firstrun, se ejecuta la secuencia de comandos mpi-tuning para mejorar el rendimiento y la latencia de la instancia de VM de HPC. Puedes ejecutar la secuencia de comandos mpi-tuning.sh para aplicar ajustes en instancias de procesamiento individuales.

Usage:
  Verify tuning steps: $ mpi_tuning OPTIONS --dryrun
  Apply tunings: $ mpi_tuning OPTIONS

Options:
  --hpcprofile       Install and apply google-hpc-compute tuned profile
                     Also applies: --tcpmem, --limits
  --hpcthroughput    Install and apply google-hpc-compute-throughput profile
                     Also applies: --tcpmem, --limits
  --tcpmem           Increase memory for TCP
  --limits           Change the system ulimits
  --nosmt            Disable simultaneous multi threading
  --nofirewalld      Disable firewalld
  --noselinux        Disable SE Linux (reboot required)
  --nomitigation     Disable CPU vulnerabilities mitigations (reboot required)
  --reboot           Reboot system after tunings if required
  --dryrun           Do not execute commands
  --verbose          Print verbose messages
  --help             Show help message

Crea una imagen personalizada con la imagen de VM de HPC

Para implementar las prácticas recomendadas a gran escala, crea una imagen de SO personalizada para usar con tus instancias de VM de HPC. Completa las siguientes tareas para crear una imagen personalizada que se usará cuando crees instancias de VM de HPC:

1. Crea una instancia de procesamiento que use la imagen de VM de HPC.

2. Personaliza la instancia de procesamiento con ajustes de la MPI.

3. Crea una imagen personalizada con el disco de arranque de la imagen de VM de HPC como el disco de origen. Puedes hacerlo con la consola deCloud de Confiance o Google Cloud CLI.

gcloud compute images create IMAGE_NAME \
         --source-disk=INSTANCE_NAME \
         --source-disk-zone=ZONE \
         --family=IMAGE_FAMILY \
         --storage-location=LOCATION

Precios

La imagen de VM de HPC está disponible sin costo adicional. Debido a que la imagen de VM de HPC se ejecuta en Compute Engine, es posible que se generen cargos por los recursos de Compute Engine, como las CPU virtuales, los discos y la memoria.

Para obtener más información, consulta los precios de Compute Engine.

¿Qué sigue?

• Revisa las prácticas recomendadas para ejecutar cargas de trabajo de HPC.
• Aprende a configurar y escalar aplicaciones de MPI en VMs H4D con Cloud RDMA enCloud de Confiance by S3NS.
• Obtén más información sobre la familia de máquinas optimizadas para procesamiento.
• Obtén más información para crear clústeres de HPC de H4D con capacidades de administración de clústeres mejoradas.
• Si tienes comentarios o necesitas asistencia, envía un correo electrónico a hpc-image-feedback@google.com.