Présentation des images de calcul avancé

Les charges de travail d'intelligence artificielle (IA), de machine learning (ML) et de calcul hautes performances (HPC) nécessitent souvent de créer une image personnalisée qui inclut des packages logiciels supplémentaires et qui est optimisée pour des performances optimales. Vous pouvez désormais utiliser Advanced Compute Images pour configurer un environnement optimisé pour vos charges de travail d'IA/ML ou HPC.

Advanced Compute Images fournit une pile d'images standardisée pour l'infrastructure d'IA/de ML et de HPC. Ces images peuvent vous éviter d'avoir à créer manuellement vos propres images personnalisées pour les charges de travail d'IA/de ML et HPC.

Avantages

Advanced Compute Images offre les avantages suivants :

• Instances de calcul prêtes par défaut pour les charges de travail d'IA/de ML ou HPC. Il n'est pas nécessaire d'ajuster manuellement les performances, de gérer les redémarrages d'instances, d'installer des agents Slurm ou de se tenir au courant des dernières mises à jour Cloud de Confiance pour les charges de travail d'IA/ML ou de HPC à couplage fort.
• Performances cohérentes et reproductibles. La standardisation des images vous offre des performances cohérentes et reproductibles au niveau de l'application.

Fonctionnalités d'Advanced Compute Images

Les images Advanced Compute Images contiennent plusieurs couches de configurations pour permettre l'exécution de charges de travail d'IA/de ML et HPC.

• Configurations du système d'exploitation : inclut la désactivation des mises à jour automatiques, la définition d'ulimits optimisés pour le HPC, l'ajustement des paramètres sysctl du noyau et la configuration des paramètres de sécurité tels que SELinux.
• Réglage du réseau : contient les scripts nécessaires au réglage du réseau, par exemple pour activer le service multi-file d'attente.
• IntégrationCloud de Confiance by S3NS  : installe et configure Google Cloud CLI et l'agent Ops.
• Outils de conteneur : installe et configure tous les logiciels liés aux conteneurs, y compris :
  • Docker
  • NVIDIA Container Toolkit (version 1.19.0-1)
  • NVIDIA Enroot
  • NVIDIA Pyxis
• NVIDIA : installe les outils suivants :
  • NVIDIA CUDA Toolkit version 13.0 ou 13.2
  • Pilotes NVIDIA (version 580 ou 595)
  • Gestionnaire de GPU du centre de données NVIDIA (DCGM) version 4
  • NVIDIA Fabric Manager
  • Plug-in NCCL/gIB

• MPI : installe les bibliothèques MPI (Message Passing Interface). Installe Open MPI sur les images basées sur Ubuntu et Rocky Linux. Pour les images basées sur Rocky Linux, vous pouvez également installer et configurer la bibliothèque Intel MPI à l'aide d'un script préinstallé :

  sudo google_install_intelmpi --impi_2021 --install_dir=PATH_INSTALL_MPI
  

• Slurm : installe les composants de base requis pour créer un nœud de cluster Slurm, y compris :

  • Binaires Slurm (version 25.11 ou 26.05)
  • Munge pour l'authentification
  • PMIx pour la gestion des processus
  • Bibliothèque de jetons Web JSON (JWT) (libjwt)

• Clients de système de fichiers : installe des outils côté client pour accéder à divers systèmes de fichiers, tels que Cloud Storage FUSE, les utilitaires NFS (nfs-utils) et le client Lustre.

• Outils pour les développeurs : installe des chaînes d'outils et des utilitaires de développement et de débogage courants, tels que :

  • gcc-toolset-12 ou gcc-toolset-11
  • htop
  • ltrace
  • strace
  • perf
  • Valgrind

• Gestion de l'environnement : installe et configure les outils de gestion de l'environnement, principalement Lmod, et configure les scripts de profil nécessaires pour mettre la commande du module à la disposition des utilisateurs.

• RDMA : installe les pilotes et les packages RDMA (Remote Direct Memory Access) sur les images de processeur (basées sur Rocky Linux), y compris :

  • rdma-core et bibliothèques de développement
  • libfabric
  • perftest
  • kmod-idpf-irdma : pilote Intel Ethernet RDMA pour les types de machines optimisés pour le calcul compatibles
  • Utilitaires infiniband-diags, libibverbs et librdmacm

Matériel et familles d'images compatibles

ACI est compatible avec trois plates-formes matérielles principales :

• CPU (HPC) : compatible avec les charges de travail CPU et présentant les caractéristiques suivantes :

  • Sont optimisés pour les charges de travail exigeantes en calcul
  • Compatibilité avec Rocky Linux 8 et Rocky Linux 9
  • Fourni avec les pilotes CUDA 13.2 et NVIDIA 595 préintégrés
  • Fournies avec des pilotes et des utilitaires RDMA pour prendre en charge Cloud RDMA
  • Sont fournies avec des bibliothèques MPI pré-intégrées, y compris Open MPI et Intel MPI configurable

• GPU (IA/ML/HPC) : compatible avec les charges de travail GPU et présentant les caractéristiques suivantes :

  • Sont optimisées pour les accélérateurs NVIDIA
  • Compatibilité avec Ubuntu LTS 22.04 et Ubuntu LTS 24.04
  • Ils sont fournis avec des pilotes CUDA et NVIDIA pré-intégrés.
  • Inclure des pilotes et des utilitaires RDMA pour prendre en charge MRDMA pour la communication GPU à GPU
  • Sont adaptées aux charges de travail d'IA, de ML ou de HPC
  • Sont les images par défaut installées lorsque vous déployez des plans de cluster Slurm pour les types de machines A4X, A4 et A3 Ultra dans Cluster Toolkit.

• TPU (IA/ML/HPC) : compatible avec les charges de travail TPU et présentant les caractéristiques suivantes :

  • Conçues pour être utilisées avec des instances TPU v7x
  • Optimisé pour les accélérateurs Cloud TPU de Google
  • Compatibilité avec Ubuntu LTS 24.04
  • Incluez les packages requis pour exécuter Docker, Cloud Storage FUSE, le client Lustre, gcloud CLI et l'agent Ops.

Advanced Compute Images pour les instances de GPU

Le tableau suivant répertorie les images Advanced Compute Images conçues pour les charges de travail qui utilisent des accélérateurs GPU.

Advanced Compute Images pour les instances de processeur

Le tableau suivant liste les images Advanced Compute Images conçues pour les charges de travail basées sur un processeur.

Advanced Compute Images pour les instances TPU

Le tableau suivant liste les images Advanced Compute Images conçues pour les charges de travail qui utilisent des accélérateurs TPU.

Packages (ou RPM) préinstallés

Les images Advanced Compute Images sont fournies avec divers outils, bibliothèques, pilotes et packages préinstallés. Pour afficher la liste des éléments installés pour une image, reportez-vous au fichier manifeste de cette image.

Vous trouverez le fichier manifeste à l'emplacement /usr/share/google/manifest.txt.

Phases du cycle de vie et assistance des familles d'images

Toutes les familles d'images Advanced Compute Images suivent un cycle de vie standardisé pour garantir la sécurité, la stabilité et des calendriers de maintenance prévisibles. À chaque phase du cycle de vie, une famille d'images présente l'un des états d'assistance suivants :

• Compatibilité :
  • Recevoir des mises à jour de sécurité critiques et des corrections de bugs
  • Pris en charge par Cloud Customer Care.
  • Peut être utilisé pour créer des instances de calcul.
• Non compatible :
  • Ne reçoit plus de mises à jour de sécurité critiques ni de corrections de bugs.
  • Aucune nouvelle fonctionnalité.
  • Non pris en charge par le service client.
  • Ne peut pas être utilisé pour créer des instances de calcul.

Le cycle de vie d'une famille d'images Advanced Compute Images se compose de quatre phases :

Pour en savoir plus sur les dates exactes de fin de compatibilité d'une famille d'images, consultez Matériel et familles d'images compatibles.

Tarifs

Les images Advanced Compute Images sont disponibles sans frais supplémentaires. Étant donné qu'Advanced Compute Images s'exécute sur Compute Engine, des frais peuvent vous être facturés pour les ressources Compute Engine telles que les vCPU, les GPU, les TPU, les disques et la mémoire. Pour en savoir plus, consultez la page Tarifs de Compute Engine.

Étapes suivantes

• Créer une instance avec Advanced Compute Images

• Découvrez comment déployer des plans de cluster Slurm clés en main avec Advanced Compute Images :

  • Créer un cluster Slurm A4X
  • Créer un cluster Slurm A4
  • Créer un cluster Slurm A3 Ultra