Visão geral das Advanced Compute Images

As cargas de trabalho de inteligência artificial (IA), machine learning (ML) e computação de alto desempenho (HPC) geralmente exigem a criação de uma imagem personalizada que inclua pacotes de software adicionais e seja ajustada para um desempenho ideal. Agora é possível usar as Imagens de Computação Avançada para configurar um ambiente otimizado para suas cargas de trabalho de IA/ML ou HPC.

As Advanced Compute Images fornecem uma pilha de imagens padronizada para infraestrutura de IA/ML e HPC. Essas imagens podem eliminar a necessidade de criar manualmente suas próprias imagens personalizadas para cargas de trabalho de IA/ML e HPC.

Vantagens

As Advanced Compute Images oferecem os seguintes benefícios:

• Instâncias de computação prontas para cargas de trabalho de IA/ML ou HPC por padrão. Não é necessário ajustar manualmente o desempenho, gerenciar reinicializações de instâncias, instalar agentes do Slurm nem acompanhar as atualizações mais recentes do Cloud de Confiance para cargas de trabalho de IA/ML ou HPC com acoplamento rígido.
• Desempenho consistente e reproduzível. A padronização de imagens oferece desempenho consistente e reproduzível no nível do aplicativo.

Recursos das Advanced Compute Images

As Advanced Compute Images contêm várias camadas de configurações para oferecer suporte à execução de cargas de trabalho de IA/ML e HPC.

• Configurações do sistema operacional: inclui desativar atualizações automáticas, definir ulimits otimizados para HPC, ajustar parâmetros sysctl do kernel e definir configurações de segurança, como SELinux.
• Ajuste de rede: contém os scripts necessários para o ajuste de rede, como a ativação do serviço de várias filas.
• Integração doCloud de Confiance by S3NS : instala e configura a Google Cloud CLI e o Agente de operações.
• Ferramentas de contêiner: instala e configura todos os softwares relacionados a contêineres, incluindo:
  • Docker
  • NVIDIA Container Toolkit (versão 1.19.0-1)
  • NVIDIA Enroot
  • NVIDIA Pyxis
• NVIDIA: instala as seguintes ferramentas:
  • Kit de ferramentas NVIDIA CUDA versão 13.0 ou 13.2
  • Drivers NVIDIA (versão 580 ou 595)
  • NVIDIA Data Center GPU Manager (DCGM) versão 4
  • NVIDIA Fabric Manager
  • Plug-in NCCL/gIB

• MPI: instala as bibliotecas da interface de transmissão de mensagens (MPI, na sigla em inglês). Instala o Open MPI em imagens baseadas no Ubuntu e no Rocky Linux. Para imagens baseadas no Rocky Linux, também é possível instalar e configurar a biblioteca Intel MPI usando um script pré-instalado:

  sudo google_install_intelmpi --impi_2021 --install_dir=PATH_INSTALL_MPI
  

• Slurm: instala os componentes principais necessários para criar um nó de cluster do Slurm, incluindo:

  • Binários do Slurm (versão 25.11 ou 26.05)
  • Munge para autenticação
  • PMIx para gerenciamento de processos
  • Biblioteca JSON Web Token (JWT) (libjwt)

• Clientes do sistema de arquivos: instala ferramentas do lado do cliente para acessar vários sistemas de arquivos, como o Cloud Storage FUSE, utilitários NFS (nfs-utils) e o cliente Lustre.

• Ferramentas para desenvolvedores: instala utilitários e cadeias de ferramentas comuns de desenvolvimento e depuração, como:

  • gcc-toolset-12 ou gcc-toolset-11
  • htop
  • ltrace
  • strace
  • perf
  • Valgrind

• Gerenciamento de ambiente: instala e configura ferramentas de gerenciamento de ambiente, principalmente o Lmod, e define os scripts de perfil necessários para disponibilizar o comando do módulo aos usuários.

• RDMA: instala drivers e pacotes de acesso direto à memória remota (RDMA, na sigla em inglês) em imagens de CPU (baseadas no Rocky Linux), incluindo:

  • rdma-core e bibliotecas de desenvolvimento
  • libfabric
  • perftest
  • kmod-idpf-irdma: driver Intel Ethernet RDMA para tipos de máquina otimizados para computação compatíveis
  • Utilitários infiniband-diags, libibverbs e librdmacm

Hardware e famílias de imagens compatíveis

A ACI oferece suporte a duas plataformas de hardware principais:

• CPU (HPC): dão suporte a cargas de trabalho de CPU e têm as seguintes características:

  • São otimizadas para cargas de trabalho com uso intenso de computação
  • Suporte ao Rocky Linux 8 e ao Rocky Linux 9
  • Vêm com drivers CUDA 13.2 e NVIDIA 595 pré-integrados
  • Vêm com drivers e utilitários RDMA para oferecer suporte ao Cloud RDMA
  • Vêm com bibliotecas MPI pré-integradas, incluindo Open MPI e Intel MPI configurável

• GPU (IA/ML/HPC): dão suporte a cargas de trabalho de GPU e têm as seguintes características:

  • São otimizados para aceleradores NVIDIA
  • Suporte ao Ubuntu LTS 22.04 e ao Ubuntu LTS 24.04
  • Vêm com drivers CUDA e NVIDIA pré-integrados
  • Incluir drivers e utilitários RDMA para oferecer suporte ao MRDMA para comunicação de GPU para GPU
  • São adequadas para cargas de trabalho de IA, ML ou HPC
  • São as imagens padrão instaladas quando você implanta blueprints de cluster do Slurm para os tipos de máquina A4X, A4 e A3 Ultra no Cluster Toolkit.

Pacotes pré-instalados (ou RPMs)

As Advanced Compute Images vêm com uma variedade de ferramentas, bibliotecas, drivers e pacotes pré-instalados. Para ver uma lista do que está instalado em qualquer imagem, consulte o arquivo de manifesto dela.

O arquivo de manifesto está em /usr/share/google/manifest.txt.

Fases do ciclo de vida e suporte da família de imagens

Todas as famílias de Advanced Compute Images seguem um ciclo de vida padronizado para garantir segurança, estabilidade e cronogramas de manutenção previsíveis. Durante cada fase do ciclo de vida, uma família de imagens tem um dos seguintes status de suporte:

• Compatível:
  • Recebe atualizações críticas de segurança e correções de bugs
  • Suporte pelo Cloud Customer Care.
  • Pode ser usado para criar instâncias de computação.
• Não compatível:
  • Não recebe mais atualizações de segurança críticas ou correções de bugs.
  • Nenhum recurso novo.
  • Não há suporte pelo Cloud Customer Care.
  • Não pode ser usado para criar instâncias de computação.

O ciclo de vida de uma família de Advanced Compute Images consiste em quatro fases:

Para informações sobre as datas exatas de fim do suporte para uma família de imagens, consulte Hardware e famílias de imagens compatíveis.

Preços

As Advanced Compute Images estão disponíveis sem custo financeiro adicional. Como as Advanced Compute Images são executadas no Compute Engine, você poderá receber cobranças pelos recursos do Compute Engine, como vCPUs, GPUs, TPUs, discos e memória. Para saber mais, consulte Preços do Compute Engine.

A seguir

• Criar uma instância com Advanced Compute Images

• Saiba como implantar blueprints de cluster do Slurm prontos para uso com as Advanced Compute Images:

  • Criar um cluster do Slurm A4X
  • Criar um cluster do Slurm A4
  • Criar um cluster do Slurm A3 Ultra