Visão geral das Advanced Compute Images

As cargas de trabalho de inteligência artificial (IA), machine learning (ML) e computação de alto desempenho (HPC) geralmente exigem a criação de uma imagem personalizada que inclua pacotes de software adicionais e seja ajustada para um desempenho ideal. Agora é possível usar as Imagens de computação avançada para configurar um ambiente otimizado para suas cargas de trabalho de IA/ML ou HPC.

As imagens de computação avançada fornecem uma pilha de imagens padronizada para infraestrutura de IA/ML e HPC. Essas imagens eliminam a necessidade de criar manualmente suas próprias imagens personalizadas para cargas de trabalho de IA/ML e HPC.

Vantagens

As Advanced Compute Images oferecem os seguintes benefícios:

• Instâncias de computação prontas para cargas de trabalho de IA/ML ou HPC por padrão. Não é necessário ajustar manualmente o desempenho, gerenciar reinicializações de instâncias, instalar agentes do Slurm ou acompanhar as atualizações mais recentes do Cloud de Confiance para cargas de trabalho de IA/ML ou HPC com acoplamento rígido.
• Desempenho consistente e reproduzível. A padronização de imagens oferece desempenho consistente e reproduzível no nível do aplicativo.

Recursos do Advanced Compute Images

As imagens de computação avançada contêm várias camadas de configurações para oferecer suporte à execução de cargas de trabalho de IA/ML e HPC.

• Configurações do sistema operacional: inclui desativar atualizações automáticas, definir ulimits otimizados para HPC, ajustar parâmetros sysctl do kernel e configurar configurações de segurança, como SELinux.
• Ajuste de rede: contém os scripts necessários para o ajuste de rede, como a ativação do serviço de várias filas.
• Cloud de Confiance by S3NS integration: instala e configura a Google Cloud CLI e o Agente de operações.
• Ferramentas de contêiner: instala e configura todos os softwares relacionados a contêineres, incluindo:
  • Docker
  • NVIDIA Container Toolkit (versão 1.19.0-1)
  • NVIDIA Enroot
  • NVIDIA Pyxis (em inglês)
• NVIDIA: instala as seguintes ferramentas:
  • Versão 13.0 do NVIDIA CUDA Toolkit,
  • NVIDIA Data Center GPU Manager (DCGM) versão 4
  • NVIDIA Fabric Manager
  • Plug-in NCCL/gIB

• MPI: instala as bibliotecas da interface de transmissão de mensagens (MPI). Instala o Open MPI em imagens baseadas no Ubuntu e no Rocky Linux. Para imagens baseadas no Rocky Linux, também é possível instalar e configurar a biblioteca Intel MPI usando um script pré-instalado:

  sudo google_install_intelmpi --impi_2021 --install_dir=PATH_INSTALL_MPI
  

• Slurm: instala os componentes principais necessários para criar um nó de cluster do Slurm, incluindo:

  • Binários do Slurm (versão 25.11)
  • Munge para autenticação
  • PMIx para gerenciamento de processos
  • Biblioteca JSON Web Token (JWT) (libjwt)

• Clientes do sistema de arquivos: instala ferramentas do lado do cliente para acessar vários sistemas de arquivos, como o Cloud Storage FUSE, utilitários NFS (nfs-utils) e o cliente Lustre.

• Ferramentas para desenvolvedores: instala cadeias de ferramentas e utilitários comuns de desenvolvimento e depuração, como:

  • gcc-toolset-12 ou gcc-toolset-11
  • htop
  • ltrace
  • strace
  • perf
  • Valgrind

• Gerenciamento de ambiente: instala e configura ferramentas de gerenciamento de ambiente, principalmente o Lmod, e configura os scripts de perfil necessários para disponibilizar o comando do módulo aos usuários.

• RDMA: instala drivers e pacotes de acesso direto à memória remota (RDMA) em imagens de CPU (baseadas no Rocky Linux), incluindo:

  • rdma-core e bibliotecas de desenvolvimento
  • libfabric
  • perftest
  • kmod-idpf-irdma: driver Intel Ethernet RDMA para tipos de máquinas otimizados para computação compatíveis
  • Utilitários infiniband-diags, libibverbs e librdmacm

Hardware e famílias de imagens compatíveis

O ACI oferece suporte a duas plataformas de hardware principais:

• CPU (HPC): oferece suporte a cargas de trabalho de CPU e tem as seguintes características:

  • São otimizados para cargas de trabalho com uso intensivo de computação
  • Suporte ao Rocky Linux 9
  • Vêm com drivers e utilitários RDMA para oferecer suporte ao Cloud RDMA
  • Vêm com bibliotecas MPI pré-integradas, incluindo Open MPI e Intel MPI configurável

• GPU (IA/ML/HPC): compatível com cargas de trabalho de GPU e com as seguintes características:

  • São otimizados para aceleradores NVIDIA
  • Suporte ao Ubuntu LTS 22.04 e ao Ubuntu LTS 24.04
  • Vêm com drivers CUDA e NVIDIA pré-integrados
  • Inclui drivers e utilitários RDMA para oferecer suporte a MRDMA para comunicação de GPU para GPU.
  • São adequados para cargas de trabalho de IA, ML ou HPC
  • As imagens padrão são instaladas quando você implanta blueprints de cluster Slurm para tipos de máquina A4X, A4 e A3 Ultra no Cluster Toolkit?

Pacotes pré-instalados (ou RPMs)

As imagens de computação avançada vêm com várias ferramentas, bibliotecas, drivers e pacotes pré-instalados. Para conferir uma lista do que está instalado em qualquer imagem, consulte o arquivo de manifesto dela.

O arquivo de manifesto pode ser encontrado em /usr/share/google/manifest.txt.

Fases do ciclo de vida e suporte da família de imagens

Todas as famílias de imagens de computação avançada seguem um ciclo de vida padronizado para garantir segurança, estabilidade e cronogramas de manutenção previsíveis. Durante cada fase do ciclo de vida, uma família de imagens tem um dos seguintes status de suporte:

• Compatível:
  • Recebe atualizações críticas de segurança e correções de bugs
  • Suporte do Cloud Customer Care.
  • Pode ser usado para criar instâncias de computação.
• Não compatível:
  • Não recebe mais atualizações críticas de segurança ou correções de bugs.
  • Nenhum recurso novo.
  • Indisponível pelo Cloud Customer Care.
  • Não pode ser usado para criar instâncias de computação.

O ciclo de vida de uma família de imagens avançadas de computação consiste em quatro fases:

Para informações sobre as datas exatas de fim do suporte de uma família de imagens, consulte Hardware e famílias de imagens compatíveis.

Preços

As imagens de computação avançada estão disponíveis sem custo adicional. Como as imagens avançadas de computação são executadas no Compute Engine, você pode receber cobranças pelos recursos do Compute Engine, como vCPUs, GPUs, TPUs, discos e memória. Para saber mais, consulte Preços do Compute Engine.

A seguir

• Criar uma instância com Advanced Compute Images

• Saiba como implantar blueprints de cluster do Slurm prontos para uso com imagens de computação avançada:

  • Criar um cluster do Slurm A4X
  • Criar um cluster A4 Slurm
  • Criar um cluster A3 Ultra Slurm