Entender as GPUs

As unidades de processamento gráfico (GPUs) são aceleradores de hardware especializados projetados para processar cargas de trabalho massivamente paralelas simultaneamente. No Cloud de Confiance by S3NS, é possível anexar GPUs NVIDIA a instâncias do Compute Engine e bare metal para acelerar cargas de trabalho exigentes, como treinamento de inteligência artificial (IA) e machine learning (ML), computação de alto desempenho (HPC), renderização de gráficos e transcodificação de vídeo.

Neste documento, apresentamos uma visão geral das GPUs no Cloud de Confiance, incluindo modelos de GPU disponíveis, mapeamentos de séries de máquinas, características de desempenho, casos de uso ideais e considerações de preços.

O que é uma GPU?

Uma GPU é um processador massivamente paralelo que foi originalmente projetado para computação gráfica e evoluiu para um mecanismo de computação essencial para IA, ML e computação científica. Ao contrário das unidades de processamento central (CPUs), que contêm alguns núcleos potentes otimizados para processamento sequencial de thread único, as GPUs consistem em milhares de núcleos menores e altamente eficientes, projetados para realizar cálculos matemáticos simultaneamente em grandes conjuntos de dados.

Os principais componentes arquitetônicos de um sistema de GPU são os seguintes:

• Núcleos CUDA: unidades de processamento de vetores de uso geral que executam instruções em vários threads paralelos simultaneamente usando uma arquitetura de instrução única, vários threads (SIMT, na sigla em inglês). Os núcleos CUDA lidam com cálculos padrão de vetores e usar pontos flutuantes (como FP32 e FP64), além de renderização de gráficos gerais e simulações físicas.

• Tensor Cores: unidades de processamento de multiplicação e acumulação de matrizes (MMA, na sigla em inglês) especializadas, projetadas para acelerar os cálculos de redes neurais. Os Tensor Cores oferecem acelerações exponenciais para treinamento e inferência de IA em formatos de precisão numérica especializados, incluindo FP4, FP8, INT8, TF32 e FP16/BF16.

• Memória de alta largura de banda: memória dedicada no dispositivo que oferece até vários terabytes por segundo (TBps) de largura de banda, como memória de alta largura de banda (HBM) ou taxa de dados dupla de gráficos (GDDR). Essa alta capacidade de processamento mantém milhares de núcleos de GPU abastecidos com dados durante operações de matriz intensivas.

• Interconexões de alta velocidade (NVLink e NVSwitch): tecnologias de interconexão de alta largura de banda e baixa latência que conectam várias GPUs no mesmo servidor ou entre nós. O NVLink fornece comunicação direta entre GPUs que ignora o barramento PCIe mais lento, permitindo que clusters de GPUs funcionem como um pool de memória de acelerador único e coerente.

• Software de estação de trabalho virtual (NVIDIA RTX vWS): software empresarial que oferece aceleração gráfica virtualizada para estações de trabalho visuais remotas, design assistido por computador (CAD), criação de conteúdo digital e modelagem 3D.

Modelos de GPU e séries de máquinas

OCloud de Confiance oferece GPUs NVIDIA de várias gerações para atender a diferentes necessidades de carga de trabalho e orçamento. No Compute Engine, as GPUs estão disponíveis como séries de máquinas pré-configuradas otimizadas para aceleradores (séries A e G) ou como aceleradores anexáveis em séries de máquinas N1 de uso geral.

A tabela a seguir resume as especificações de hardware, os mapeamentos de séries de máquinas, a largura de banda de rede e os recursos de armazenamento dos modelos de GPU disponíveis no Compute Engine:

Características de desempenho da GPU

A escolha do modelo de GPU certo depende das características computacionais, dos requisitos de memória, dos formatos de precisão e das necessidades de escalonabilidade da carga de trabalho.

Casos de uso ideais e requisitos de carga de trabalho

As GPUs aceleram diversas cargas de trabalho computacionais em IA, computação visual e modelagem científica. Para entender os requisitos de arquitetura de cada categoria de carga de trabalho, selecione uma das seguintes guias:

Considerações sobre carga de trabalho

As GPUs geralmente não são adequadas para as seguintes cargas de trabalho:

• Lógica sequencial e de thread único: tarefas dominadas por ramificações de decisão sequenciais ou pipelines de execução em série têm melhor desempenho em CPUs com altas frequências de clock de núcleo único.
• Aplicativos da Web e microsserviços padrão: servidores da Web de uso geral, sistemas de gerenciamento de bancos de dados relacional (RDBMS) e back-ends de API padrão sem requisitos de IA ou processamento gráfico não se beneficiam da aceleração de GPU. Essas cargas de trabalho são hospedadas de maneira mais econômica em instâncias de CPU de uso geral ou otimizadas para computação.
• Cargas de trabalho otimizadas para XLA e frameworks compilados por gráficos: se os modelos de aprendizado profundo forem criados usando frameworks como JAX, PyTorch/XLA ou TensorFlow, eles poderão aproveitar as otimizações de gráficos orientadas por compilador (XLA). Se os modelos também se beneficiarem de matrizes sistólicas de matrizes personalizadas e comutação de circuito óptico, considere avaliar arquiteturas de aceleradores alternativas projetadas para esses paradigmas de execução específicos.

Considerações de preço

Os seguintes fatores determinam os preços de GPUs no Cloud de Confiance:

• O modelo específico da GPU.

• O número de GPUs anexadas.

• Recursos provisionados, como vCPUs, memória do sistema e armazenamento.

• O modelo de consumo selecionado.

As seções a seguir descrevem os modelos de consumo disponíveis e as opções de desconto para GPUs no Cloud de Confiance.

Modelos de consumo e compra

É possível provisionar instâncias de GPU usando várias opções de consumo, dependendo dos requisitos de disponibilidade e da tolerância de custo:

• Sob demanda: preços padrão de pagamento por uso (PAYG, na sigla em inglês) faturados por segundo sem compromisso de longo prazo. As instâncias por demanda oferecem flexibilidade completa de ciclo de vida para desenvolvimento, teste e cargas de trabalho de produção variáveis.

• VMs spot: instâncias de computação com grandes descontos (até 60% a 91% de desconto nas taxas sob demanda) que aproveitam o excedente de capacidade doCloud de Confiance . Como o Cloud de Confiance pode interromper ou excluir VMs spot para recuperar capacidade com um aviso de 30 segundos, essas instâncias de computação são ideais para treinamento de ML em lote tolerante a falhas, jobs em lote com check-point e processamento de dados distribuído.

• VMs flex-start: opção de programação dinâmica com tecnologia do Dynamic Workload Scheduler (DWS) que provisiona recursos de GPU em um período especificado para cargas de trabalho de duração fixa (até sete dias) com preços com desconto.

• Reservas:

  • Reservas: é possível reservar capacidade para GPUs padrão e usá-la imediatamente.
  • Reservas adiantadas (modo de calendário e Hipercomputador de IA): é possível solicitar a reserva de capacidade de GPU em cluster para uma data e hora futuras. Se o Cloud de Confiance aprovar sua solicitação, você poderá começar a usar a capacidade no horário especificado e manter o acesso exclusivo até o fim da reserva.

Opções de desconto

• Descontos por compromisso de uso (CUDs): oferecem descontos substanciais (até 55% para compromissos de três anos ou 37% para compromissos de um ano) em troca de um compromisso de manter um nível contínuo de uso de recursos em uma região específica. Para tipos de máquina otimizados para aceleradores e GPUs anexadas, os CUDs exigem a compra de compromissos baseados em recursos anexados a reservas.

• Descontos por uso prolongado (SUDs): descontos automáticos aplicados a instâncias de computação N1 e GPUs anexadas quando elas são executadas por mais de 25% de um mês de faturamento. As séries de máquinas otimizadas para aceleradores (séries A e G) não recebem SUDs.

Para ver os preços detalhados por hora e por mês em todas as regiões, consulte as páginas de preços de GPU e de instâncias de VM.

Para uma matriz de recursos detalhada da disponibilidade de opções de consumo em todos os tipos de máquina de acelerador, consulte Disponibilidade de opções de consumo por tipo de máquina.

A seguir

• Conheça as máquinas de GPU na família de máquinas com otimização para aceleradores.
• Saiba como criar uma VM com GPUs anexadas.
• Conheça a arquitetura de IA de supercomputação do Cloud de Confiancena visão geral do Hipercomputador de IA.