Máquinas de rede e GPU

As larguras de banda de rede mais elevadas podem melhorar o desempenho das suas instâncias de GPU para suportar cargas de trabalho distribuídas que estão a ser executadas no Compute Engine.

A largura de banda máxima da rede disponível para instâncias com GPUs anexadas no Compute Engine é a seguinte:

• Para instâncias otimizadas para o acelerador A4X, pode obter uma largura de banda máxima da rede de até 2000 Gbps, com base no tipo de máquina.
• Para instâncias otimizadas para aceleradores A4 e A3, pode obter uma largura de banda máxima da rede de até 3600 Gbps, com base no tipo de máquina.
• Para instâncias otimizadas para aceleradores G4, pode obter uma largura de banda de rede máxima de até 400 Gbps, com base no tipo de máquina.
• Para instâncias otimizadas para aceleradores A2 e G2, pode obter uma largura de banda de rede máxima de até 100 Gbps, com base no tipo de máquina.
• Para instâncias de uso geral N1 com GPUs P100 e P4 anexadas, está disponível uma largura de banda de rede máxima de 32 Gbps. Isto é semelhante à taxa máxima disponível para instâncias N1 que não têm GPUs anexadas. Para mais informações sobre as larguras de banda da rede, consulte a secção Taxa de dados de saída máxima.
• Para instâncias de uso geral N1 com GPUs T4 e V100 anexadas, pode obter uma largura de banda de rede máxima de até 100 Gbps, com base na combinação da GPU e da contagem de vCPUs.

Reveja a largura de banda da rede e a disposição da NIC

Use a secção seguinte para rever a disposição da rede e a velocidade da largura de banda para cada tipo de máquina com GPU.

Tipos de máquinas A4X

Os tipos de máquinas A4X têm Superchips NVIDIA GB200 anexados. Estes superchips têm GPUs NVIDIA B200.

Este tipo de máquina tem quatro placas de rede (NICs) NVIDIA ConnectX-7 (CX-7) e duas NICs Titanium. As quatro NICs CX-7 oferecem uma largura de banda de rede total de 1600 Gbps. Estas NICs CX-7 são dedicadas apenas à comunicação de GPU para GPU de elevada largura de banda e não podem ser usadas para outras necessidades de rede, como o acesso público à Internet. As duas NICs de titânio são NICs inteligentes que oferecem 400 Gbps adicionais de largura de banda da rede para requisitos de rede de uso geral. Em conjunto, as placas de interface de rede oferecem uma largura de banda de rede máxima total de 2000 Gbps para estas máquinas.

O A4X é uma plataforma de exaescala baseada na arquitetura de escala de rack NVIDIA GB200 NVL72 e apresenta a arquitetura NVIDIA Grace Hopper Superchip, que oferece GPUs NVIDIA Hopper e CPUs NVIDIA Grace ligadas com interconexão NVIDIA NVLink chip-to-chip (C2C) de elevada largura de banda.

A arquitetura de rede A4X usa um design alinhado com calhas, que é uma topologia em que a placa de rede correspondente de uma instância do Compute Engine está ligada à placa de rede de outra. As quatro NICs CX-7 em cada instância estão fisicamente isoladas numa topologia de rede alinhada de 4 vias, o que permite que o A4X seja expandido em grupos de 72 GPUs para milhares de GPUs num único cluster sem bloqueios. Esta abordagem integrada no hardware oferece um desempenho previsível e de baixa latência essencial para cargas de trabalho distribuídas em grande escala.

Para usar estas várias NICs, tem de criar 3 redes da nuvem privada virtual da seguinte forma:

• 2 redes VPC: cada gVNIC tem de ser anexado a uma rede VPC diferente
• 1 rede VPC com o perfil de rede RDMA: todas as quatro NICs CX-7 partilham a mesma rede VPC

Para configurar estas redes, consulte o artigo Crie redes VPC na documentação do AI Hypercomputer.

						Superchips NVIDIA GB200 Grace Blackwell
Tipo de máquina	Número de vCPUs1	Memória da instância (GB)	SSD local associado (GiB)	Contagem de NICs físicas	Largura de banda máxima da rede (Gbps)2	Número de GPUs	Memória GPU3 (GB HBM3e)
a4x-highgpu-4g	140	884	12 000	6	2000	4	720

Tipos de máquinas A4 e A3 Ultra

Os tipos de máquinas A4 têm GPUs NVIDIA B200 anexadas e os tipos de máquinas A3 Ultra têm GPUs NVIDIA H200 anexadas.

Estes tipos de máquinas oferecem oito placas de interface de rede (NICs) NVIDIA ConnectX-7 (CX-7) e duas NICs virtuais da Google (gVNIC). As oito NICs CX-7 oferecem uma largura de banda de rede total de 3200 Gbps. Estas NICs são dedicadas apenas à comunicação de GPU para GPU de largura de banda elevada e não podem ser usadas para outras necessidades de rede, como o acesso público à Internet. Conforme descrito no diagrama seguinte, cada NIC CX-7 está alinhada com uma GPU para otimizar o acesso à memória não uniforme (NUMA). Todas as oito GPUs podem comunicar rapidamente entre si através da ponte NVLink que as liga. As outras duas placas de rede gVNIC são NICs inteligentes que oferecem 400 Gbps adicionais de largura de banda da rede para requisitos de rede de uso geral. Em conjunto, as placas de interface de rede oferecem uma largura de banda de rede máxima total de 3600 Gbps para estas máquinas.

Para usar estas várias NICs, tem de criar 3 redes da nuvem privada virtual da seguinte forma:

• 2 redes VPC normais: cada gVNIC tem de ser anexada a uma rede VPC diferente
• 1 rede VPC RoCE: todas as oito NICs CX-7 partilham a mesma rede VPC RoCE

Para configurar estas redes, consulte o artigo Crie redes VPC na documentação do AI Hypercomputer.

Tipos de máquinas A3 Mega, High e Edge

Estes tipos de máquinas têm GPUs H100 anexadas. Cada um destes tipos de máquinas tem um número fixo de GPUs, um número de vCPUs e um tamanho de memória.

• VMs A3 com uma única NIC: para VMs A3 com 1 a 4 GPUs anexadas, só está disponível uma placa de rede (NIC) física.
• VMs A3 com várias NICs: para VMs A3 com 8 GPUs anexadas, estão disponíveis várias NICs físicas. Para estes tipos de máquinas A3, as NICs estão organizadas da seguinte forma num barramento Peripheral Component Interconnect Express (PCIe):
  • Para o tipo de máquina A3 Mega: está disponível uma disposição de NIC de 8+1. Com esta disposição, 8 NICs partilham o mesmo barramento PCIe e 1 NIC reside num barramento PCIe separado.
  • Para o tipo de máquina A3 High: está disponível uma disposição de NIC de 4+1. Com esta disposição, 4 NICs partilham o mesmo barramento PCIe e 1 NIC reside num barramento PCIe separado.
  • Para o tipo de máquina A3 Edge: está disponível uma disposição de NIC de 4+1. Com esta disposição, 4 NICs partilham o mesmo barramento PCIe e 1 NIC reside num barramento PCIe separado. Estas 5 NICs oferecem uma largura de banda de rede total de 400 Gbps para cada VM.

  As NICs que partilham o mesmo barramento PCIe têm um alinhamento de acesso à memória não uniforme (NUMA) de uma NIC por cada duas GPUs NVIDIA H100. Estas NICs são ideais para comunicação GPU a GPU dedicada de elevada largura de banda. A NIC física que reside num barramento PCIe separado é ideal para outras necessidades de rede. Para obter instruções sobre como configurar a rede para VMs A3 High e A3 Edge, consulte o artigo Configure redes MTU de frames jumbo.

Tipos de máquinas A2

Cada tipo de máquina A2 tem um número fixo de GPUs NVIDIA A100 de 40 GB ou NVIDIA A100 de 80 GB anexadas. Cada tipo de máquina também tem uma contagem de vCPU fixa e um tamanho de memória.

As máquinas da série A2 estão disponíveis em dois tipos:

• A2 Ultra: estes tipos de máquinas têm GPUs A100 de 80 GB e discos SSD locais anexados.
• A2 Standard: estes tipos de máquinas têm GPUs A100 de 40 GB anexadas.

Tipos de máquinas G4

Os tipos de máquinas otimizados para aceleradores G4 usam GPUs NVIDIA RTX PRO 6000 Blackwell Server Edition (nvidia-rtx-pro-6000) e são adequados para cargas de trabalho de simulação do NVIDIA Omniverse, aplicações com utilização intensiva de gráficos, transcodificação de vídeo e desktops virtuais. Os tipos de máquinas G4 também oferecem uma solução de baixo custo para realizar a inferência de anfitrião único e o ajuste de modelos em comparação com os tipos de máquinas da série A.

						GPUs NVIDIA RTX PRO 6000 anexadas
Tipo de máquina	Número de vCPUs1	Memória da instância (GB)	SSD Titanium máximo suportado (GiB)2	Contagem de NICs físicas	Largura de banda máxima da rede (Gbps)3	Número de GPUs	Memória da GPU4 (GB GDDR7)
g4-standard-48	48	180	1500	1	50	1	96
g4-standard-96	96	360	3000	1	100	2	192
g4-standard-192	192	720	6000	1	200	4	384
g4-standard-384	384	1440	12 000	2	400	8	768

Tipos de máquinas G2

Os tipos de máquinas G2 otimizados para aceleradores têm GPUs NVIDIA L4 anexadas e são ideais para inferência otimizada em função dos custos, cargas de trabalho de computação de alto desempenho e com utilização intensiva de gráficos.

Cada tipo de máquina G2 também tem uma memória predefinida e um intervalo de memória personalizado. O intervalo de memória personalizado define a quantidade de memória que pode atribuir à sua instância para cada tipo de máquina. Também pode adicionar discos SSD locais quando cria uma instância G2. Para saber o número de discos que pode anexar, consulte o artigo Tipos de máquinas que exigem que escolha um número de discos SSD locais.

Para aplicar as taxas de largura de banda da rede mais elevadas (50 Gbps ou superior) à maioria das instâncias de GPU, recomendamos que use a NIC virtual da Google (gVNIC). Para mais informações sobre como criar instâncias de GPU que usam gVNIC, consulte o artigo Criar instâncias de GPU que usam larguras de banda mais elevadas.

						GPUs NVIDIA L4 anexadas
Tipo de máquina	Número de vCPUs1	Memória da instância predefinida (GB)	Intervalo de memória da instância personalizado (GB)	SSD local máximo suportado (GiB)	Largura de banda máxima da rede (Gbps)2	Número de GPUs	Memória GPU3 (GB GDDR6)
g2-standard-4	4	16	16 a 32	375	10	1	24
g2-standard-8	8	32	32 a 54	375	16	1	24
g2-standard-12	12	48	48 a 54	375	16	1	24
g2-standard-16	16	64	54 a 64	375	32	1	24
g2-standard-24	24	96	96 a 108	750	32	2	48
g2-standard-32	32	128	96 a 128	375	32	1	24
g2-standard-48	48	192	192 a 216	1500	50	4	96
g2-standard-96	96	384	384 a 432	3000	100	8	192

Tipos de máquinas N1 + GPU

Para instâncias de uso geral N1 com GPUs T4 e V100 anexadas, pode obter uma largura de banda de rede máxima de até 100 Gbps, com base na combinação da GPU e da contagem de vCPUs. Para todas as outras instâncias de GPU N1, consulte a vista geral.

Reveja a secção seguinte para calcular a largura de banda máxima da rede disponível para as suas instâncias T4 e V100 com base no modelo de GPU, na vCPU e na quantidade de GPUs.

Definições de MTU e tipos de máquinas com GPU

Para maximizar a largura de banda da rede, defina um valor da unidade de transmissão máxima (MTU) mais elevado para as suas redes VPC. Os valores de MTU mais elevados aumentam o tamanho dos pacotes e reduzem a sobrecarga do cabeçalho do pacote, o que, por sua vez, aumenta a taxa de transferência de dados de carga útil.

Para tipos de máquinas com GPU, recomendamos as seguintes definições de MTU para as suas redes VPC.

Tipo de máquina com GPU	MTU recomendado (em bytes)
	Rede da VPC	Rede da VPC com perfis RDMA
A4X A4 A3 Ultra	8896	8896
A3 Mega A3 High A3 Edge	8244	N/A
A2 Standard A2 Ultra G4 G2 Tipos de máquinas N1 que suportam GPUs	8896	N/A

Ao definir o valor de MTU, tenha em atenção o seguinte:

• 8192 são duas páginas de 4 KB.
• Recomendamos 8244 nas VMs A3 Mega, A3 High e A3 Edge para NICs de GPU com a divisão de cabeçalhos ativada.
• Use um valor de 8896, salvo indicação em contrário na tabela.

Crie máquinas de GPU com largura de banda elevada

Para criar instâncias de GPU que usam larguras de banda de rede mais elevadas, use um dos seguintes métodos com base no tipo de máquina:

• Para criar instâncias A2, G2 e N1 que usam larguras de banda de rede mais elevadas, consulte o artigo Use larguras de banda de rede mais elevadas para instâncias A2, G2 e N1. Para testar ou validar a velocidade da largura de banda destas máquinas, pode usar o teste de referência. Para mais informações, consulte o artigo Verificar a largura de banda da rede.

• Para criar instâncias A3 Mega que usam larguras de banda de rede mais elevadas, consulte o artigo Implemente um cluster Slurm A3 Mega para preparação de ML. Para testar ou validar a velocidade da largura de banda destas máquinas, use um teste de referência seguindo os passos em Verificar a largura de banda da rede.

• Para instâncias A3 High e A3 Edge que usam larguras de banda de rede mais elevadas, consulte o artigo Crie uma VM A3 com o GPUDirect-TCPX ativado. Para testar ou validar a velocidade da largura de banda destas máquinas, pode usar o teste de referência. Para mais informações, consulte o artigo Verificar a largura de banda da rede.

• Para outros tipos de máquinas otimizados para aceleradores, não é necessária nenhuma ação para usar uma largura de banda de rede superior. A criação de uma instância, conforme documentado, já usa uma largura de banda de rede elevada. Para saber como criar instâncias para outros tipos de máquinas otimizados para aceleradores, consulte o artigo Crie uma VM com GPUs anexadas.

O que se segue?

• Saiba mais sobre as plataformas de GPU.
• Saiba como criar instâncias com GPUs anexadas.
• Saiba como usar uma largura de banda de rede mais elevada.
• Saiba mais acerca dos preços das GPUs.