Larguras de banda de rede mais altas podem melhorar o desempenho das instâncias de GPU para oferecer suporte a cargas de trabalho distribuídas em execução no Compute Engine.
A largura de banda de rede máxima disponível para instâncias com GPUs anexadas no Compute Engine é a seguinte:
- Para instâncias otimizadas para aceleradores A4 e A3, é possível ter uma largura de banda de rede máxima de até 3.600 Gbps, com base no tipo de máquina.
- Para instâncias otimizadas para aceleradores A2 e G2, é possível ter uma largura de banda de rede máxima de até 100 Gbps, com base no tipo de máquina.
- Para instâncias de uso geral N1 com GPUs P100 e P4 conectadas, está disponível uma largura de banda de rede máxima de 32 Gbps. Isso é semelhante à taxa máxima disponível para instâncias N1 que não têm GPUs anexadas. Para mais informações sobre larguras de banda de rede, consulte taxa de dados de saída máxima.
- Para instâncias de uso geral N1 com GPUs T4 e V100 anexadas, é possível ter uma largura de banda de rede máxima de até 100 Gbps, com base na combinação da contagem de GPUs e vCPUs.
Analise a largura de banda da rede e a disposição da NIC
Use a seção a seguir para analisar a organização da rede e a velocidade da largura de banda para cada tipo de máquina de GPU.
Tipos de máquina A4 e A3 Ultra
Os tipos de máquina A4 têm GPUs NVIDIA B200 anexadas, e os tipos de máquina A3 Ultra têm GPUs NVIDIA H200 anexadas.
Esses tipos de máquina oferecem oito placas de interface de rede (NICs) NVIDIA ConnectX-7 (CX7) e duas NICs virtuais do Google (gVNIC). As oito NICs CX7 oferecem uma largura de banda de rede total de 3.200 Gbps. Essas NICs são dedicadas apenas à comunicação de GPU para GPU de alta largura de banda e não podem ser usadas para outras necessidades de rede, como acesso à Internet pública. Conforme descrito no diagrama a seguir, cada NIC CX7 está alinhada a uma GPU para otimizar o acesso à memória não uniforme (NUMA). Todas as oito GPUs podem se comunicar rapidamente usando a ponte NVLink que as conecta. As outras duas placas de interface de rede gVNIC são NICs inteligentes que fornecem mais 400 Gbps de largura de banda de rede para requisitos de rede de uso geral. Juntas, as placas de interface de rede fornecem uma largura de banda total máxima de 3.600 Gbps para essas máquinas.
Para usar essas várias NICs, crie três redes de nuvem privada virtual da seguinte forma:
- Duas redes VPC: cada placa de rede gVNIC precisa ser anexada a uma rede VPC diferente.
- Uma rede VPC com o perfil de rede RDMA: todas as oito NICs CX7 compartilham a mesma rede VPC.
Para configurar essas redes, consulte Criar redes VPC na documentação do AI Hypercomputer.
VMs A4
| GPUs NVIDIA Blackwell anexadas | |||||||
|---|---|---|---|---|---|---|---|
| Tipo de máquina | Contagem de vCPU* | Memória da instância (GB) | SSD local anexado (GiB) | Contagem de NICs físicas | Largura de banda máxima da rede (Gbps)† | Contagem de GPUs | Memória da GPU‡ (GB HBM3e) |
a4-highgpu-8g |
224 | 3.968 | 12.000 | 10 | 3.600 | 8 | 1,440 |
*Uma vCPU é implementada como um único hiperthread de hardware em uma
das plataformas de CPU disponíveis.
†A largura de banda de saída máxima não pode exceder o número informado. A largura
de banda de saída real depende do endereço IP de destino e de outros fatores.
Para mais informações sobre largura de banda de rede, consulte
Largura de banda de rede.
‡A memória da GPU é a memória em um dispositivo GPU que pode ser usada para
armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.
VMs A3 Ultra
| GPUs NVIDIA H200 anexadas | |||||||
|---|---|---|---|---|---|---|---|
| Tipo de máquina | Contagem de vCPU* | Memória da instância (GB) | SSD local anexado (GiB) | Contagem de NICs físicas | Largura de banda máxima da rede (Gbps)† | Contagem de GPUs | Memória da GPU‡ (GB HBM3e) |
a3-ultragpu-8g |
224 | 2.952 | 12.000 | 10 | 3.600 | 8 | 1128 |
*Uma vCPU é implementada como um único hiperthread de hardware em uma
das plataformas de CPU disponíveis.
†A largura de banda de saída máxima não pode exceder o número informado. A largura
de banda de saída real depende do endereço IP de destino e de outros fatores.
Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
‡A memória da GPU é a memória em um dispositivo GPU que pode ser usada para
armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.
Tipos de máquina A3 Mega, High e Edge
Esses tipos de máquina têm GPUs H100 anexadas. Cada um desses tipos de máquina tem uma contagem de GPU, uma contagem de vCPU e um tamanho de memória fixos.
- VMs A3 com uma única NIC: para VMs A3 com 1 a 4 GPUs anexadas, apenas uma placa de interface de rede (NIC) física está disponível.
- VMs A3 com várias NICs: para VMs A3 com oito GPUs anexadas, várias NICs físicas estão disponíveis. Para esses tipos de máquina A3, as NICs são organizadas da seguinte maneira em um barramento Peripheral Component Interconnect Express (PCIe):
- Para o tipo de máquina A3 Mega: um arranjo de NIC de 8+1 está disponível. Com esse arranjo, oito NICs compartilham o mesmo barramento PCIe, e uma NIC reside em um barramento PCIe separado.
- Para o tipo de máquina A3 High: um arranjo de NIC de 4+1 está disponível. Com esse arranjo, quatro NICs compartilham o mesmo barramento PCIe, e uma NIC reside em um barramento PCIe separado.
- Para o tipo de máquina A3 Edge: um arranjo de NIC de 4+1 está disponível. Com esse arranjo, quatro NICs compartilham o mesmo barramento PCIe, e uma NIC reside em um barramento PCIe separado. Essas cinco NICs fornecem uma largura de banda de rede total de 400 Gbps para cada VM.
As NICs que compartilham o mesmo barramento PCIe têm um alinhamento de acesso à memória não uniforme (NUMA) de um NIC por duas GPUs NVIDIA H100. Essas NICs são ideais para comunicação dedicada de GPU para GPU de alta largura de banda. A NIC física que reside em um barramento PCIe separado é ideal para outras necessidades de rede. Para instruções sobre como configurar a rede para VMs A3 High e A3 Edge, consulte Configurar redes MTU de frame jumbo.
A3 Mega
| GPUs NVIDIA H100 anexadas | |||||||
|---|---|---|---|---|---|---|---|
| Tipo de máquina | Contagem de vCPU* | Memória da instância (GB) | SSD local anexado (GiB) | Contagem de NICs físicas | Largura de banda máxima da rede (Gbps)† | Contagem de GPUs | Memória da GPU‡ (GB HBM3) |
a3-megagpu-8g |
208 | 1.872 | 6.000 | 9 | 1.800 | 8 | 640 |
A3 Alto
| GPUs NVIDIA H100 anexadas | |||||||
|---|---|---|---|---|---|---|---|
| Tipo de máquina | Contagem de vCPU* | Memória da instância (GB) | SSD local anexado (GiB) | Contagem de NICs físicas | Largura de banda máxima da rede (Gbps)† | Contagem de GPUs | Memória da GPU‡ (GB HBM3) |
a3-highgpu-1g |
26 | 234 | 750 | 1 | 25 | 1 | 80 |
a3-highgpu-2g |
52 | 468 | 1.500 | 1 | 50 | 2 | 160 |
a3-highgpu-4g |
104 | 936 | 3.000 | 1 | 100 | 4 | 320 |
a3-highgpu-8g |
208 | 1.872 | 6.000 | 5 | 1.000 | 8 | 640 |
A3 Edge
| GPUs NVIDIA H100 anexadas | |||||||
|---|---|---|---|---|---|---|---|
| Tipo de máquina | Contagem de vCPU* | Memória da instância (GB) | SSD local anexado (GiB) | Contagem de NICs físicas | Largura de banda máxima da rede (Gbps)† | Contagem de GPUs | Memória da GPU‡ (GB HBM3) |
a3-edgegpu-8g |
208 | 1.872 | 6.000 | 5 |
|
8 | 640 |
*Uma vCPU é implementada como um único hiperthread de hardware em uma
das plataformas de CPU disponíveis.
†A largura de banda de saída máxima não pode exceder o número informado. A largura
de banda de saída real depende do endereço IP de destino e de outros fatores.
Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
‡A memória da GPU é a memória em um dispositivo GPU que pode ser usada para
armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.
Tipos de máquina A2
Cada tipo de máquina A2 tem um número fixo de GPUs NVIDIA A100 de 40 GB ou NVIDIA A100 de 80 GB anexadas. Cada tipo de máquina também tem uma contagem fixa de vCPUs e um tamanho de memória.
A série de máquinas A2 está disponível em dois tipos:
- A2 Ultra: esses tipos de máquina têm GPUs A100 de 80 GB e discos SSD locais conectados.
- A2 Standard (, ): esses tipos de máquina têm GPUs A100 de 40 GB anexadas.
A2 Ultra
| GPUs NVIDIA A100 de 80 GB anexadas | ||||||
|---|---|---|---|---|---|---|
| Tipo de máquina | Contagem de vCPU* | Memória da instância (GB) | SSD local anexado (GiB) | Largura de banda máxima da rede (Gbps)† | Contagem de GPUs | Memória da GPU‡ (GB HBM3) |
a2-ultragpu-1g |
12 | 170 | 375 | 24 | 1 | 80 |
a2-ultragpu-2g |
24 | 340 | 750 | 32 | 2 | 160 |
a2-ultragpu-4g |
48 | 680 | 1.500 | 50 | 4 | 320 |
a2-ultragpu-8g |
96 | 1.360 | 3.000 | 100 | 8 | 640 |
A2 Padrão
| GPUs NVIDIA A100 de 40 GB anexadas | ||||||
|---|---|---|---|---|---|---|
| Tipo de máquina | Contagem de vCPU* | Memória da instância (GB) | Compatível com SSD local | Largura de banda máxima da rede (Gbps)† | Contagem de GPUs | Memória da GPU‡ (GB HBM3) |
a2-highgpu-1g |
12 | 85 | Sim | 24 | 1 | 40 |
a2-highgpu-2g |
24 | 170 | Sim | 32 | 2 | 80 |
a2-highgpu-4g |
48 | 340 | Sim | 50 | 4 | 160 |
a2-highgpu-8g |
96 | 680 | Sim | 100 | 8 | 320 |
a2-megagpu-16g |
96 | 1.360 | Sim | 100 | 16 | 640 |
*Uma vCPU é implementada como um único hiperthread de hardware em uma
das plataformas de CPU disponíveis.
†A largura de banda de saída máxima não pode exceder o número informado. A largura
de banda de saída real depende do endereço IP de destino e de outros fatores.
Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
‡A memória da GPU é a memória em um dispositivo GPU que pode ser usada para
armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.
Tipos de máquina G2
Os tipos de máquina G2 otimizados para acelerador têm GPUs NVIDIA L4 anexadas e são ideais para inferência otimizada para custos, cargas de trabalho de computação de alto desempenho e com uso intenso de gráficos.
Cada tipo de máquina G2 também tem uma memória padrão e um intervalo de memória personalizado. O intervalo de memória personalizado define a quantidade de memória que pode ser alocada à instância para cada tipo de máquina. Também é possível adicionar discos SSD locais ao criar uma instância G2. Para saber o número de discos que podem ser anexados, consulte Tipos de máquina que exigem que você escolha um número de discos SSD locais.
Para aplicar as taxas mais altas de largura de banda de rede (50 Gbps ou mais) à maioria das instâncias de GPU, é recomendado usar a placa de rede virtual do Google (gVNIC). Para mais informações sobre como criar instâncias de GPU que usam a gVNIC, consulte Como criar instâncias de GPU que usam larguras de banda maiores.
| GPUs NVIDIA L4 anexadas | |||||||
|---|---|---|---|---|---|---|---|
| Tipo de máquina | Contagem de vCPU* | Memória padrão da instância (GB) | Intervalo de memória personalizada da instância (GB) | Suporte máximo para SSD local (GiB) | Largura de banda máxima da rede (Gbps)† | Contagem de GPUs | Memória da GPU‡ (GB GDDR6) |
g2-standard-4 |
4 | 16 | 16 a 32 | 375 | 10 | 1 | 24 |
g2-standard-8 |
8 | 32 | 32 a 54 | 375 | 16 | 1 | 24 |
g2-standard-12 |
12 | 48 | 48 a 54 | 375 | 16 | 1 | 24 |
g2-standard-16 |
16 | 64 | 54 a 64 | 375 | 32 | 1 | 24 |
g2-standard-24 |
24 | 96 | 96 a 108 | 750 | 32 | 2 | 48 |
g2-standard-32 |
32 | 128 | 96 a 128 | 375 | 32 | 1 | 24 |
g2-standard-48 |
48 | 192 | 192 a 216 | 1.500 | 50 | 4 | 96 |
g2-standard-96 |
96 | 384 | 384 a 432 | 3.000 | 100 | 8 | 192 |
*Uma vCPU é implementada como um único hiperthread de hardware em uma
das plataformas de CPU disponíveis.
†A largura de banda de saída máxima não pode exceder o número informado. A largura
de banda de saída real depende do endereço IP de destino e de outros fatores.
Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
‡A memória da GPU é a memória em um dispositivo GPU que pode ser usada para
armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.
Tipos de máquina N1 + GPU
Para instâncias de uso geral N1 com GPUs T4 e V100 anexadas, é possível ter uma largura de banda de rede máxima de até 100 Gbps, com base na combinação da contagem de GPUs e vCPUs. Para todas as outras instâncias de GPU N1, consulte a Visão geral.
Consulte a seção a seguir para calcular a largura de banda de rede máxima disponível para as instâncias T4 e V100 com base no modelo de GPU, na vCPU e na contagem de GPUs.
Menos de cinco vCPUs
Para instâncias T4 e V100 com cinco vCPUs ou menos, está disponível uma largura de banda de rede máxima de 10 Gbps.
Mais de cinco vCPUs
Para instâncias T4 e V100 com mais de cinco vCPUs, a largura de banda de rede máxima é calculada com base no número de vCPUs e GPUs da VM.
Para aplicar as taxas mais altas de largura de banda de rede (50 Gbps ou mais) à maioria das instâncias de GPU, é recomendado usar a placa de rede virtual do Google (gVNIC). Para mais informações sobre como criar instâncias de GPU que usam a gVNIC, consulte Como criar instâncias de GPU que usam larguras de banda maiores.
| Modelo de GPU | Número de GPUs | Cálculo da largura de banda de rede máxima |
|---|---|---|
| NVIDIA V100 | 1 | min(vcpu_count * 2, 32) |
| 2 | min(vcpu_count * 2, 32) |
|
| 4 | min(vcpu_count * 2, 50) |
|
| 8 | min(vcpu_count * 2, 100) |
|
| NVIDIA T4 | 1 | min(vcpu_count * 2, 32) |
| 2 | min(vcpu_count * 2, 50) |
|
| 4 | min(vcpu_count * 2, 100) |
Configurações de MTU e tipos de máquina de GPU
Para maximizar a largura de banda da rede, defina um valor mais alto de unidade máxima de transmissão (MTU) para suas redes VPC. Valores de MTU mais altos aumentam o tamanho do pacote e reduzem a sobrecarga do cabeçalho do pacote, o que aumenta a capacidade de dados do payload.
Para tipos de máquinas com GPU, recomendamos as seguintes configurações de MTU para suas redes VPC.
| Tipo de máquina de GPU | MTU recomendada (em bytes) | |
|---|---|---|
| Rede VPC | Rede VPC com perfis RDMA | |
|
8896 | 8896 |
|
8244 | N/A |
|
8896 | N/A |
Ao definir o valor de MTU, observe o seguinte:
- 8192 são duas páginas de 4 KB.
- O 8244 é recomendado em VMs A3 Mega, A3 High e A3 Edge para NICs de GPU que têm divisão de cabeçalho ativada.
- Use o valor 8896, a menos que indicado de outra forma na tabela.
Criar máquinas de GPU com largura de banda alta
Para criar instâncias de GPU que usam larguras de banda de rede maiores, use um dos métodos a seguir com base no tipo de máquina:
Para criar instâncias A2, G2 e N1 que usam larguras de banda de rede maiores, consulte Usar largura de banda de rede maior para instâncias A2, G2 e N1. Para testar ou verificar a velocidade de largura de banda dessas máquinas, use o teste de comparação. Para mais informações, consulte Como verificar a largura de banda da rede.
Para criar instâncias A3 Mega que usam larguras de banda de rede maiores, consulte Implantar um cluster A3 Mega Slurm para treinamento de ML. Para testar ou verificar a velocidade de largura de banda dessas máquinas, use um teste de comparação seguindo as etapas em Como verificar a largura de banda da rede.
Para instâncias A3 High e A3 Edge que usam larguras de banda de rede maiores, consulte Criar uma VM A3 com o GPUDirect-TCPX ativado. Para testar ou verificar a velocidade de largura de banda dessas máquinas, use o teste de comparação. Para mais informações, consulte Como verificar a largura de banda da rede.
Para outros tipos de máquinas otimizadas para aceleradores, não é necessário fazer nada para usar uma largura de banda de rede maior. A criação de uma instância conforme documentado já usa uma largura de banda de rede alta. Para saber como criar instâncias para outros tipos de máquina otimizados para aceleradores, consulte Criar uma VM com GPUs anexadas.
A seguir
- Saiba mais sobre as plataformas de GPU.
- Saiba como criar instâncias com GPUs anexadas.
- Saiba como usar uma largura de banda de rede maior.
- Saiba mais sobre os preços da GPU.