Redes y máquinas de GPU

Un ancho de banda de red más alto puede mejorar el rendimiento de tus instancias de GPU para admitir cargas de trabajo distribuidas que se ejecutan en Compute Engine.

El ancho de banda de red máximo disponible para las instancias con GPU conectadas en Compute Engine es el siguiente:

• Para las instancias optimizadas para aceleradores A4 y A3, puedes obtener un ancho de banda de red máximo de hasta 3,600 Gbps, según el tipo de máquina.
• Para las instancias optimizadas para aceleradores A2 y G2, puedes obtener un ancho de banda de red máximo de hasta 100 Gbps, según el tipo de máquina.
• Las instancias de uso general N1 que tienen adjuntas las GPU P100 y P4 tienen disponible un ancho de banda de red máximo de 32 Gbps. Esto es similar a la velocidad máxima disponible para las instancias N1 que no tienen GPU adjuntas. Para obtener más información sobre el ancho de banda de la red, consulta la tasa máxima de datos de salida.
• Para las instancias de uso general N1 que tienen adjuntas las GPU T4 y V100, puedes obtener un ancho de banda de red máximo de hasta 100 Gbps, según la combinación de la cantidad de GPU y CPU virtuales.

Revisa el ancho de banda de la red y la disposición de la NIC

Usa la siguiente sección para revisar la disposición de la red y la velocidad del ancho de banda para cada tipo de máquina con GPU.

Tipos de máquinas A4 y A3 Ultra

Los tipos de máquinas A4 tienen GPU NVIDIA B200 conectadas, y los tipos de máquinas A3 Ultra tienen GPU NVIDIA H200 conectadas.

Estos tipos de máquinas proporcionan ocho tarjetas de interfaz de red (NIC) NVIDIA ConnectX-7 (CX7) y dos NIC virtuales de Google (gVNIC). Las ocho NIC CX7 ofrecen un ancho de banda de red total de 3,200 Gbps. Estas NIC están dedicadas solo a la comunicación de GPU a GPU de alto ancho de banda y no se pueden usar para otras necesidades de redes, como el acceso a Internet público. Como se describe en el siguiente diagrama, cada NIC CX7 se alinea con una GPU para optimizar el acceso a la memoria no uniforme (NUMA). Las ocho GPUs pueden comunicarse rápidamente entre sí a través del puente NVLink de todos con todos que las conecta. Las otras dos tarjetas de interfaz de red gVNIC son NIC inteligentes que proporcionan 400 Gbps adicionales de ancho de banda de red para los requisitos de redes de uso general. En conjunto, las tarjetas de interfaz de red proporcionan un ancho de banda de red máximo total de 3,600 Gbps para estas máquinas.

Para usar estas múltiples NIC, debes crear 3 redes de nube privada virtual de la siguiente manera:

• 2 redes de VPC: Cada NIC de gVNIC debe adjuntarse a una red de VPC diferente
• 1 red de VPC con el perfil de red RDMA: Las ocho NIC CX7 comparten la misma red de VPC.

Para configurar estas redes, consulta Crea redes de VPC en la documentación de AI Hypercomputer.

Tipos de máquinas A3 Mega, High y Edge

Estos tipos de máquinas tienen GPU H100 conectadas. Cada uno de estos tipos de máquinas tiene un recuento fijo de GPU, de CPU virtuales y de tamaño de memoria.

• VMs A3 con una sola NIC: Para las VMs A3 con 1 a 4 GPUs conectadas, solo está disponible una sola tarjeta de interfaz de red (NIC) física.
• VMs A3 NIC NICs: Para las VMs A3 con 8 GPUs conectadas, hay disponibles varias NICs físicas. Para estos tipos de máquinas A3, las NIC se organizan de la siguiente manera en un bus exprés de interconexión de componentes periféricos (PCIe):
  • Para el tipo de máquina A3 Mega, está disponible una disposición de NIC de 8 + 1. Con esta disposición, 8 NICs comparten el mismo bus PCIe y 1 NIC reside en un bus PCIe independiente.
  • Para el tipo de máquina A3 High, está disponible una disposición de NIC de 4 + 1. Con esta disposición, 4 NICs comparten el mismo bus PCIe y 1 NIC reside en un bus PCIe independiente.
  • Para el tipo de máquina A3 Edge: Está disponible una disposición de NIC de 4 + 1. Con esta disposición, 4 NICs comparten el mismo bus PCIe y 1 NIC reside en un bus PCIe independiente. Estas 5 NIC proporcionan un ancho de banda de red total de 400 Gbps para cada VM.

  Las NICs que comparten el mismo bus PCIe tienen una alineación de acceso de memoria no uniforme (NUMA) de una NIC por dos GPU NVIDIA H100. Estas NIC son ideales para la comunicación dedicada de gran ancho de banda de GPU a GPU. La NIC física que reside en un bus PCIe independiente es ideal para otras necesidades de red. Si deseas obtener instrucciones para configurar la red de las VMs A3 High y A3 Edge, consulta Configura redes MTU de marcos jumbo.

Tipos de máquinas A2

Cada tipo de máquina A2 tiene una cantidad fija de GPU NVIDIA A100 de 40 GB o NVIDIA A100 de 80 GB conectadas. Cada tipo de máquina también tiene un recuento fijo de CPU virtuales y de tamaño de memoria.

Las series de máquinas A2 están disponibles en dos tipos:

• A2 Ultra: Estos tipos de máquinas tienen GPU A100 de 80 GB y discos SSD local conectados.
• A2 estándar: Estos tipos de máquinas tienen GPU A100 de 40 GB conectadas.

Tipos de máquinas G2

Los tipos de máquinas optimizados para aceleradores G2 tienen GPU NVIDIA L4 conectadas y son ideales para la inferencia optimizada en función del costo, las cargas de trabajo de computación de alto rendimiento y con uso intensivo de gráficos.

Cada tipo de máquina G2 también tiene una memoria predeterminada y un rango de memoria personalizado. El rango de memoria personalizado define la cantidad de memoria que puedes asignar a tu instancia para cada tipo de máquina. También puedes agregar discos SSD locales cuando creas una instancia G2. Para conocer la cantidad de discos que puedes conectar, consulta Tipos de máquinas que requieren que elijas una cantidad de discos SSD locales.

Para obtener las tasas de ancho de banda de red más altas (50 Gbps o más) aplicadas a la mayoría de las instancias de GPU, te recomendamos que uses una NIC virtual de Google (gVNIC). Si quieres obtener más información para crear instancias de GPU que usen gVNIC, consulta Crea instancias de GPU que usen anchos de banda más altos.

						GPU NVIDIA L4 conectadas
Tipo de máquina	Recuento de CPU virtuales*	Memoria de instancia predeterminada (GB)	Rango de memoria de instancia personalizado (GB)	Máximo de SSD local admitido (GiB)	Ancho de banda de red máximo (Gbps)†	Recuento de GPU	Memoria de GPU‡ (GB GDDR6)
g2-standard-4	4	16	De 16 a 32	375	10	1	24
g2-standard-8	8	32	De 32 a 54	375	16	1	24
g2-standard-12	12	48	De 48 a 54	375	16	1	24
g2-standard-16	16	64	De 54 a 64	375	32	1	24
g2-standard-24	24	96	De 96 a 108	750	32	2	48
g2-standard-32	32	128	De 96 a 128	375	32	1	24
g2-standard-48	48	192	De 192 a 216	1,500	50	4	96
g2-standard-96	96	384	De 384 a 432	3,000	100	8	192

Tipos de máquinas N1 + GPU

Para las instancias de uso general N1 que tienen adjuntas las GPU T4 y V100, puedes obtener un ancho de banda de red máximo de hasta 100 Gbps, según la combinación de la cantidad de GPU y CPU virtuales. Para todas las demás instancias de GPU N1, consulta la Descripción general.

Revisa la siguiente sección para calcular el ancho de banda de red máximo disponible para tus instancias T4 y V100 según el modelo de GPU, la CPU virtual y la cantidad de GPU.

Configuración de MTU y tipos de máquinas con GPU

Para maximizar el ancho de banda de la red, establece un valor más alto para la unidad de transmisión máxima (MTU) de tus redes de VPC. Los valores de MTU más altos aumentan el tamaño del paquete y reducen la sobrecarga del encabezado del paquete, lo que, a su vez, aumenta la capacidad de procesamiento de los datos de carga útil.

Para los tipos de máquinas con GPU, recomendamos los siguientes parámetros de configuración de MTU para tus redes de VPC.

Tipo de máquina de GPU	MTU recomendada (en bytes)
	Red de VPC	Red de VPC con perfiles de RDMA
A4X A4 A3 Ultra	8896	8896
A3 Mega A3 High A3, Edge	8244	N/A
A2 Estándar A2 ultra G2 Tipos de máquinas N1 que admiten GPUs	8896	N/A

Cuando establezcas el valor de la MTU, ten en cuenta lo siguiente:

• 8192 son dos páginas de 4 KB.
• Se recomienda 8244 en las VMs A3 Mega, A3 High y A3 Edge para las NIC de GPU que tienen habilitada la división de encabezado.
• Usa un valor de 8896, a menos que se indique lo contrario en la tabla.

Crea máquinas con GPU y ancho de banda alto

Para crear instancias de GPU que usen anchos de banda de red más altos, usa uno de los siguientes métodos según el tipo de máquina:

• Para crear instancias A2, G2 y N1 que usen anchos de banda de red más altos, consulta Usa un ancho de banda de red más alto para las instancias A2, G2 y N1. Para probar o verificar la velocidad del ancho de banda de estas máquinas, puedes usar la prueba de comparativas. Para obtener más información, consulta Cómo verificar el ancho de banda de la red.

• Para crear instancias de A3 Mega que usen anchos de banda de red más altos, consulta Implementa un clúster A3 Mega Slurm para el entrenamiento de AA. Para probar o verificar la velocidad del ancho de banda de estas máquinas, usa una prueba de comparativas siguiendo los pasos que se indican en Cómo comprobar el ancho de banda de la red.

• Para las instancias A3 High y A3 Edge que usan anchos de banda de red más altos, consulta Crea una VM A3 con GPUDirect-TCPX habilitado. Para probar o verificar la velocidad del ancho de banda de estas máquinas, puedes usar la prueba de comparativas. Para obtener más información, consulta Cómo verificar el ancho de banda de la red.

• En el caso de otros tipos de máquinas optimizadas para aceleradores, no se requiere ninguna acción para usar un mayor ancho de banda de red. La creación de una instancia, tal como se documenta, ya usa un ancho de banda de red alto. Para obtener información sobre cómo crear instancias para otros tipos de máquinas optimizadas para aceleradores, consulta Crea una VM con GPU conectadas.

Próximos pasos

• Más información sobre las plataformas de GPU.
• Aprende a crear instancias con GPU conectadas.
• Aprende a usar un ancho de banda de red más alto.
• Obtén información sobre los precios de GPU.