Las unidades de procesamiento gráfico (GPU) son aceleradores de hardware especializados que están diseñados para procesar cargas de trabajo paralelizadas de forma masiva de manera simultánea. En Cloud de Confiance by S3NS, puedes conectar GPUs de NVIDIA a instancias de Compute Engine y de equipos físicos para acelerar las cargas de trabajo exigentes, como el entrenamiento de inteligencia artificial (IA) y aprendizaje automático (AA), la computación de alto rendimiento (HPC), la renderización de gráficos y la transcodificación de videos.
En este documento, se proporciona una descripción general de las GPU en Cloud de Confiance, incluidos los modelos de GPU disponibles, las asignaciones de series de máquinas, las características de rendimiento, los casos de uso ideales y las consideraciones de precios.
¿Qué es una GPU?
Una GPU es un procesador con paralelización masiva que se diseñó originalmente para gráficos por computadora y evolucionó hasta convertirse en un motor de procesamiento esencial para la IA, el AA y la computación científica. A diferencia de las unidades centrales de procesamiento (CPU), que contienen unos pocos núcleos potentes optimizados para el procesamiento secuencial de un solo subproceso, las GPU constan de miles de núcleos más pequeños y altamente eficientes diseñados para realizar cálculos matemáticos de forma simultánea en grandes conjuntos de datos.
Los componentes arquitectónicos clave de un sistema de GPU son los siguientes:
Núcleos de CUDA: Son unidades de procesamiento de vectores de uso general que ejecutan instrucciones en varios subprocesos paralelos de forma simultánea con una arquitectura de una sola instrucción y varios subprocesos (SIMT). Los núcleos CUDA controlan los cálculos estándar de vectores y de punto flotante (como FP32 y FP64), así como la renderización de gráficos generales y las simulaciones físicas.
Núcleos Tensor: unidades de procesamiento de multiplicación y acumulación de matrices (MMA) especializadas que están diseñadas para acelerar los cálculos de redes neuronales. Los Tensor Cores ofrecen aceleraciones exponenciales para el entrenamiento y la inferencia de IA en formatos de precisión numérica especializados, incluidos FP4, FP8, INT8, TF32 y FP16/BF16.
Memoria de alto ancho de banda: Es la memoria dedicada integrado en el dispositivo que ofrece hasta varios terabytes por segundo (TBps) de ancho de banda, como la memoria de alto ancho de banda (HBM) o la velocidad de datos doble de gráficos (GDDR). Esta alta capacidad de procesamiento mantiene miles de núcleos de GPU abastecidos con datos durante las operaciones de matrices intensivas.
Interconexiones de alta velocidad (NVLink y NVSwitch): Tecnologías de interconexión de alto ancho de banda y baja latencia que conectan varias GPU en el mismo servidor o en varios nodos. NVLink proporciona comunicación directa entre GPU que omite el bus PCIe más lento, lo que permite que los clústeres de GPU funcionen como un grupo de memoria de acelerador único y coherente.
Software de estación de trabajo virtual (NVIDIA RTX vWS): Es un software empresarial que proporciona aceleración de gráficos virtualizada para estaciones de trabajo visuales remotas, diseño asistido por computadora (CAD), creación de contenido digital y modelado en 3D.
Modelos de GPU y series de máquinas
Cloud de Confiance ofrece GPU de NVIDIA de varias generaciones para satisfacer diferentes necesidades de carga de trabajo y presupuesto. En Compute Engine, las GPU están disponibles como series de máquinas optimizadas para aceleradores preconfiguradas (series A y G) o como aceleradores conectables en series de máquinas N1 de uso general.
En la siguiente tabla, se resumen las especificaciones de hardware, las asignaciones de series de máquinas, el ancho de banda de red y las capacidades de almacenamiento de los modelos de GPU disponibles en Compute Engine:
| Modelo de GPU | Series de máquinas | Arquitectura | Memoria y ancho de banda de la GPU | GPU por instancia de procesamiento | Ancho de banda máximo de red | SSD local | Interconexión | Compatibilidad con la estación de trabajo virtual (vWS) NVIDIA RTX |
|---|---|---|---|---|---|---|---|---|
| NVIDIA GB300 | A4X Max | Blackwell Ultra | HBM3e de 279 GB (8 TBps) | 4 (NVL72) | 3,600 Gbps | 12,000 GiB | Malla completa de NVLink (1,800 GBps) | No |
| NVIDIA GB200 | A4X | Blackwell | HBM3e de 186 GB (8 TBps) | 4 (NVL72) | 2,000 Gbps | 12,000 GiB | Malla completa de NVLink (1,800 GBps) | No |
| NVIDIA B200 | A4 | Blackwell | HBM3e de 180 GB (8 TBps) | 8 | 3,600 Gbps | 12,000 GiB | Malla completa de NVLink (1,800 GBps) | No |
| NVIDIA H200 | A3 Ultra | Hopper | HBM3e de 141 GB (4.8 TBps) | 8 | 3,600 Gbps | 12,000 GiB | Malla completa de NVLink (900 GBps) | No |
| NVIDIA H100 | A3 Mega, High, Edge | Hopper | HBM3 de 80 GB (3.35 TBps) | 1, 2, 4, 8 | Hasta 1,000 Gbps | Hasta 6,000 GiB | Malla completa de NVLink (900 GBps) | No |
| NVIDIA A100 (80 GB) | A2 ultra | Ampere | HBM2e de 80 GB (1.9 TBps) | 1, 2, 4, 8 | 100 Gbps | Hasta 3,000 GiB | Malla completa de NVLink (600 GBps) | No |
| NVIDIA A100 (40 GB) | A2 Estándar | Ampere | HBM2 de 40 GB (1.6 TBps) | 1, 2, 4, 8, 16 | 100 Gbps | Hasta 3,000 GiB | Malla completa de NVLink (600 GBps) | No |
| NVIDIA RTX PRO 6000 | G4 | Blackwell | 96 GB GDDR7 (1.597 TBps) | 1/8, 1/4, 1/2, 1, 2, 4, 8 | 200 Gbps | Hasta 3,000 GiB | PCIe Gen 5 | Sí |
| NVIDIA L4 | G2 | Ada Lovelace | GDDR6 de 24 GB (300 GBps) | 1, 2, 4, 8 | 100 Gbps | Hasta 3,000 GiB | PCIe Gen 4 | Sí |
| NVIDIA V100 | N1+V100 | Volta | HBM2 de 16 GB (900 GBps) | 1, 2, 4, 8 | 100 Gbps | Admitido | Anillo de NVLink (300 GBps) | No |
| NVIDIA T4 (pronto dejará de ser compatible) | N1+T4 | Turing | GDDR6 de 16 GB (320 GBps) | 1, 2, 4 | 100 Gbps | Admitido | PCIe Gen 3 | Sí |
| NVIDIA P4 (pronto dejará de ser compatible) | N1+P4 | Pascal | 8 GB GDDR5 (192 GBps) | 1, 2, 4 | 100 Gbps | Admitido | PCIe Gen 3 | Sí |
Características de rendimiento de las GPU
Elegir el modelo de GPU adecuado depende de las características de procesamiento, los requisitos de memoria, los formatos de precisión y las necesidades de escalabilidad de tu carga de trabajo.
Casos de uso ideales y requisitos de las cargas de trabajo
Las GPU aceleran diversas cargas de trabajo de procesamiento en la IA, la computación visual y el modelado científico. Para comprender los requisitos de arquitectura de cada categoría de carga de trabajo, selecciona una de las siguientes pestañas:
Entrenamiento de IA/AA
Modelos de base de frontera y mezcla de expertos (MoE): El entrenamiento previo de modelos de transformadores grandes, arquitecturas multimodales y redes de mezcla de expertos (MoE) requiere una alta capacidad de procesamiento de Tensor Core, grandes capacidades de memoria de ancho de banda alto (HBM) (hasta 279 GB por GPU) y un ancho de banda de interconexión NVLink de velocidad ultraalta (hasta 1,800 GBps) para minimizar la latencia de sincronización entre varios nodos. Serie de máquinas recomendada:
- A4X Max (NVIDIA GB300)
- A4X (NVIDIA GB200)
- A4 (NVIDIA B200)
- A3 Ultra (NVIDIA H200)
- A3 Mega (NVIDIA H100)
Para obtener más información, consulta Recomendaciones para modelos de entrenamiento previo en la documentación de AI Hypercomputer.
Ajuste y entrenamiento moderado de modelos: Adaptar los modelos de base existentes con técnicas como el ajuste eficiente de parámetros (PEFT) y la adaptación de bajo rango (LoRA) requiere suficiente memoria de GPU para contener los pesos y los gradientes del modelo sin necesidad de un agrupamiento en clústeres de varios nodos a exaescala. Serie de máquinas recomendada:
Para obtener más información, consulta Recomendaciones para ajustar modelos en la documentación de AI Hypercomputer.
Inferencia de IA/AA
Inferencia de modelos grandes (más de 70,000 millones de parámetros): La entrega de modelos de lenguaje grandes (LLM) se beneficia de la alta capacidad de la memoria de gran ancho de banda (HBM3e) (de 141 a 186 GB por GPU) para ajustar los pesos del modelo en menos GPU, lo que reduce la sobrecarga de comunicación entre chips. Serie de máquinas recomendada:
Entrega en tiempo real y de alta capacidad de procesamiento: las consultas interactivas de baja latencia, las respuestas de transmisión y la generación de imágenes usan formatos numéricos cuantizados acelerados por hardware, como punto flotante de 8 bits (FP8), número entero de 8 bits (INT8) y número entero de 4 bits (INT4), para maximizar la capacidad de procesamiento de solicitudes por dólar. Serie de máquinas recomendada:
- G2 (NVIDIA L4)
- G4 (NVIDIA RTX PRO 6000)
- A3 Edge y High (NVIDIA H100)
Para obtener más información, consulta Recomendaciones para entregar inferencias en la documentación de AI Hypercomputer.
Gráficos y elementos visuales
CAD 3D, gemelos digitales y estaciones de trabajo virtuales: El modelado 3D interactivo, el diseño asistido por computadora (CAD), la renderización arquitectónica y los gemelos digitales (como NVIDIA Omniverse) usan núcleos de trazado de rayos (RT) dedicados y estaciones de trabajo virtuales (vWS) NVIDIA RTX para estaciones de trabajo visuales remotas y GPU virtuales (vGPU) fraccionarias. Serie de máquinas recomendada:
Procesamiento y transcodificación de video: Las canalizaciones de transmisión en vivo, la transcodificación de video y el procesamiento de contenido multimedia usan motores de video de hardware dedicados NVIDIA Encoder (NVENC) y NVIDIA Decoder (NVDEC) que admiten códecs AV1, codificación de video de alta eficiencia (HEVC) y H.264. Serie de máquinas recomendada:
HPC y simulación
Simulación y modelado científicos: las aplicaciones en dinámica molecular (como GROMACS y AMBER), dinámica de fluidos computacional (CFD), química cuántica, astrofísica y previsión meteorológica requieren un alto rendimiento de punto flotante de precisión doble (FP64) de 64 bits y un alto ancho de banda de memoria. Serie de máquinas recomendada:
Para obtener más información, consulta Recomendaciones para HPC en la documentación de AI Hypercomputer.
Consideraciones sobre la carga de trabajo
Por lo general, las GPU no son adecuadas para las siguientes cargas de trabajo:
- Lógica secuencial y de un solo subproceso: Las tareas dominadas por ramas de decisión secuenciales o canalizaciones de ejecución en serie tienen un mejor rendimiento en las CPU con frecuencias de reloj de un solo núcleo altas.
- Aplicaciones web y microservicios estándar: Los servidores web de uso general, los sistemas de administración de base de datos relacional (RDBMS) y los backends de API estándar sin requisitos de procesamiento de gráficos o IA no se benefician de la aceleración de GPU. Estas cargas de trabajo se alojan de manera más rentable en instancias de CPU de uso general o con optimización para procesamiento.
- Cargas de trabajo optimizadas para XLA y frameworks compilados con grafos: Si tus modelos de aprendizaje profundo se compilan con frameworks como JAX, PyTorch/XLA o TensorFlow, pueden aprovechar las optimizaciones de grafos controladas por el compilador (XLA). Si tus modelos también se benefician de los arrays sistólicos de matrices personalizados y la conmutación de circuitos ópticos, considera evaluar arquitecturas de aceleradores alternativas diseñadas para esos paradigmas de ejecución específicos.
Consideraciones sobre el precio
Los siguientes factores determinan los precios de las GPU en Cloud de Confiance:
Es el modelo de GPU específico.
Es la cantidad de GPU conectadas.
Recursos aprovisionados, como CPU virtuales, memoria del sistema y almacenamiento.
El modelo de consumo que selecciones
En las siguientes secciones, se describen los modelos de consumo y las opciones de descuento disponibles para las GPU en Cloud de Confiance.
Modelos de consumo y compra
Puedes aprovisionar instancias de GPU con varias opciones de consumo según tus requisitos de disponibilidad y tolerancia de costos:
On-demand: Precios estándar de pago por uso (PAYG) que se facturan por segundo sin compromiso a largo plazo. Las instancias bajo demanda ofrecen una flexibilidad completa del ciclo de vida para el desarrollo, las pruebas y las cargas de trabajo de producción variables.
VMs Spot: Son instancias de procesamiento con grandes descuentos (hasta un 60% a 91% de descuento en las tarifas según demanda) que se obtienen de la capacidad excedente deCloud de Confiance . Debido a que Cloud de Confiance puede detener o borrar las VMs Spot para recuperar capacidad con un aviso de 30 segundos, estas instancias de procesamiento son ideales para el entrenamiento de AA por lotes tolerante a errores, los trabajos por lotes con puntos de control y el procesamiento de datos distribuido.
VMs de inicio flexible: opción de programación dinámica con la tecnología de Dynamic Workload Scheduler (DWS) que aprovisiona recursos de GPU dentro de un período especificado para cargas de trabajo de duración fija (hasta 7 días) con tarifas con descuento.
Reservas:
- Reservas: Puedes reservar capacidad para las GPU estándar y usar de inmediato la capacidad reservada.
- Reservas futuras (modo de calendario y AI Hypercomputer): puedes solicitar reservar capacidad de GPU agrupadas para una fecha y hora futuras. Si Cloud de Confiance aprueba tu solicitud, puedes comenzar a usar la capacidad en el momento que especificaste y conservar el acceso exclusivo hasta que finalice la reserva.
Opciones de descuento
Descuentos por compromiso de uso (CUD): Proporcionan descuentos sustanciales (hasta un 55% para compromisos de 3 años o un 37% para compromisos de 1 año) a cambio del compromiso de mantener un nivel continuo de uso de recursos en una región específica. Para los tipos de máquinas optimizados para aceleradores y las GPUs conectadas, los CUD requieren la compra de compromisos basados en recursos adjuntos a las reservas.
Descuentos por uso continuo (SUD): Son descuentos automáticos que se aplican a las instancias de procesamiento N1 y a las GPU conectadas cuando se ejecutan durante más del 25% de un mes de facturación. Las series de máquinas optimizadas para aceleradores (series A y G) no reciben SUD.
Para conocer los precios detallados por hora y por mes en todas las regiones, consulta la página de precios de GPU y la página de precios de instancias de VM.
Para obtener una matriz de funciones detallada de la disponibilidad de las opciones de consumo en todos los tipos de máquinas de aceleradores, consulta Disponibilidad de las opciones de consumo por tipo de máquina.
¿Qué sigue?
- Explora las máquinas con GPU en la familia de máquinas optimizadas para aceleradores.
- Aprende a crear una VM con GPU conectadas.
- Descubre la arquitectura de IA de supercomputación de Cloud de Confianceen la descripción general de AI Hypercomputer.