图形处理器 (GPU) 是专用硬件加速器，旨在同时处理大规模并行工作负载。在Cloud de Confiance by S3NS上，您可以将 NVIDIA GPU 挂接到 Compute Engine 实例和裸金属实例，以加速要求苛刻的工作负载，例如人工智能 (AI) 和机器学习 (ML) 训练、高性能计算 (HPC)、图形渲染和视频转码。
本文档简要介绍了 Cloud de Confiance中的 GPU，包括可用的 GPU 型号、机器系列映射、性能特征、理想用例和价格注意事项。
什么是 GPU？
GPU 是一种大规模并行处理器，最初专为计算机图形设计，现已发展成为 AI、机器学习和科学计算不可或缺的计算引擎。中央处理器 (CPU) 包含几个强大的核心，这些核心针对顺序单线程处理进行了优化，而 GPU 则不同，它由数千个较小的高效核心组成，旨在跨大型数据集并发执行数学计算。
GPU 系统的关键架构组件如下：
CUDA 核心：通用向量处理单元，使用单指令多线程 (SIMT) 架构同时在多个并行线程中执行指令。CUDA 核心负责处理标准向量和浮点计算（例如 FP32 和 FP64），以及通用图形渲染和物理模拟。
张量核心：专用的矩阵乘法累加 (MMA) 处理单元，旨在加速神经网络计算。Tensor Core 可在各种专用数字精度格式（包括 FP4、FP8、INT8、TF32 和 FP16/BF16）中为 AI 训练和推理提供指数级加速。
高带宽内存：专用设备端内存，可提供高达每秒数太字节 (TBps) 的带宽，例如高带宽内存 (HBM) 或图形双倍数据速率 (GDDR)。这种高吞吐量可在密集矩阵运算期间为数千个 GPU 核心提供数据。
高速互连（NVLink 和 NVSwitch）：高带宽、低延迟互连技术，用于连接同一服务器上或跨节点的多个 GPU。NVLink 提供直接的 GPU 到 GPU 通信，绕过速度较慢的 PCIe 总线，使 GPU 集群能够充当单个连贯的加速器内存池。
虚拟工作站软件 (NVIDIA RTX vWS)：为远程可视化工作站、计算机辅助设计 (CAD)、数字内容创作和 3D 建模提供虚拟化图形加速的企业软件。
GPU 型号和机器系列
Cloud de Confiance 提供多代 NVIDIA GPU，以满足不同的工作负载和预算需求。在 Compute Engine 上，GPU 可以作为预配置的加速器优化型机器系列（A 系列和 G 系列）提供，也可以作为可挂接的加速器在通用 N1 机器系列上提供。
下表总结了 Compute Engine 上提供的 GPU 型号的硬件规格、机器系列映射、网络带宽和存储功能：
| GPU 模型 | 机器系列 | 架构 | GPU 内存和带宽 | 每个计算实例的 GPU 数量 | 最大网络带宽 | 本地 SSD | 互连 | NVIDIA RTX 虚拟工作站 (vWS) 支持 |
|---|---|---|---|---|---|---|---|---|
| NVIDIA GB300 | A4X Max | Blackwell Ultra | 279 GB HBM3e (8 TBps) | 4 (NVL72) | 3,600 Gbps | 12,000 GiB | NVLink Full Mesh (1,800 GBps) | 否 |
| NVIDIA GB200 | A4X | Blackwell | 186 GB HBM3e (8 TBps) | 4 (NVL72) | 2,000 Gbps | 12,000 GiB | NVLink Full Mesh (1,800 GBps) | 否 |
| NVIDIA B200 | A4 | Blackwell | 180 GB HBM3e (8 TBps) | 8 | 3,600 Gbps | 12,000 GiB | NVLink Full Mesh (1,800 GBps) | 否 |
| NVIDIA H200 | A3 Ultra | 豆仓 | 141 GB HBM3e (4.8 TBps) | 8 | 3,600 Gbps | 12,000 GiB | NVLink Full Mesh (900 GBps) | 否 |
| NVIDIA H100 | A3 Mega、A3 High、A3 Edge | 豆仓 | 80 GB HBM3 (3.35 TBps) | 1、2、4、8 | 最高 1,000 Gbps | 最多 6,000 GiB | NVLink Full Mesh (900 GBps) | 否 |
| NVIDIA A100 (80GB) | A2 Ultra | Ampere | 80 GB HBM2e (1.9 TBps) | 1、2、4、8 | 100 Gbps | 最多 3,000 GiB | NVLink Full Mesh (600 GBps) | 否 |
| NVIDIA A100 (40GB) | A2 标准 | Ampere | 40 GB HBM2 (1.6 TBps) | 1、2、4、8、16 | 100 Gbps | 最多 3,000 GiB | NVLink Full Mesh (600 GBps) | 否 |
| NVIDIA RTX PRO 6000 | G4 | Blackwell | 96 GB GDDR7 (1.597 TBps) | 1/8、1/4、1/2、1、2、4、8 | 200 Gbps | 最多 3,000 GiB | PCIe 第 5 代 | 是 |
| NVIDIA L4 | G2 | Ada Lovelace | 24 GB GDDR6 (300 GBps) | 1、2、4、8 | 100 Gbps | 最多 3,000 GiB | PCIe 第 4 代 | 是 |
| NVIDIA V100 | N1+V100 | Volta | 16 GB HBM2 (900 GBps) | 1、2、4、8 | 100 Gbps | 支持 | NVLink Ring (300 GBps) | 否 |
| NVIDIA T4（即将停止提供支持） | N1+T4 | Turing | 16 GB GDDR6 (320 GBps) | 1、2、4 | 100 Gbps | 支持 | PCIe 第 3 代 | 是 |
| NVIDIA P4（即将停止提供支持） | N1+P4 | Pascal | 8 GB GDDR5 (192 GBps) | 1、2、4 | 100 Gbps | 支持 | PCIe 第 3 代 | 是 |
GPU 性能特性
选择合适的 GPU 模型取决于工作负载的计算特性、内存要求、精度格式和可伸缩性需求。
理想使用场景和工作负载要求
GPU 可加速 AI、视觉计算和科学建模等领域的各种计算工作负载。如需了解每个工作负载类别的架构要求，请选择以下标签页之一：
AI/机器学习训练
前沿基础模型和混合专家 (MoE)：预训练大型 Transformer 模型、多模态架构和混合专家 (MoE) 网络需要高 Tensor Core 吞吐量、大高带宽内存 (HBM) 容量（每个 GPU 高达 279 GB）和超高速 NVLink 互连带宽（高达 1,800 GBps），以最大限度地减少多节点同步延迟。推荐的机器系列：
- A4X Max (NVIDIA GB300)
- A4X (NVIDIA GB200)
- A4 (NVIDIA B200)
- A3 Ultra (NVIDIA H200)
- A3 Mega (NVIDIA H100)
如需了解详情，请参阅 AI Hypercomputer 文档中的有关预训练模型的建议。
微调和中等模型训练：使用参数高效微调 (PEFT) 和低秩适应 (LoRA) 等技术调整现有基础模型需要足够的 GPU 内存来保存模型权重和梯度，而无需百亿亿次级多节点集群。推荐的机器系列：
如需了解详情，请参阅 AI Hypercomputer 文档中的有关微调模型的建议。
AI/机器学习推理
大模型推理（超过 700 亿个参数）：提供大语言模型 (LLM) 服务时，可受益于高带宽内存 (HBM3e) 的高容量（每个 GPU 141-186 GB），从而在更少的 GPU 上容纳模型权重，减少芯片间通信开销。推荐的机器系列：
高吞吐量和实时服务：低延迟交互式查询、流式响应和图片生成使用硬件加速的量化数字格式，例如 8 位浮点 (FP8)、8 位整数 (INT8) 和 4 位整数 (INT4)，以最大限度地提高每美元的请求吞吐量。推荐的机器系列：
- G2 (NVIDIA L4)
- G4 (NVIDIA RTX PRO 6000)
- A3 Edge 和 High (NVIDIA H100)
如需了解详情，请参阅 AI Hypercomputer 文档中的有关服务推理的建议。
画面与视觉效果
3D CAD、数字孪生体和虚拟工作站：交互式 3D 建模、计算机辅助设计 (CAD)、建筑渲染和数字孪生体（例如 NVIDIA Omniverse）使用专用的光线追踪 (RT) 核心和 NVIDIA RTX 虚拟工作站 (vWS)，适用于远程视觉工作站和部分虚拟 GPU (vGPU)。推荐的机器系列：
视频处理和转码：直播流处理流水线、视频转码和媒体处理使用专用的硬件 NVIDIA 编码器 (NVENC) 和 NVIDIA 解码器 (NVDEC) 视频引擎，支持 AV1、高效率视频编码 (HEVC) 和 H.264 编解码器。推荐的机器系列：
HPC 和模拟
科学模拟和建模：分子动力学（例如 GROMACS 和 AMBER）、计算流体动力学 (CFD)、量子化学、天体物理学和天气预报中的应用需要高 64 位双精度 (FP64) 浮点性能和高内存带宽。推荐的机器系列：
如需了解详情，请参阅 AI Hypercomputer 文档中的有关 HPC 的建议。
工作负载注意事项
GPU 通常不适用于以下工作负载：
- 顺序和单线程逻辑：以顺序决策分支或串行执行流水线为主的任务在具有高单核时钟频率的 CPU 上表现更好。
- 标准 Web 应用和微服务：通用 Web 服务器、关系型数据库管理系统 (RDBMS) 以及没有 AI 或图形处理要求的标准 API 后端无法从 GPU 加速中受益。在通用或计算优化 CPU 实例上托管这些工作负载更具成本效益。
- 针对 XLA 和图编译框架优化的工作负载：如果您的深度学习模型是使用 JAX、PyTorch/XLA 或 TensorFlow 等框架构建的，则可以利用编译器驱动的图优化 (XLA)。如果您的模型还能从自定义矩阵脉动阵列和光路交换中受益，请考虑评估专为这些特定执行范式设计的替代加速器架构。
价格注意事项
以下因素决定了 Cloud de Confiance上的 GPU 价格：
具体 GPU 型号。
挂接的 GPU 数量。
预配的资源，例如 vCPU、系统内存和存储空间。
您选择的使用模式。
以下部分概述了 Cloud de Confiance中 GPU 的可用使用模式和折扣选项。
使用和购买模式
您可以根据可用性要求和成本容忍度，使用多种使用选项来预配 GPU 实例：
按需：标准随用随付 (PAYG) 价格，按秒计费，无需长期承诺。按需实例为开发、测试和可变生产工作负载提供完整的生命周期灵活性。
Spot 虚拟机：折扣力度很大的计算实例（比按需价格低 60% 到 91%），这些实例利用的是Cloud de Confiance 过剩容量。由于 Cloud de Confiance 可以提前 30 秒发出通知，然后停止或删除 Spot 虚拟机来收回容量，因此这些计算实例非常适合容错批量机器学习训练、设置了检查点的批量作业和分布式数据处理。
灵活启动型虚拟机：由动态工作负载调度器 (DWS) 提供支持的动态调度选项，可在指定时间段内以折扣价为固定时长的工作负载（最长 7 天）预配 GPU 资源。
预留：
- 预留：您可以为标准 GPU 预留容量，并立即使用预留的容量。
- 未来预留（日历模式和 AI Hypercomputer）：您可以请求在未来某个日期和时间预留集群化 GPU 容量。如果 Cloud de Confiance 批准了您的请求，您就可以在指定时间开始使用该容量，并保留独占访问权限，直到预留结束。
折扣选项
承诺使用折扣 (CUD)：提供大幅折扣（3 年期承诺最高可享 55% 的折扣，1 年期承诺最高可享 37% 的折扣），以换取您承诺在特定区域保持持续的资源用量水平。对于加速器优化机器类型和挂接的 GPU，CUD 需要购买挂接到预留的基于资源的承诺。
持续使用折扣 (SUD)：N1 计算实例和挂接的 GPU 在结算月份内的运行时间超过 25% 时，会自动应用折扣。加速器优化机器系列（A 系列和 G 系列）不享受 SUD。
如需了解所有区域的详细每小时和每月价格，请参阅 GPU 价格页面和虚拟机实例价格页面。
如需查看所有加速器机器类型的使用选项可用性的详细功能矩阵，请参阅使用选项可用性（按机器类型）。
后续步骤
- 探索加速器优化机器家族中的 GPU 机器。
- 了解如何创建挂接 GPU 的虚拟机。
- 如需了解 Cloud de Confiance的超级计算 AI 架构，请参阅 AI Hypercomputer 概览。