瞭解 GPU

圖形處理器 (GPU) 是專門的硬體加速器，可同時處理大量平行工作負載。在Cloud de Confiance by S3NS，您可以將 NVIDIA GPU 附加至 Compute Engine 執行個體和裸機執行個體，加速處理要求嚴苛的工作負載，例如人工智慧 (AI) 和機器學習 (ML) 訓練、高效能運算 (HPC)、圖形算繪和影片轉碼。

本文概略介紹 Cloud de Confiance中的 GPU，包括可用的 GPU 型號、機器系列對應、效能特性、理想用途和定價考量。

什麼是 GPU？

GPU 是大規模平行處理器，原本專為電腦圖形設計，現已演變成 AI、機器學習和科學運算不可或缺的運算引擎。中央處理器 (CPU) 包含幾個強大的核心，專為依序處理單一執行緒而最佳化，而 GPU 則由數千個較小的高效核心組成，專為在大型資料集上同時執行數學運算而設計。

GPU 系統的主要架構元件如下：

CUDA 核心：一般用途向量處理單元，使用單指令多執行緒 (SIMT) 架構，同時在多個平行執行緒中執行指令。CUDA 核心可處理標準向量和浮點運算 (例如 FP32 和 FP64)，以及一般圖形算繪和物理模擬。
Tensor Core：專門用於加速類神經網路運算的矩陣乘法累加 (MMA) 處理單元。Tensor Core 支援 FP4、FP8、INT8、TF32 和 FP16/BF16 等多種專用數值精確度格式，可大幅加快 AI 訓練和推論速度。
高頻寬記憶體：裝置端專用記憶體，頻寬最高可達每秒數 TB (TBps)，例如高頻寬記憶體 (HBM) 或圖形雙倍資料傳輸率 (GDDR)。在密集矩陣運算期間，這項高處理量可持續為數千個 GPU 核心提供資料。
高速互連網路 (NVLink 和 NVSwitch)：高頻寬、低延遲的互連網路技術，可連接同一伺服器或跨節點的多個 GPU。NVLink 可直接在 GPU 之間通訊，繞過速度較慢的 PCIe 匯流排，讓 GPU 叢集做為單一、連貫的加速器記憶體集區運作。
虛擬工作站軟體 (NVIDIA RTX vWS)：企業軟體，可為遠端視覺工作站、電腦輔助設計 (CAD)、數位內容創作和 3D 建模提供虛擬化圖形加速。

GPU 型號和機器系列

Cloud de Confiance 提供多代 NVIDIA GPU，可滿足不同的工作負載和預算需求。在 Compute Engine 中，GPU 可做為預先設定的加速器最佳化機器系列 (A 和 G 系列)，或做為一般用途 N1 機器系列的可附加加速器。

下表匯總 Compute Engine 提供的 GPU 型號硬體規格、機器系列對應、網路頻寬和儲存空間能力：

GPU 模型	機器系列	架構	GPU 記憶體和頻寬	每個運算執行個體的 GPU 數量	網路頻寬上限	本機 SSD	互連網路	支援 NVIDIA RTX 虛擬工作站 (vWS)
NVIDIA GB300	A4X Max	Blackwell Ultra	279 GB HBM3e (8 TBps)	4 (NVL72)	3,600 Gbps	12,000 GiB	NVLink 全網狀 (1,800 GBps)	否
NVIDIA GB200	A4X	Blackwell	186 GB HBM3e (8 TBps)	4 (NVL72)	2,000 Gbps	12,000 GiB	NVLink 全網狀 (1,800 GBps)	否
NVIDIA B200	A4	Blackwell	180 GB HBM3e (8 TBps)	8	3,600 Gbps	12,000 GiB	NVLink 全網狀 (1,800 GBps)	否
NVIDIA H200	A3 Ultra	Hopper	141 GB HBM3e (4.8 TBps)	8	3,600 Gbps	12,000 GiB	NVLink 全網狀 (900 GBps)	否
NVIDIA H100	A3 Mega、High、Edge	Hopper	80 GB HBM3 (3.35 TBps)	1、2、4、8	最多 1,000 Gbps	最多 6,000 GiB	NVLink 全網狀 (900 GBps)	否
NVIDIA A100 (80GB)	A2 Ultra	Ampere	80 GB HBM2e (1.9 TBps)	1、2、4、8	100 Gbps	最多 3,000 GiB	NVLink 全網狀 (600 GBps)	否
NVIDIA A100 (40GB)	A2 Standard	Ampere	40 GB HBM2 (1.6 TBps)	1、2、4、8、16	100 Gbps	最多 3,000 GiB	NVLink 全網狀 (600 GBps)	否
NVIDIA RTX PRO 6000	G4	Blackwell	96 GB GDDR7 (1.597 TBps)	1/8、1/4、1/2、1、2、4、8	200 Gbps	最多 3,000 GiB	PCIe Gen 5	是
NVIDIA L4	G2	Ada Lovelace	24 GB GDDR6 (300 GBps)	1、2、4、8	100 Gbps	最多 3,000 GiB	PCIe Gen 4	是
NVIDIA V100	N1+V100	Volta	16 GB HBM2 (900 GBps)	1、2、4、8	100 Gbps	支援	NVLink 環 (300 GBps)	否
NVIDIA T4 (即將停止支援)	N1+T4	Turing	16 GB GDDR6 (320 GBps)	1、2、4	100 Gbps	支援	PCIe Gen 3	是
NVIDIA P4 (即將停止支援)	N1+P4	Pascal	8 GB GDDR5 (192 GBps)	1、2、4	100 Gbps	支援	PCIe Gen 3	是

GPU 效能特性

選擇合適的 GPU 模型時，應考量工作負載的運算特性、記憶體需求、精確度格式和擴充性需求。

理想用途和工作負載需求

GPU 可加速處理 AI、視覺運算和科學建模等各種運算工作負載。如要瞭解各工作負載類別的架構需求，請選取下列其中一個分頁標籤：

AI/機器學習訓練

前沿基礎模型和混合專家模型 (MoE)：預先訓練大型 Transformer 模型、多模態架構和混合專家模型 (MoE) 網路時，需要高 Tensor Core 處理量、大容量高頻寬記憶體 (HBM) (每個 GPU 高達 279 GB)，以及超高速 NVLink 互連頻寬 (高達 1,800 GBps)，才能盡量縮短多節點同步延遲時間。建議的機器系列：
- A4X Max (NVIDIA GB300)
- A4X (NVIDIA GB200)
- A4 (NVIDIA B200)
- A3 Ultra (NVIDIA H200)
- A3 Mega (NVIDIA H100)
詳情請參閱 AI Hypercomputer 說明文件的「預先訓練模型的建議做法」一節。
微調和中度模型訓練：使用高效參數微調 (PEFT) 和低秩適應 (LoRA) 等技術調整現有基礎模型時，需要足夠的 GPU 記憶體來保存模型權重和梯度，但不需要百億億次級的多節點叢集。建議的機器系列：
- A3 High (NVIDIA H100)
- A2 (NVIDIA A100)
- G4 (NVIDIA RTX PRO 6000)
詳情請參閱 AI Hypercomputer 說明文件中的「微調模型的建議」。

AI/機器學習推論

大型模型推論 (超過 700 億個參數)：提供大型語言模型 (LLM) 時，可受益於高高頻寬記憶體 (HBM3e) 容量 (每個 GPU 141 至 186 GB)，在較少的 GPU 上容納模型權重，減少晶片間通訊負擔。建議的機器系列：
- A4X (NVIDIA GB200)
- A4 (NVIDIA B200)
- A3 Ultra (NVIDIA H200)
高處理量和即時服務：低延遲互動式查詢、串流回覆和圖像生成功能，採用硬體加速的量化數值格式，例如 8 位元浮點 (FP8)、8 位元整數 (INT8) 和 4 位元整數 (INT4)，盡可能提高每美元的要求處理量。建議的機器系列：
- G2 (NVIDIA L4)
- G4 (NVIDIA RTX PRO 6000)
- A3 Edge 和 High (NVIDIA H100)
詳情請參閱 AI Hypercomputer 說明文件中的「推論服務建議」。

圖像和視覺

3D CAD、數位孿生和虛擬工作站：互動式 3D 建模、電腦輔助設計 (CAD)、建築算繪和數位孿生 (例如 NVIDIA Omniverse) 使用專屬光線追蹤 (RT) 核心和 NVIDIA RTX 虛擬工作站 (vWS)，用於遠端視覺工作站和部分虛擬 GPU (vGPU)。建議的機器系列：
- G4 (NVIDIA RTX PRO 6000)
- G2 (NVIDIA L4)
影片處理和轉碼：直播串流管道、影片轉碼和媒體處理作業，使用專用硬體 NVIDIA 編碼器 (NVENC) 和 NVIDIA 解碼器 (NVDEC) 影片引擎，支援 AV1、高效率視訊編碼 (HEVC) 和 H.264 轉碼器。建議的機器系列：
- G2 (NVIDIA L4)
- G4 (NVIDIA RTX PRO 6000)

HPC 和模擬

科學模擬和建模：分子動力學 (例如 GROMACS 和 AMBER)、運算流體動力學 (CFD)、量子化學、天文物理學和天氣預報等應用，需要高效能的 64 位元雙精度 (FP64) 浮點運算和高記憶體頻寬。建議的機器系列：
- A4X (NVIDIA GB200)
- A4 (NVIDIA B200)
- A3 (NVIDIA H100)
- A2 (NVIDIA A100)
詳情請參閱 AI Hypercomputer 說明文件中的「HPC 建議」一節。

工作負載考量事項

GPU 通常不適用於下列工作負載：

依序和單一執行緒邏輯：如果工作主要由依序決策分支或序列執行管道組成，在單核心時脈頻率較高的 CPU 上執行，效能會更好。
標準網頁應用程式和微服務：通用網頁伺服器、關聯式資料庫管理系統 (RDBMS) 和標準 API 後端，如果沒有 AI 或圖形處理需求，就不會受益於 GPU 加速。這類工作負載託管於一般用途或運算最佳化 CPU 執行個體，更具成本效益。
針對 XLA 和圖形編譯框架最佳化的工作負載：如果您的深度學習模型是使用 JAX、PyTorch/XLA 或 TensorFlow 等框架建構，則可利用編譯器驅動的圖形最佳化 (XLA)。如果模型也適用自訂矩陣脈動陣列和光學電路切換，建議評估專為這些特定執行模式設計的其他加速器架構。

費用考量事項

Cloud de Confiance的 GPU 定價取決於下列因素：

特定 GPU 型號。
已連接的 GPU 數量。
已佈建的資源，例如 vCPU、系統記憶體和儲存空間。
您選取的計費模式。

以下各節概述 Cloud de Confiance中 GPU 的可用計費模式和折扣選項。

用量和購買模式

您可以根據可用性需求和成本容忍度，使用多種用量選項佈建 GPU 執行個體：

隨選：標準即付即用 (PAYG) 定價，按秒計費，無須長期承諾。隨需執行個體提供完整的生命週期彈性，適用於開發、測試和可變動的正式環境工作負載。
Spot VM：從剩餘Cloud de Confiance 容量中提取的運算執行個體，提供大幅折扣 (最高可享隨選費率 60% 至 91% 的折扣)。 Cloud de Confiance 可停止或刪除 Spot VM，並在 30 秒前通知您，以回收容量，因此這些運算執行個體非常適合用於容錯批次機器學習訓練、檢查點批次工作和分散式資料處理。
彈性啟動型 VM：採用 Dynamic Workload Scheduler (DWS) 的動態排程選項，可在指定期間內，以折扣費率為固定時長的工作負載 (最多 7 天) 佈建 GPU 資源。
預訂：
- 預留項目：您可以預留標準 GPU 的運算資源，並立即使用。
- 未來預留項目 (日曆模式和 AI Hypercomputer)：您可以要求預留未來某個日期和時間的叢集式 GPU 容量。如果 Cloud de Confiance 核准要求，您就能在指定時間開始使用容量，並保留專屬存取權，直到預留項目到期為止。

折扣選項

承諾使用折扣 (CUD)：只要承諾在特定區域維持一定的資源用量，即可享有大幅折扣 (3 年承諾使用合約最高可享 55% 折扣，1 年承諾使用合約最高可享 37% 折扣)。如為加速器最佳化機型和連接的 GPU，則須購買與預留項目連結的資源承諾使用合約，才能享有 CUD。
續用折扣 (SUD)：如果 N1 運算執行個體和連接的 GPU 在帳單月份中的執行時間超過 25%，系統會自動套用折扣。加速器最佳化機器系列 (A 和 G 系列) 不適用 SUD。

如要查看所有區域的詳細每小時和每月定價，請參閱 GPU 定價頁面和 VM 執行個體定價頁面。

如需所有加速器機型的用量選項可用性詳細功能矩陣，請參閱「依機型查看用量選項可用性」。

後續步驟

探索加速器最佳化機器家族中的 GPU 機器。
瞭解如何建立附加 GPU 的 VM。
如要瞭解 Cloud de Confiance的超級運算 AI 架構，請參閱 AI Hypercomputer 總覽。