画像処理装置（GPU）は、超並列ワークロードを同時に処理するように設計された特殊なハードウェア アクセラレータです。Cloud de Confiance by S3NSでは、NVIDIA GPU を Compute Engine インスタンスとベアメタル インスタンスにアタッチして、人工知能（AI）や機械学習（ML）のトレーニング、ハイ パフォーマンス コンピューティング（HPC）、グラフィック レンダリング、動画のコード変換など、要求の厳しいワークロードを高速化できます。
このドキュメントでは、使用可能な GPU モデル、マシンシリーズのマッピング、パフォーマンス特性、理想的なユースケース、料金に関する考慮事項など、 Cloud de Confianceの GPU の概要について説明します。
GPU とは
GPU は、元々コンピュータ グラフィックス用に設計された超並列プロセッサであり、AI、ML、科学技術計算に不可欠なコンピューティング エンジンに進化しました。中央処理装置（CPU）には、シーケンシャルなシングルスレッド処理用に最適化された強力なコアがいくつか含まれていますが、GPU は、大規模なデータセットで数学的な計算を同時に実行するように設計された、数千の小さな高効率コアで構成されています。
GPU システムの主なアーキテクチャ コンポーネントは次のとおりです。
CUDA コア: 単一命令複数スレッド（SIMT）アーキテクチャを使用して、複数の並列スレッドで同時に命令を実行する汎用ベクトル処理ユニット。CUDA コアは、標準のベクトル計算と浮動小数点計算（FP32 や FP64 など）のほか、一般的なグラフィック レンダリングや物理シミュレーションを処理します。
Tensor Core: ニューラル ネットワークの計算を高速化するように設計された、専用の行列積和演算（MMA）処理ユニット。Tensor Core は、FP4、FP8、INT8、TF32、FP16/BF16 などの特殊な数値精度形式で、AI のトレーニングと推論を指数関数的に高速化します。
高帯域幅メモリ: 高帯域幅メモリ（HBM）やグラフィックス ダブルデータレート（GDDR）など、最大数テラバイト/秒（TBps）の帯域幅を提供する専用のオンデバイス メモリ。この高スループットにより、集中的な行列演算中に数千の GPU コアにデータが供給されます。
高速相互接続（NVLink と NVSwitch）: 同じサーバー上またはノード間で複数の GPU を接続する、高帯域幅、低レイテンシの相互接続テクノロジー。NVLink は、低速の PCIe バスをバイパスする直接的な GPU 間通信を提供します。これにより、GPU のクラスタが単一のコヒーレントなアクセラレータ メモリプールとして機能します。
仮想ワークステーション ソフトウェア（NVIDIA RTX vWS）: リモート ビジュアル ワークステーション、コンピュータ支援設計（CAD）、デジタル コンテンツ作成、3D モデリングに仮想化されたグラフィック アクセラレーションを提供するエンタープライズ ソフトウェア。
GPU モデルとマシンシリーズ
Cloud de Confiance は、さまざまなワークロードと予算のニーズに対応するため、複数の世代の NVIDIA GPU を提供しています。Compute Engine では、GPU は、事前構成済みのアクセラレータ最適化マシンシリーズ（A シリーズと G シリーズ）として、または汎用 N1 マシンシリーズのアタッチ可能なアクセラレータとして使用できます。
次の表に、Compute Engine で使用可能な GPU モデルのハードウェア仕様、マシンシリーズのマッピング、ネットワーク帯域幅、ストレージ機能の概要を示します。
| GPU モデル | マシンシリーズ | アーキテクチャ | GPU メモリと帯域幅 | コンピューティング インスタンスあたりの GPU 数 | 最大ネットワーク帯域幅 | ローカル SSD | 相互接続 | NVIDIA RTX 仮想ワークステーション（vWS）のサポート |
|---|---|---|---|---|---|---|---|---|
| NVIDIA GB300 | A4X Max | Blackwell Ultra | 279 GB HBM3e（8 TBps） | 4（NVL72） | 3,600 Gbps | 12,000 GiB | NVLink フルメッシュ（1,800 GBps） | いいえ |
| NVIDIA GB200 | A4X | Blackwell | 186 GB HBM3e（8 TBps） | 4（NVL72） | 2,000 Gbps | 12,000 GiB | NVLink フルメッシュ（1,800 GBps） | いいえ |
| NVIDIA B200 | A4 | Blackwell | 180 GB HBM3e（8 TBps） | 8 | 3,600 Gbps | 12,000 GiB | NVLink フルメッシュ（1,800 GBps） | いいえ |
| NVIDIA H200 | A3 Ultra | ホッパー | 141 GB HBM3e（4.8 TBps） | 8 | 3,600 Gbps | 12,000 GiB | NVLink フル メッシュ（900 GBps） | いいえ |
| NVIDIA H100 | A3 Mega、High、Edge | ホッパー | 80 GB HBM3（3.35 TBps） | 1、2、4、8 | 最大 1,000 Gbps | 最大 6,000 GiB | NVLink フル メッシュ（900 GBps） | いいえ |
| NVIDIA A100（80 GB） | A2 Ultra | Ampere | 80 GB HBM2e（1.9 TBps） | 1、2、4、8 | 100 Gbps | 最大 3,000 GiB | NVLink フル メッシュ（600 GBps） | いいえ |
| NVIDIA A100（40 GB） | A2 標準 | Ampere | 40 GB HBM2（1.6 TBps） | 1、2、4、8、16 | 100 Gbps | 最大 3,000 GiB | NVLink フル メッシュ（600 GBps） | いいえ |
| NVIDIA RTX PRO 6000 | G4 | Blackwell | 96 GB GDDR7（1.597 TBps） | 1/8、1/4、1/2、1、2、4、8 | 200 Gbps | 最大 3,000 GiB | PCIe Gen 5 | ○ |
| NVIDIA L4 | G2 | エイダ ラブレス | 24 GB GDDR6（300 GBps） | 1、2、4、8 | 100 Gbps | 最大 3,000 GiB | PCIe Gen 4 | ○ |
| NVIDIA V100 | N1+V100 | Volta | 16 GB HBM2（900 GBps） | 1、2、4、8 | 100 Gbps | サポート対象 | NVLink Ring（300 GBps） | いいえ |
| NVIDIA T4（サポート終了間近） | N1+T4 | Turing | 16 GB GDDR6（320 GBps） | 1、2、4 | 100 Gbps | サポート対象 | PCIe Gen 3 | ○ |
| NVIDIA P4（サポート終了間近） | N1+P4 | Pascal | 8 GB GDDR5（192 GBps） | 1、2、4 | 100 Gbps | サポート対象 | PCIe Gen 3 | ○ |
GPU のパフォーマンス特性
適切な GPU モデルの選択は、ワークロードのコンピューティング特性、メモリ要件、精度形式、スケーラビリティのニーズによって異なります。
理想的なユースケースとワークロードの要件
GPU は、AI、ビジュアル コンピューティング、科学モデリングなど、さまざまな計算ワークロードを高速化します。各ワークロード カテゴリのアーキテクチャ要件を理解するには、次のいずれかのタブを選択します。
AI / ML トレーニング
最先端の基盤モデルと Mixture of Experts（MoE）: 大規模な Transformer モデル、マルチモーダル アーキテクチャ、Mixture of Experts（MoE）ネットワークの事前トレーニングには、高い Tensor Core スループット、大容量の高帯域幅メモリ（HBM）（GPU あたり最大 279 GB）、超高速の NVLink 相互接続帯域幅（最大 1,800 GBps）が必要です。これにより、マルチノード同期のレイテンシを最小限に抑えることができます。推奨されるマシンシリーズ:
詳細については、AI Hypercomputer のドキュメントのモデルの事前トレーニングに関する推奨事項をご覧ください。
ファインチューニングと中程度のモデル トレーニング: パラメータ エフィシエント ファインチューニング（PEFT）や Low-Rank Adaptation（LoRA）などの手法を使用して既存の基盤モデルを適応させるには、エクサスケールのマルチノード クラスタリングを必要とせずに、モデルの重みと勾配を保持するのに十分な GPU メモリが必要です。推奨されるマシンシリーズ:
詳細については、AI Hypercomputer のドキュメントのモデルのファインチューニングに関する推奨事項をご覧ください。
AI / ML 推論
大規模モデルの推論（700 億を超えるパラメータ）: 大規模言語モデル（LLM）のサービングでは、高帯域幅メモリ（HBM3e）の容量（GPU あたり 141 ～ 186 GB）が大きいため、より少ない GPU でモデルの重みを適合させ、チップ間の通信オーバーヘッドを削減できます。推奨されるマシンシリーズ:
高スループットとリアルタイム サービング: 低レイテンシのインタラクティブ クエリ、ストリーミング レスポンス、画像生成では、8 ビット浮動小数点（FP8）、8 ビット整数（INT8）、4 ビット整数（INT4）などのハードウェア アクセラレーションによる量子化数値形式を使用して、1 ドルあたりのリクエスト スループットを最大化します。推奨されるマシンシリーズ:
- G2（NVIDIA L4）
- G4（NVIDIA RTX PRO 6000）
- A3 Edge、High（NVIDIA H100）
詳細については、AI Hypercomputer のドキュメントの推論のサービングに関する推奨事項をご覧ください。
グラフィックとビジュアル
3D CAD、デジタルツイン、仮想ワークステーション: インタラクティブな 3D モデリング、コンピュータ支援設計（CAD）、建築レンダリング、デジタルツイン（NVIDIA Omniverse など）は、専用のレイ トレーシング（RT）コアと NVIDIA RTX 仮想ワークステーション（vWS）をリモート ビジュアル ワークステーションとフラクショナル仮想 GPU（vGPU）に使用します。推奨されるマシンシリーズ:
動画処理とコード変換: ライブ ストリーミング パイプライン、動画のコード変換、メディア処理では、AV1、High Efficiency Video Coding（HEVC）、H.264 コーデックをサポートする専用ハードウェア NVIDIA Encoder（NVENC）と NVIDIA Decoder（NVDEC）動画エンジンを使用します。推奨されるマシンシリーズ:
HPC とシミュレーション
ワークロードの考慮事項
通常、GPU は次のワークロードには適していません。
- シーケンシャル ロジックとシングルスレッド ロジック: シーケンシャルな決定ブランチやシリアル実行パイプラインが支配的なタスクは、シングルコアのクロック周波数が高い CPU でパフォーマンスが向上します。
- 標準のウェブ アプリケーションとマイクロサービス: 汎用ウェブサーバー、リレーショナル データベース管理システム（RDBMS）、AI やグラフィック処理の要件がない標準の API バックエンドは、GPU アクセラレーションのメリットを享受できません。これらのワークロードは、汎用またはコンピューティング最適化 CPU インスタンスでホストする方が費用対効果が高くなります。
- XLA とグラフコンパイル フレームワーク用に最適化されたワークロード: ディープ ラーニング モデルが JAX、PyTorch/XLA、TensorFlow などのフレームワークを使用して構築されている場合、コンパイラ駆動のグラフ最適化（XLA）を利用できます。モデルがカスタム マトリックス シストリック アレイと光回路スイッチングのメリットも享受できる場合は、それらの特定の実行パラダイム向けに設計された代替アクセラレータ アーキテクチャの評価を検討してください。
料金に関する考慮事項
Cloud de Confianceでの GPU の料金は、次の要因によって決まります。
特定の GPU モデル。
接続されている GPU の数。
プロビジョニングされたリソース（vCPU、システムメモリ、ストレージなど）。
選択した使用量モデル。
以降のセクションでは、 Cloud de Confianceでの GPU の使用量モデルと割引オプションについて説明します。
使用量モデルと購入モデル
可用性の要件とコスト許容度に応じて、いくつかの使用オプションを使用して GPU インスタンスをプロビジョニングできます。
オンデマンド: 標準の従量課金制（PAYG）料金。長期契約なしで、1 秒単位で課金されます。オンデマンド インスタンスは、開発、テスト、変動する本番環境ワークロードに対して、ライフサイクル全体にわたる柔軟性を提供します。
Spot VM:Cloud de Confiance の余剰キャパシティを利用する、大幅に割引されたコンピューティング インスタンス（オンデマンド料金から最大 60 ～ 91% 割引）。 Cloud de Confiance は、30 秒前に通知して Spot VM を停止または削除し、容量を再利用できるため、これらのコンピューティング インスタンスは、フォールト トレラントなバッチ ML トレーニング、チェックポイントされたバッチジョブ、分散データ処理に最適です。
Flex Start VM: Dynamic Workload Scheduler（DWS）を活用した動的スケジューリング オプション。固定期間のワークロード（最大 7 日間）に対して、指定された期間内に GPU リソースを割引料金でプロビジョニングします。
予約:
- 予約: 標準 GPU の容量を予約して、予約した容量をすぐに使用できます。
- 将来の予約（カレンダー モードと AI Hypercomputer）: 将来の日時でクラスタ化された GPU 容量の予約をリクエストできます。 Cloud de Confiance がリクエストを承認すると、指定した時刻に容量の使用を開始し、予約が終了するまで排他的にアクセスできます。
割引オプション
確約利用割引（CUD）: 特定のリージョンで一定レベルのリソース使用量を維持することを確約する代わりに、大幅な割引（3 年間のコミットメントで最大 55%、1 年間のコミットメントで最大 37%）が適用されます。アクセラレータ最適化マシンタイプとアタッチされた GPU の場合、CUD を適用するには、予約にアタッチされたリソースベースのコミットメントを購入する必要があります。
継続利用割引（SUD）: N1 コンピューティング インスタンスと接続された GPU が請求月の 25% を超えて実行された場合に適用される自動割引。アクセラレータ最適化マシンシリーズ（A シリーズと G シリーズ）は SUD を受け取りません。
すべてのリージョンの時間単位および月単位の料金の詳細については、GPU の料金ページと VM インスタンスの料金ページをご覧ください。
すべてのアクセラレータ マシンタイプで使用可能な消費オプションの詳細な機能マトリックスについては、各マシンタイプで利用可能な消費オプションをご覧ください。
次のステップ
- アクセラレータ最適化マシン ファミリーの GPU マシンを確認する。
- GPU が接続された VM を作成する方法を学習する。
- AI Hypercomputer の概要で、 Cloud de Confianceのスーパーコンピューティング AI アーキテクチャを確認する。