GKE での AI / ML ワークロードの概要

このページでは、AI / ML ワークロード用の Google Kubernetes Engine（GKE）のコンセプトの概要について説明します。GKE は、Google が管理する Kubernetes オープンソース コンテナ オーケストレーション プラットフォームです。

Google Kubernetes Engine は、AI や ML のアプリケーションなど、すべてのコンテナ化されたワークロードを実行するためのスケーラブルで柔軟かつ費用対効果の高いプラットフォームを提供します。大規模な基盤モデルのトレーニング、大規模な推論リクエストの処理、包括的な AI Platform の構築など、GKE は必要な制御とパフォーマンスを提供します。

このページは、AI / ML ワークロードを実行するためのスケーラブルで自動化されたマネージド Kubernetes ソリューションをお探しのデータと AI のスペシャリスト、クラウド アーキテクト、オペレーター、デベロッパーを対象としています。一般的なロールの詳細については、GKE ユーザーの一般的なロールとタスクをご覧ください。

GKE で AI / ML ワークロードを使ってみる

GKE の無料枠を使用すると、数分で GKE の探索を開始できます。これにより、クラスタ管理に費用をかけずに Kubernetes を開始できます。

1. Cloud de Confiance コンソールで使ってみる

2. 次のクイックスタートを試してみてください。
   • GKE での推論: 事前定義されたアーキテクチャを使用して、推論用に AI 大規模言語モデル（LLM）を GKE にデプロイします。
   • GKE でのトレーニング: GKE に AI トレーニング モデルをデプロイし、予測を Cloud Storage に保存します。
3. AI / ML ワークロードのアクセラレータ使用オプションについてで、プラットフォームのアクセラレータ（GPU と TPU）の計画と取得に関するガイダンスとリソースをご確認ください。

一般的なユースケース

GKE は、すべての AI ワークロードをサポートできる統合プラットフォームを提供します。

• AI Platform の構築: エンタープライズ プラットフォーム チーム向けに、GKE は多様なニーズに対応する標準化されたマルチテナント プラットフォームを柔軟に構築できます。
• 低レイテンシのオンライン サービング: 生成 AI アプリケーションを構築するデベロッパー向けに、GKE と推論ゲートウェイは、費用を管理しながら応答性に優れたユーザー エクスペリエンスを実現するために必要な最適化されたルーティングと自動スケーリングを提供します。

AI / ML ワークロードに最適なプラットフォームを選択する

Cloud de Confiance by S3NS には、フルマネージドから完全に構成可能なものまで、ML への移行をサポートするさまざまな AI インフラストラクチャ プロダクトが用意されています。適切なプラットフォームを選択するには、制御、柔軟性、管理レベルに関する具体的なニーズを考慮する必要があります。

• インフラストラクチャの制御と柔軟性: インフラストラクチャを高度に制御する必要がある、カスタム パイプラインを使用する必要がある、またはカーネルレベルのカスタマイズが必要である。
• 大規模なトレーニングと推論: GKE のスケーリングと高パフォーマンスを使用して、非常に大規模なモデルをトレーニングしたり、最小限のレイテンシでモデルをサービングしたりする場合。
• 大規模な費用対効果: GKE と Spot VM および Flex-start VM のインテグレーションを使用して費用を効果的に管理し、費用の最適化を優先する場合。
• ポータビリティとオープン スタンダード: ベンダーのロックインを回避し、Kubernetes を使用してワークロードをどこでも実行したい。また、既存の Kubernetes の専門知識やマルチクラウド戦略がある場合。

次の方法も検討できます。

GKE が AI / ML ワークロードを強化する方法

GKE は、大規模なトレーニングから低レイテンシの推論まで、AI / ML ライフサイクルの各段階を簡素化して高速化する一連の特殊なコンポーネントを提供します。

次の表に、AI / ML ワークロードまたは運用上の目標をサポートする GKE の機能の概要を示します。

次のステップ