AI ゾーン

AI ゾーンは、AI と ML のトレーニングと推論のワークロードに使用される特殊なゾーンです。ML アクセラレータ(GPU と TPU)の容量が大幅に増加します。

リージョン内では、AI ゾーンは標準(AI 以外)ゾーンから地理的に離れた場所にあります。次の図は、us-south1 リージョンの標準ゾーンから離れた場所にある AI ゾーン(us-south1-ai1b)の例を示しています。

親ゾーン

各 AI ゾーンは、リージョン内の標準ゾーン(親ゾーン)に関連付けられています。親ゾーンは、AI ゾーンと同じサフィックスを持つ標準ゾーンです。たとえば、図では us-central1-a は us-central1-ai1a の親ゾーンです。ソフトウェアの更新スケジュールを共有し、インフラストラクチャを共有することもあります。つまり、親ゾーンに影響するソフトウェアやインフラストラクチャの問題は、AI ゾーンにも影響する可能性があります。高可用性ソリューションを設計する際は、高可用性(HA)に関する考慮事項を確認して、親ゾーンへの依存関係を考慮してください。

AI ゾーンを使用するタイミング

AI ゾーンは、AI ワークロードと ML ワークロード向けに最適化されています。次のガイダンスを使用して、ワークロードのうち AI ゾーンに最適なものと、標準ゾーンに適したものを判断します。

推奨する用途:

  • 大規模なトレーニング: 多数のアクセラレータを使用できるため、大規模言語モデル(LLM)や基盤モデルのトレーニングなど、大規模なトレーニング ワークロードに最適です。

  • 小規模なトレーニング、ファインチューニング、一括推論、再トレーニング: AI ゾーンは、大量のアクセラレータ容量を必要とするワークロードに適しています。

  • リアルタイム ML 推論: AI ゾーンは、リアルタイム推論ワークロードをサポートします。パフォーマンスは、アプリケーション設計とモデルのレイテンシ要件によって異なります。特に、ワークロードで親リージョンへの往復リクエストが必要な場合は、パフォーマンスが低下します。

非推奨:

  • ML 以外のワークロード: AI ゾーンでは、すべての Cloud de Confiance by S3NS サービスがローカルで提供されるわけではないため、ML 以外のワークロードは標準ゾーンで実行することをおすすめします。

AI ゾーンからサービスにアクセスする

Cloud de Confiance by S3NS リージョン内のすべての Cloud de Confiance by S3NS プロダクトには、その AI ゾーンからアクセスできます。ただし、AI ゾーンはリージョンの標準ゾーンのロケーションから物理的に分離されているため、AI ゾーンから Cloud de Confiance by S3NS リージョンのサービスにアクセスすると、ネットワーク レイテンシが増加する可能性があります。

Cloud de Confiance コンソール、Google Cloud CLI、REST API で AI ゾーンを表示するには、プロジェクトで AI ゾーンの可視性を有効にする必要があります。AI ゾーンの可視性は、アクセス制御と組織ポリシー サービスの境界とは別です。詳細については、AI ゾーンの公開設定を管理するをご覧ください。

特定の商品では、AI ゾーンでゾーンリソースをローカルに作成またはアクセスできます。これらのサービスの詳細については、次の表をご覧ください。

プロダクト 説明
Google Kubernetes Engine(GKE) ComputeClass、ノード自動プロビジョニング、GKE Standard ノードプールを使用した構成など、GKE クラスタで AI ゾーンを使用するための設定。

GKE での AI ゾーンの使用
Cloud Storage AI ゾーン内のワークロード用のオブジェクト ストレージの構成。これには、アクティブなジョブ中のパフォーマンスを最大化するためのゾーン ストレージと、データセットとモデル チェックポイント用の永続ストレージが含まれます。

Cloud Storage で AI ゾーンを使用する
Compute Engine コンソール、Google Cloud CLI、REST API を使用して、利用可能な AI ゾーンを特定する方法。命名規則、アクセラレータ タイプ、マシン

でフィルタする方法など。利用可能な AI ゾーンを確認する
Google Cloud Managed Lustre GKE Standard にデプロイされた AI / ML ワークロードのパフォーマンスを最適化する

Google Cloud Managed Lustre で AI / ML ワークロードを最適化する

ロケーション

AI ゾーンは次のロケーションで利用できます。

AI ゾーン AI ゾーンのロケーション Cloud de Confiance by S3NS リージョン Cloud de Confiance by S3NS リージョンのロケーション 親ゾーン
europe-west4-ai1a デコーイ(オランダ、ヨーロッパ) europe-west4 エームスハーヴェン(オランダ、ヨーロッパ) europe-west4-a
us-south1-ai1b テキサス州オースティン(北米) us-south1 テキサス州ダラス(北米) us-south1-b
us-central1-ai1a ネブラスカ州リンカーン(北米) us-central1 アイオワ州カウンシル ブラフス(北米) us-central1-a

AI ゾーンで使用可能な GPU と TPU のタイプを確認するには、以下をご覧ください。

AI ゾーンにリソースをデプロイする

AI ゾーンには、 Cloud de Confiance コンソール、Google Cloud CLI、または REST からアクセスできます。ただし、 Cloud de Confiance コンソールを使用して VM を作成する場合は、AI ゾーンを手動で選択する必要があります。標準ゾーンの場合と同様に、自動的に選択されることはありません。次の機能で AI ゾーンを使用するには、これらのリソースを設定するときに AI ゾーンを明示的に選択する必要があります。

  • 特定の Compute Engine 機能: リージョン一括挿入オペレーションやリージョン マネージド インスタンス グループ(MIG)など、特定の Compute Engine リージョン機能では、AI ゾーンは自動的に選択されません。

    • 一括挿入: リージョンの一括挿入オペレーションに AI ゾーンを含めるには、locationPolicy.zones[] フィールドを使用する必要があります。locations[] フィールドは AI ゾーンをサポートしていません。次の例は、ゾーン us-south1-ai1b のこの形式を示しています。

      {
        "locationPolicy": {
          "zones": [
            "zones/us-south1-ai1b"
          ]
        }
      }
      
    • リージョン MIG: 選択したリージョンの AI ゾーンにインスタンスを作成するには、他の優先ゾーンとともに、ディストリビューション ポリシー(distributionPolicy.zones[])で明示的に指定する必要があります。次の例は、ゾーン us-south1-ai1b のこの形式を示しています。

      {
        "distributionPolicy": {
          "zones": [
            "zones/us-south1-a",
            "zones/us-south1-b",
            "zones/us-south1-ai1b"
          ]
        }
      }
      
  • 特定の GKE 機能: 特定の GKE リージョン機能(リージョン GKE クラスタなど)では、AI ゾーンは自動的に選択されません。GKE の詳細については、このドキュメントの GKE で AI ゾーンを使用するをご覧ください。

  • Vertex AI: GKE ベースの Vertex AI リージョン プロダクトでは、リージョン クラスタに AI ゾーンを含めるように GKE を構成する必要があります。Vertex AI を有効にする必要はありません。この構成は Vertex AI が管理します。

  • Cloud de Confiance by S3NS Service Metadata Locations API: locations.list API を使用する場合は、--extraLocationTypes フラグを有効にして、AI ゾーンが使用を意図しているユーザーにのみ表示されるようにする必要があります。

  • アクセラレータ以外のワークロードの制限: Compute Engine では、AI ゾーンでの CPU のみの VM の作成が制限されます。

GKE で AI ゾーンを使用する

デフォルトでは、GKE はワークロードを AI ゾーンにデプロイしません。AI ゾーンを使用するには、次のいずれかのオプションを構成します。

  • ComputeClass: AI ゾーンでオンデマンド TPU をリクエストするように、優先度を最も高く設定します。ComputeClass を使用すると、ワークロードのハードウェア構成の優先順位付きリストを定義できます。例については、ComputeClass についてをご覧ください。

  • ノード自動プロビジョニング: Pod 仕様で nodeSelector または nodeAffinity を使用して、AI ゾーンにノードプールを作成するようにノード自動プロビジョニングに指示します。ワークロードが AI ゾーンを明示的にターゲットにしていない場合、ノード自動プロビジョニングは、新しいノードプールを作成するときに標準ゾーンのみを考慮します。この構成により、AI / ML モデルを実行しないワークロードは、明示的に構成しない限り、標準ゾーンに留まります。nodeSelector を使用するマニフェストの例については、自動作成されたノードのデフォルト ゾーンを設定するをご覧ください。

  • GKE Standard: ノードプールを直接管理する場合は、ノードプールを作成するときに --node-locations フラグで AI ゾーンを使用します。例については、GKE Standard に TPU ワークロードをデプロイするをご覧ください。

制限事項

AI ゾーンでは、次の機能は使用できません。

AI ゾーンに関する設計上の考慮事項

AI ゾーンを使用するようにアプリケーションを設計する場合は、次の点を考慮してください。

高可用性(HA)に関する考慮事項

AI ゾーンは、ソフトウェアのロールアウトとインフラストラクチャを親ゾーンと共有します。ワークロードの高可用性を確保するには、ゾーンを自動または手動で選択するときに、次のデプロイ パターンを避けてください。

  • AI ゾーンとその親ゾーンに HA ワークロードをデプロイしないでください。

  • 同じ親ゾーンを共有する 2 つの AI ゾーンに HA ワークロードをデプロイしないでください。

ストレージのベスト プラクティス

費用、耐久性、パフォーマンスのバランスを取るために、階層型ストレージ アーキテクチャをおすすめします。

  1. コールド ストレージ レイヤ: 標準ゾーンのリージョン Cloud Storage バケットを使用して、トレーニング データセットとモデル チェックポイントを永続的で耐久性の高いストレージに保存します。
  2. パフォーマンス レイヤ: 特殊なゾーン ストレージ サービスを使用して、高速キャッシュまたは一時的なスクラッチ スペースとして機能させます。このアプローチにより、ゾーン間のレイテンシが排除され、アクティブなジョブ中のグッドプットが最大化されます。

    GPU と TPU が完全に飽和状態になり、グッドプットが最大になるように、コンピューティング リソースと同じ AI ゾーンにパフォーマンス レイヤをプロビジョニングします。

AI ゾーンで AI / ML システムのパフォーマンスを最適化するには、次のストレージ ソリューションをおすすめします。

ストレージ サービス 説明 ユースケース
Cloud Storage の Anywhere Cache 機能 フルマネージド型の SSD ベースのゾーン読み取りキャッシュ。バケットから頻繁に読み取られるデータを AI ゾーンに移動します。 推奨する用途:
  • 読み取り負荷の高いワークロード
  • 低レイテンシのモデル トレーニングとサービング
非推奨の用途:
  • 完全な POSIX 準拠が必要なアプリケーション

AI ゾーンを追加または除外する

ゾーンのリストから AI ゾーンを手動で追加または除外するには、フィルタを使用します。

次のステップ