AI 可用區

AI 可用區是專門用於人工智慧和機器學習 (AI 和 ML) 訓練與推論工作負載的可用區。提供大量機器學習加速器 (GPU 和 TPU) 運算資源。

在區域內，AI 可用區的地理位置與標準 (非 AI) 可用區相距甚遠。下圖顯示 AI 可用區 (us-south1-ai1b) 位於 us-south1 區域，相較於標準可用區更遠。

家長專區

每個 AI 可用區都會與該地區的標準可用區建立關聯，後者稱為「父項可用區」。父項區域是標準區域，後置字串與 AI 區域相同。舉例來說，在圖表中，us-central1-a 是 us-central1-ai1a 的父項區域。他們會共用軟體更新時間表，有時也會共用基礎架構。也就是說，如果父項區域發生任何軟體或基礎架構問題，AI 區域也可能受到影響。設計高可用性解決方案時，請參閱高可用性 (HA) 注意事項，考量對父項可用區的依附元件。

使用 AI 可用區的時機

AI 可用區經過最佳化調整，可以處理 AI 和機器學習工作負載。請按照下列指南，判斷哪些工作負載最適合 AI 可用區，哪些則適合標準可用區。

適用於：

• 大規模訓練：由於有大量加速器可用，因此非常適合大規模訓練工作負載，例如大型語言模型 (LLM) 和基礎模型訓練。

• 小規模訓練、微調、大量推論和重新訓練：AI 可用區非常適合需要大量加速器容量的工作負載。

• 即時機器學習推論：AI 可用區支援即時推論工作負載。效能取決於應用程式設計和模型延遲要求，尤其是當工作負載需要往返父項區域的要求時。

不適合：

• 非機器學習工作負載：由於 AI 可用區不會在本地提供所有 Cloud de Confiance by S3NS 服務，因此建議您在標準可用區中執行非機器學習工作負載。

從 AI 可用區存取服務

您可以從 AI 區域存取 Cloud de Confiance by S3NS 區域中的所有 Cloud de Confiance by S3NS 產品。不過，從 AI 可用區存取 Cloud de Confiance by S3NS 區域中的服務可能會增加網路延遲時間，因為 AI 可用區與區域標準可用區的位置在實體上是分開的。

如要在 Cloud de Confiance 控制台、Google Cloud CLI 和 REST API 中查看 AI 可用區，請為專案啟用 AI 可用區顯示功能。AI 區域的顯示設定與存取控管和機構政策服務界線不同。詳情請參閱「管理 AI 可用區的顯示設定」。

特定產品支援在 AI 區域中，於本機建立或存取區域資源。如要進一步瞭解這些服務，請參閱下表：

產品	說明
Google Kubernetes Engine (GKE)	設定在 GKE 叢集中使用 AI 可用區，包括使用 ComputeClass、自動佈建節點和 GKE Standard 節點集區進行設定。 在 GKE 中使用 AI 區域
Cloud Storage	為 AI 區域中的工作負載設定物件儲存空間，包括區域儲存空間，以便在執行中的作業期間盡量提升效能，以及用於資料集和模型檢查點的永久儲存空間。 搭配 Cloud Storage 使用 AI 區域
Compute Engine	如何使用控制台、Google Cloud CLI 和 REST API 找出可用的 AI 可用區，包括如何依命名慣例、加速器類型或機器篩選 找出可用的 AI 可用區
Google Cloud Managed Lustre	在 GKE Standard 上部署的 AI 和機器學習工作負載，可透過下列方式提升效能： 使用 Google Cloud Managed Lustre 最佳化 AI 和機器學習工作負載

位置

AI 區域適用於下列位置：

AI 可用區	AI 可用區位置	Cloud de Confiance by S3NS 區域	Cloud de Confiance by S3NS 區域位置	上層區域
europe-west4-ai1a	荷蘭德庫伊 (歐洲)	europe-west4	荷蘭埃姆斯港 (歐洲)	europe-west4-a
us-south1-ai1b	德州奧斯汀 (北美洲)	us-south1	德州達拉斯 (北美洲)	us-south1-b
us-central1-ai1a	內布拉斯加州林肯市 (北美洲)	us-central1	愛荷華州康索布魯夫 (北美洲)	us-central1-a

如要查看 AI 區域提供的 GPU 和 TPU 類型，請參閱下列內容：

• 查看 AI 區域提供的 GPU 類型和位置
• 查看 AI 區域適用的 TPU 類型和位置

將資源部署至 AI 可用區

您可以透過 Cloud de Confiance 控制台、Google Cloud CLI 或 REST 存取 AI 區域。不過，使用 Cloud de Confiance 控制台建立 VM 時，必須手動選取 AI 區域。系統不會為您選取，就像標準區域一樣。如要搭配下列功能使用 AI 區域，您必須在設定這些資源時明確選取 AI 區域。

• 特定 Compute Engine 功能：在特定 Compute Engine 區域功能中，系統不會自動選取 AI 區域，例如區域大量插入作業或區域代管執行個體群組 (MIG)。

  • 大量插入：如要在區域大量插入作業中加入 AI 可用區，必須使用 locationPolicy.zones[] 欄位。「locations[]」欄位不支援 AI 可用區。以下範例顯示區域 us-south1-ai1b 的格式：

    {
      "locationPolicy": {
        "zones": [
          "zones/us-south1-ai1b"
        ]
      }
    }
    

  • 區域性 MIG：如要在所選區域的 AI 可用區中建立執行個體，您必須在分配政策 (distributionPolicy.zones[]) 中明確指定該可用區，以及其他偏好的可用區。以下範例顯示區域 us-south1-ai1b 的格式：

    {
      "distributionPolicy": {
        "zones": [
          "zones/us-south1-a",
          "zones/us-south1-b",
          "zones/us-south1-ai1b"
        ]
      }
    }
    

• 特定 GKE 功能：在特定 GKE 區域功能中，系統不會自動選取 AI 可用區，例如區域 GKE 叢集。如要進一步瞭解 GKE，請參閱本文的「在 GKE 中使用 AI 區域」一節。

• Vertex AI：以 GKE 為基礎的 Vertex AI 區域產品必須設定 GKE，才能在區域叢集中納入 AI 區域。您不必選擇加入 Vertex AI。Vertex AI 會管理這項設定。

• Cloud de Confiance by S3NS Service Metadata Locations API：使用 locations.list API 時，請務必啟用 --extraLocationTypes 標記，確保 AI 區域只會顯示給打算使用這些區域的人。

• 非加速器工作負載限制：Compute Engine 會限制在 AI 可用區建立僅含 CPU 的 VM。

在 GKE 中使用 AI 可用區

根據預設，GKE 不會在 AI 區域部署工作負載。如要使用 AI 區域，請設定下列其中一個選項：

• ComputeClasses：將最高優先順序設為在 AI 區域中要求隨選 TPU。您可以透過 ComputeClass，為工作負載定義優先順序清單的硬體設定。如需範例，請參閱「關於 ComputeClass」。

• 自動佈建節點：在 Pod 規格中使用 nodeSelector 或 nodeAffinity，指示自動佈建節點功能在 AI 可用區中建立節點集區。如果工作負載未明確指定 AI 區域，節點自動佈建功能只會在建立新節點集區時考量標準區域。這項設定可確保除非您明確設定，否則未執行 AI/ML 模型的負載會留在標準可用區。如需使用 nodeSelector 的資訊清單範例，請參閱設定自動建立節點的預設區域。

• GKE Standard：如果您直接管理節點集區，請在建立節點集區時，使用 --node-locations 旗標中的 AI 區域。如需相關範例，請參閱在 GKE Standard 中部署 TPU 工作負載。

限制

AI 區域不支援下列功能：

• 區域性永久磁碟
• Hyperdisk Balanced High Availability

AI 可用區的設計注意事項

設計應用程式以使用 AI 區域時，請注意下列事項。

高可用性 (HA) 注意事項

AI 可用區與上層可用區共用軟體推出和基礎架構。為確保工作負載的高可用性，請避免在選取可用區時 (無論是自動或手動)，採用下列部署模式：

• 請避免在 AI 可用區及其父項可用區中部署 HA 工作負載。

• 請避免在共用相同父項區域的兩個 AI 區域中部署 HA 工作負載。

儲存空間最佳做法

建議您採用分層儲存架構，兼顧成本、耐久性和效能：

1. 冷儲存空間層：在標準區域中使用區域 Cloud Storage 值區，以持久且高度耐用的方式儲存訓練資料集和模型查核點。

2. 效能層：使用專用的可用區儲存空間服務，做為高速快取或暫存空間。這種做法可消除區域間的延遲，並在工作執行期間盡量提高輸送量。

   為確保 GPU 和 TPU 保持飽和狀態，盡可能提高有效輸送量，請在與運算資源相同的 AI 區域中，佈建效能層。

建議使用下列儲存空間解決方案，搭配 AI 可用區，盡可能提升 AI 和機器學習系統的效能：

儲存服務	說明	用途
Cloud Storage 的「Anywhere Cache」功能	全代管、採用 SSD 的可用區讀取快取，可將 bucket 中經常讀取的資料帶入 AI 可用區。	適用於： 讀取密集型工作負載 低延遲模型訓練和服務 不適合： 需要完全符合 POSIX 標準的應用程式

納入或排除 AI 可用區

如要手動從區域清單中納入或排除 AI 區域，請使用篩選器：

• 如要篩選可用區清單，只顯示 AI 可用區，請參閱「搜尋 AI 可用區」一文。
• 如要篩選可用區清單，排除 AI 可用區，請參閱「從清單中排除 AI 可用區」。

後續步驟

• 查看 AI 可用區清單
• 設定機構政策，限制在 AI 區域中建立 VM