AI 可用區

AI 可用區是專門用於人工智慧和機器學習 (AI 和機器學習) 訓練和推論工作負載的可用區。提供大量機器學習加速器 (GPU 和 TPU) 運算資源。

在區域內，AI 可用區與標準 (非 AI) 可用區在地理位置上彼此獨立。下圖範例顯示 AI 可用區 (us-south1-ai1b) 與 us-south1 區域中標準可用區的相對位置較遠。

父項可用區

每個 AI 可用區都會與該區域中的標準可用區建立關聯，稱為「父項可用區」。父項可用區是與 AI 可用區後置字串相同的標準可用區。舉例來說，在圖表中，us-central1-a 是 us-central1-ai1a 的父項區域。他們會共用軟體更新時程，有時也會共用基礎架構。也就是說，任何影響上層可用區的軟體或基礎架構問題，也可能影響 AI 可用區。設計高可用性解決方案時，請詳閱高可用性 (HA) 考量事項，瞭解對上層可用區的依賴性。

AI 專區的使用時機

AI 可用區經過最佳化調整，可處理 AI 和機器學習工作負載。請參考下列指引，判斷哪些工作負載最適合 AI 可用區，哪些工作負載更適合標準可用區。

建議對象：

  • 大規模訓練：由於有大量加速器可用，因此非常適合大型語言模型 (LLM) 和基礎模型訓練等大規模訓練工作負載。

  • 小規模訓練、微調、大量推論和重新訓練：AI 可用區適合需要大量加速器容量的工作負載。

  • 即時機器學習推論：AI 專區支援即時推論工作負載。效能取決於應用程式設計和模型延遲時間需求，尤其是工作負載需要向父項區域發出來回要求時。

不建議用於：

  • 非機器學習工作負載：AI 可用區並未在本機提供所有 Cloud de Confiance by S3NS 服務，因此建議您在標準可用區執行非機器學習工作負載。

從 AI 可用區存取服務

您可以從 Cloud de Confiance by S3NS 區域的 AI 專區，存取該區域的所有 Cloud de Confiance by S3NS 產品。不過，從 AI 可用區存取 Cloud de Confiance by S3NS 區域中的服務，可能會增加網路延遲時間，因為 AI 可用區與該區域標準可用區的位置在實體上是分開的。

如要在 Cloud de Confiance 控制台、Google Cloud CLI 和 REST API 中查看 AI 區域，您必須為專案啟用 AI 區域瀏覽權限。AI 區域可見度與存取控管和組織政策服務邊界各自獨立。詳情請參閱「管理 AI 可用區顯示設定」。

特定產品支援在 AI 區域中，於本機建立或存取可用區資源。如要進一步瞭解這些服務，請參閱下表：

產品 說明
Google Kubernetes Engine (GKE) 設定在 GKE 叢集中使用 AI 專區，包括使用 ComputeClass、自動佈建節點和 GKE Standard 節點集區。

在 GKE 中使用 AI 專區
Cloud Storage 設定 AI 區域中工作負載的物件儲存庫，包括在執行中的工作期間，使用可用區儲存空間盡可能提高效能，以及使用永久儲存空間儲存資料集和模型檢查點。

搭配使用 AI 專區和 Cloud Storage
Compute Engine 使用控制台、Google Cloud CLI 和 REST API 找出可用 AI 區域的方法，包括如何依命名慣例、加速器類型或機器篩選

找出可用的 AI 區域
Google Cloud Managed Lustre 針對部署在 GKE Standard 的 AI 和機器學習工作負載，最佳化效能

使用 Google Cloud Managed Lustre 最佳化 AI 和機器學習工作負載

位置

AI 專區適用於下列國家/地區：

AI 專區 AI 可用區位置 Cloud de Confiance by S3NS 區域 Cloud de Confiance by S3NS 區域位置 上層區域
europe-west4-ai1a 荷蘭德庫伊 (歐洲) europe-west4 荷蘭埃姆斯港 (歐洲) europe-west4-a
us-south1-ai1b 德州奧斯汀 (北美洲) us-south1 德州達拉斯 (北美洲) us-south1-b
us-central1-ai1a 內布拉斯加州林肯市 (北美洲) us-central1 愛荷華州康索布魯夫 (北美洲) us-central1-a

如要查看 AI 專區提供哪些 GPU 和 TPU 類型，請參閱下列資源：

將資源部署至 AI 可用區

您可以透過 Cloud de Confiance 控制台、Google Cloud CLI 或 REST 存取 AI 區域。不過，使用 Cloud de Confiance 控制台建立 VM 時，必須手動選取 AI 可用區。系統不會像標準可用區一樣為您選取。如要搭配下列功能使用 AI 區域，您必須在設定這些資源時明確選取 AI 區域。

  • 特定 Compute Engine 功能：某些 Compute Engine 區域功能不會自動選取 AI 可用區，例如區域大量插入作業或區域代管執行個體群組 (MIG)。

    • 大量插入：如要在區域性大量插入作業中加入 AI 可用區，必須使用 locationPolicy.zones[] 欄位。locations[] 欄位不支援 AI 專區。以下範例顯示可用區 us-south1-ai1b 的格式：

      {
  "locationPolicy": {
    "zones": [
      "zones/us-south1-ai1b"
    ]
  }
}

    • 區域性 MIG：如要在所選區域的 AI 可用區中建立執行個體，您必須在分配政策 (distributionPolicy.zones[]) 中明確指定該可用區，以及其他偏好的可用區。以下範例顯示可用區 us-south1-ai1b 的格式：

      {
  "distributionPolicy": {
    "zones": [
      "zones/us-south1-a",
      "zones/us-south1-b",
      "zones/us-south1-ai1b"
    ]
  }
}

  • 特定 GKE 功能：AI 可用區不會在特定 GKE 區域功能 (例如區域 GKE 叢集) 中自動選取。如要進一步瞭解 GKE，請參閱本文的「在 GKE 中使用 AI 可用區」一節。

  • Vertex AI：以 GKE 為基礎的 Vertex AI 區域性產品必須設定 GKE，在區域性叢集中加入 AI 可用區。您不必選擇加入 Vertex AI。Vertex AI 會管理這項設定。

  • Cloud de Confiance by S3NS Service Metadata Locations API：使用 locations.list API 時，必須啟用 --extraLocationTypes 旗標，確保只有打算使用 AI 區域的使用者才能看到這些區域。

  • 非加速器工作負載限制：Compute Engine 會限制在 AI 可用區建立僅限 CPU 的 VM。

在 GKE 使用 AI 可用區

根據預設，GKE 不會在 AI 可用區部署工作負載。如要使用 AI 區域，請設定下列其中一個選項：

  • ComputeClass：將最高優先順序設為在 AI 可用區中要求隨選 TPU。ComputeClass 可協助您定義工作負載的優先硬體設定清單。如需範例，請參閱「關於 ComputeClass」。

  • 自動佈建節點：在 Pod 規格中使用 nodeSelector 或 nodeAffinity，指示自動佈建節點功能在 AI 可用區建立節點集區。如果工作負載未明確指定 AI 可用區，自動佈建節點功能在建立新的節點集區時，只會考慮標準可用區。這項設定可確保未執行 AI/機器學習模型的工作負載，會保留在標準可用區，除非您明確設定其他選項。如需使用 nodeSelector 的資訊清單範例，請參閱「設定自動建立節點的預設可用區」。

  • GKE Standard：如果您直接管理節點集區，請在建立節點集區時，於 --node-locations 旗標中使用 AI 可用區。如需範例，請參閱「在 GKE Standard 部署 TPU 工作負載」。

限制

AI 專區不提供下列功能：

AI 可用區的設計考量

設計應用程式以使用 AI 專區時，請考量下列事項。

高可用性 (HA) 注意事項

AI 可用區與上層可用區共用軟體推出作業和基礎架構。為確保工作負載的高可用性，無論是自動或手動選取可用區，請避免採用下列部署模式：

  • 請勿在 AI 區域及其父項區域部署高可用性工作負載。

  • 避免在共用相同父項可用區的兩個 AI 可用區中部署高可用性工作負載。

儲存空間最佳做法

建議採用分層儲存架構，兼顧成本、耐用性和效能：

  1. 冷儲存層：在標準可用區使用區域 Cloud Storage bucket，以高耐用性持久儲存訓練資料集和模型檢查點。

  2. 效能層：使用專門的可用區儲存空間服務，做為高速快取或臨時暫存空間。這種做法可消除可用區之間的延遲，並在執行中的工作期間盡可能提高有效處理量。

    為確保 GPU 和 TPU 保持飽和狀態，盡可能提高有效輸送量，請在與運算資源相同的 AI 區域中佈建效能層。

建議採用下列儲存空間解決方案，搭配 AI 可用區，充分提升 AI 和機器學習系統效能：

儲存服務 說明 用途
Cloud Storage 的 Anywhere Cache 功能 全代管、採用 SSD 的可用區唯讀快取，可將 bucket 中經常讀取的資料帶入 AI 可用區。 建議對象：
  • 讀取密集型工作負載
  • 低延遲模型訓練和提供服務
不建議用於：
  • 需要完全符合 POSIX 標準的應用程式

納入或排除 AI 專區

如要手動納入或排除 AI 區域，請使用篩選器：

後續步驟