您可以在 Google Kubernetes Engine (GKE) 上，為嚴苛的 AI 推論工作負載實現彈性的跨區域高可用性，有效且可靠地存取不同 Cloud de Confiance 區域的加速器容量。這項解決方案使用 GKE 多叢集推論閘道和 GKE 自動調度功能，讓工作負載能夠存取及調度各個區域的加速器容量。這種做法可提升 AI 應用程式的資源可用性、擴充性和彈性。本文將說明彈性跨區域高可用性的優點、主要元件和整體機制。
閱讀本文之前，請先熟悉下列概念：
本文件適用於下列角色：
- 有興趣使用 Kubernetes 服務 AI/ML 工作負載的機器學習 (ML) 工程師、平台管理員和營運人員，以及資料和 AI 專家
- 與 Kubernetes 網路互動的雲端架構師或網路專家
如要進一步瞭解我們在Cloud de Confiance 內容中提及的常見角色和範例工作，請參閱「常見的 GKE Enterprise 使用者角色和工作」。
彈性跨區域高可用性的優點
彈性跨區域高可用性可為管理 AI/機器學習推論工作負載帶來多項重要優點，包括：
- 容量和可擴充性更高：從不同區域的多個叢集匯集 GPU 或 TPU 資源，克服單一區域加速器短缺的問題。您也可以使用不同的加速器類型，進一步擴充容量集區。採用這種做法後，AI 推論工作負載就能突破任何單一區域或加速器類型的容量限制，自動運用機群中的可用資源，不受區域限制。
- 自動溢出和提升可靠性與可用性：Gateway 會智慧地傳送流量，優先處理偏好的區域或叢集。當某個位置的容量達到上限時，流量會自動溢出至其他有可用資源的位置。結合多區域部署作業後，這種方法可提升高可用性和容錯能力，因為系統可以略過發生問題的叢集或區域。
- AI 最佳化流量分配：搭配自訂 AI 專屬指標 (例如鍵值快取用量)，使用以使用率為準的負載平衡。這項設定可確保系統做出全球最佳化的路徑決策。AI 最佳化流量分配功能會將要求傳送至可處理要求的後端，有助於盡量提升效能，並避免多叢集推論機群發生過載情形。
彈性跨區域高可用性的運作方式
GKE 的彈性跨區域高可用性功能，可讓 AI 推論工作負載自動使用多個 Cloud de Confiance 區域的加速器運算資源 (例如 GPU 或 TPU)。當主要區域的必要資源受到容量限制時，這項解決方案會根據您定義的偏好設定，將流量智慧地轉送至有可用容量的其他區域，並擴充工作負載。
以下說明彈性跨區域高可用性的主要元件，以及這些元件如何協同運作：
- 多叢集推論閘道：推論應用程式部署在不同區域的多個 GKE 叢集。這些叢集會以 GKE 機群的形式管理。GKE 多叢集推論閘道 (MCG) 會設定內部負載平衡器，為推論要求提供單一私人端點。這個閘道會瞭解機群中所有叢集的服務部署作業。
- 以使用率為準的負載平衡：負載平衡器會根據模型伺服器回報的即時自訂使用率指標，分配流量，而非使用基本要求率。如果是 AI 推論，這通常是 KV 快取用量等指標，可反映伺服器上的實際負載。
- 位置和資源偏好設定：您可以在建立叢集時設定允許執行 AI 推論工作負載的區域或可用區，並使用下列項目指定偏好順序：
GCPBackendPolicy：這項政策會附加至閘道，可讓您定義偏好的後端。您可以指定負載平衡器應優先將流量傳送至哪些區域 (即叢集)。這項政策通常會與您預留容量的位置或延遲時間較低的需求相符。- 自訂運算類別 (選用，如果您使用節點集區自動建立功能)：在每個 GKE 叢集中，您可以使用自訂 ComputeClass 物件定義偏好的節點類型，包括機器類型 (例如
a3-highgpu-8g)、容量類型 (例如預留、隨選和 Spot)，甚至是該區域內的偏好可用區。
- 動態調整規模和流量路徑：系統會根據下列程序調整流量規模和路徑：
- 傳入要求會抵達多叢集 Ingress 閘道的內部負載平衡器。
- 負載平衡器會根據
GCPBackendPolicy，優先將流量傳送至偏好區域的後端。 - 系統會根據自訂使用率指標，在區域內和後端之間分配流量。
- 每個叢集中的 Horizontal-Pod-Autoscaler (HPA) 會根據相同的使用率指標，調高或調低模型伺服器 Pod 的數量。
- 在自訂 ComputeClass 的引導下，GKE 叢集自動配置器和自動佈建節點功能會新增或移除偏好類型和可用區的節點，以滿足 Pod 的資源調度需求。
- 彈性跨區域高可用性運作方式：如果偏好區域中的模型伺服器已完全用盡 (也就是沒有額外可用容量)，負載平衡器會自動將流量溢出至其他已設定區域中具有可用容量的叢集。接著，水平 Pod 自動配置器和叢集自動配置器會視需要在這些備援區域中擴充資源。
後續步驟
- 瞭解如何部署彈性跨區域高可用性解決方案，請參閱「設定彈性跨區域高可用性」。