本文將概略介紹日曆模式的未來預留要求。
在日曆模式下使用未來預留要求,取得高需求資源,例如建立附加 GPU 或 TPU 的虛擬機器 (VM) 執行個體。當 Cloud de Confiance by S3NS 核准預訂要求後,Compute Engine 會在您指定的日期和時間,佈建預訂的資源,最多可保留 90 天。接著,您可以使用預留資源建立 GPU VM、H4D VM 或 TPU VM,執行下列工作負載:
模型預先訓練工作
模型微調工作
高效能運算 (HPC) 模擬工作負載
預期推論工作負載短期內會增加
如要進一步瞭解在 Compute Engine 中預留資源的其他方式,請參閱「選擇預留類型」。
在日曆模式中建立要求
下列各節說明如何查看資源供應情形,以及在日曆模式下建立未來預訂要求時,要指定哪些詳細資料。
查看資源未來可用情形
在日曆模式中建立未來預留項目要求前,您可以查看下列資源在特定區域的未來可用性:
GPU 或 H4D VM:最多提前 60 天
TPU:最多可提前 120 天預訂
Compute Engine 會使用動態工作負載排程器 (DWS),查看您要求的資源何時可用。建立要求時,請指定您確認可用的資源數量、類型和預訂期間。 Cloud de Confiance 提供這項資訊後,要求獲准的機率會更高。
定義要求屬性
在日曆模式中建立未來預留項目要求時,必須指定下列屬性:
自動刪除。這項屬性會決定 Compute Engine 是否要在要求結束時刪除自動建立的預留項目 (自動建立),即使預留項目未完全耗用也一樣。如要在日曆模式中建立要求,必須啟用自動刪除選項。
消耗類型。這項屬性會定義 VM 如何使用自動建立的預留項目。在日曆模式中建立要求時,您必須指定要建立明確指定的預留項目。這項設定表示只有指定預留項目的 VM 才能使用。
部署類型。這個屬性會定義預留資源的共置。Compute Engine 會根據資源類型預留資源:
如果是 GPU 或 H4D VM,建立要求時必須指定密集 (
DENSE) 部署類型。這項設定會指定密集保留資源,以盡量減少網路延遲。對於 TPU,Compute Engine 預設會使用彈性 (
FLEXIBLE) 部署類型。這項設定會盡可能保留資源,但無法保證。
名稱 - 要求名稱,在專案內不得重複。
資源數量。在您要求的開始時間預留的 GPU VM、H4D VM 或 TPU 數量。
規劃狀態。這個屬性會定義您是否要立即將要求提交至 Cloud de Confiance 以供審查,或是將要求儲存為草稿,稍後再提交。在日曆模式中建立要求時,必須指定立即提交要求以供審查。
預訂模式。這項屬性會定義預訂資源的方法,您必須在日曆模式的要求中將其設為
CALENDAR。預訂名稱。如果 Compute Engine Cloud de Confiance 核准您的要求,就會自動建立預留項目,並使用這個名稱。
共用類型:這項屬性會定義機構中的其他專案是否可使用核准要求自動建立的預留項目。您可以指定下列其中一個選項:
單一專案。只有您的專案可以使用預留容量。
共用。您最多可以與貴機構中的 100 個其他專案共用預留容量。如果指定這個選項,就必須指定要共用自動建立預留項目的專案。詳情請參閱共用預留項目最佳做法。
預留期間。Compute Engine 佈建您要求的容量,並供您使用的日期和時間。預訂期間包括:
開始時間:您想開始使用預留容量時。視預訂的資源而定,建立及提交要求時,開始時間必須至少為下列其中一個值:
GPU 和 H4D VM:87 小時 (三天又 15 小時)
TPU:六小時
結束時間。系統不再為您預留要求的容量。屆時,Compute Engine 會刪除自動建立的預留項目,並根據您為 VM 指定的終止動作,停止或刪除使用預留項目的 VM。
資源屬性。您要預留的 GPU VM、H4D VM 或 TPU 硬體需求。只有在 VM 的屬性與預留項目的屬性相符時,VM 才能使用預留項目。詳情請參閱「使用預留項目的規定」。
區域。要預留容量的區域。
申請審查程序
如要在日曆模式下使用未來預留項目要求預留容量,請建立要求並提交至 Cloud de Confiance 以供審查。建立並提交要求後, Cloud de Confiance 會在 1 分鐘內審查要求,然後採取下列其中一項動作:
Cloud de Confiance 核准您的要求:Compute Engine 會預留您要求的資源,並在核准後一分鐘內自動建立空白預留項目。除非取消要求,否則 Compute Engine 會在要求開始時間,增加預訂中的 GPU VM、H4D VM 或 TPU 數量,以佈建您要求的容量。
發生錯誤。要求失敗,因為要求區域的資源不足。建議您再次查看未來資源的可用性,然後建立並提交新的審查要求。
要求生命週期
下圖顯示 Compute Engine 可將日曆模式的未來預留項目要求設為哪些狀態:
上圖顯示的狀態和事件流程如下:
PENDING_APPROVAL:你已建立並提交審查要求。在一分鐘內 Cloud de Confiance 核准要求。APPROVED: Cloud de Confiance 已核准你的要求。接著,Compute Engine 會在一分鐘內建立空白預留項目,並將要求狀態變更為PROCURING。PROCURING:Compute Engine 會排定預留資源的佈建時間。如要避免這種情況,請在符合下列任一條件時取消要求:開始時間在 30 天後。
在核准後的 24 小時內取消要求,且開始時間至少在四天後。
要求到達開始時間前,要求狀態會變更為
PROVISIONING。CANCELLED:您在要求處於PROCURING狀態時取消要求。這項操作會釋出預留容量,您也不會因此產生費用。您可以保留要求以供日後參考,或在不需要時刪除要求。PROVISIONING:Compute Engine 會增加自動建立預留項目中的預留 GPU VM、H4D VM 或 TPU 數量,以佈建預留資源。要求到達開始時間後,要求狀態會變更為FULFILLED。FULFILLED:Compute Engine 已佈建預留資源,您需要支付相關費用。您可以在要求結束時間前建立 VM,使用系統自動建立的預留項目。
當要求達到結束時間時,Compute Engine 會刪除自動建立的預留項目,並根據 VM 中設定的終止動作,停止或刪除使用預留項目的 VM。您可以保留日曆模式中的要求以供記錄,或刪除不再需要的要求。
耗用佈建容量
Cloud de Confiance 核准日曆模式的未來預留項目要求後,Compute Engine 會自動建立預留項目,並具備下列特徵:
自動建立的預留項目沒有預留的 GPU VM、H4D VM 或 TPU,因此您還無法使用。
自動建立的預留項目會沿用要求中指定的 VM 或 TPU 屬性。
在要求開始時間,Compute Engine 會增加自動建立預訂中的 GPU VM、H4D VM 或 TPU 數量,以佈建您要求的容量。接著,您可以建立符合下列所有條件的 GPU VM、H4D VM 或 TPU VM,使用預留項目:
VM 和預留項目具有相符的屬性。
VM 明確指定預留項目。
VM 使用取決於預留項目的佈建模式。
VM 必須在預留項目結束時間前停止運作或刪除。
您可以建立 VM,直到預留項目完全用盡或要求結束時間為止。在要求結束時間,Compute Engine 會刪除自動建立的預留項目,並停止或刪除耗用預留項目的 VM。
配額
日曆模式的未來預留要求配額規定取決於機型,如下所示:
GPU 和 TPU 機型:預留運算資源時不需要配額。
H4D 機器類型:會消耗 CPU 配額。
使用預留容量建立 VM 時,您必須具備足夠的配額,才能使用不屬於預留項目的資源,例如磁碟或 IP 位址。否則建立 VM 會失敗。
定價
在日曆模式下建立及提交未來預留要求,並在Cloud de Confiance 核准要求後,系統不會立即收費。而是會在發生下列情況時產生費用:
Compute Engine 會佈建您要求的容量。當要求在要求開始時間達到
FULFILLED狀態時,您將根據 DWS 定價支付佈建資源的費用。與標準定價相比,這個定價模式提供的 vCPU、記憶體、GPU 和 TPU 價格較低。您使用的資源超出預訂範圍。建立會耗用自動建立保留項目的 VM 時,您不會因耗用的資源而產生額外費用。您只需為預留資源以外的資源付費,例如磁碟或 IP 位址。
系統會在要求結束時間停止收取預留資源的費用。此時,Compute Engine 會刪除自動建立的預留項目,並根據終止動作停止或刪除耗用預留項目的 VM。
限制
以下各節說明日曆模式中未來預留要求相關限制。
所有要求的限制
日曆模式的所有未來預留要求均有下列限制:
預留期限從 1 到 90 天不等。
提交要求並獲得 Cloud de Confiance 核准後,將適用下列限制:
如果要求符合下列任一條件,即可取消:
開始時間在 30 天後。
在核准後的 24 小時內取消要求,且開始時間至少在四天後。
取消要求後或要求達到結束時間後,即可刪除要求。
你無法修改要求。
GPU 或 H4D VM 的要求限制
您只能預留 GPU VM 或 H4D VM,方法如下:
每次要求可預留的 VM 數量如下:
GPU VM:1 到 80 個 VM
如果是 H4D VM,則為 1 到 256 個 VM
您可以預訂下列機器系列:
您只能在特定區域中預留 GPU 或 H4D VM。詳情請參閱下列文章:
您無法使用執行個體範本,為 GPU 或 H4D VM 建立要求。
要求 TPU VM 的限制
您只能預留下列 TPU VM:
每個要求可預留 1、4、8、16、32、64、128、256、512 或 1,024 個 TPU 晶片。
您可以預留下列 TPU 版本:
您只能在下列區域預留 TPU:
TPU7x:
us-central1-c
TPU v6e:
asia-northeast1-beurope-west4-aus-east5-aus-east5-bus-south1-ai1b
TPU v5p:
us-east5-a
所有自動建立的預留項目限制
系統為要求自動建立的預留項目有以下限制:
你只能透過下列方式修改預約:
允許或禁止 Vertex AI 工作使用。
預訂開始時間之後。
您無法將承諾使用折扣 (CUD) 或續用折扣 (SUD) 套用至預留項目。
您無法刪除預留項目,Compute Engine 會在預留項目的結束時間刪除。