本文概述彈性啟動型 VM,詳細說明其主要特性,以及建立時適用的需求和限制。
彈性啟動型 VM 是使用彈性啟動佈建模式建立的虛擬機器 (VM) 執行個體。這個模式會使用 Dynamic Workload Scheduler (DWS),從安全的容量集區佈建運算資源,提高取得 GPU 或 TPU 等高需求資源的機率。建立彈性啟動型 VM 後,Compute Engine 會嘗試在特定時間範圍內分配您要求的資源。如果成功,您的彈性啟動型 VM 就會開始執行,最多可持續執行七天。
如果工作負載需要資源超過七天,或需要更高的容量保證,您可以在日曆模式中建立未來預留項目要求。
彈性啟動型 VM 的用途
彈性啟動型 VM 適合執行可隨時啟動的工作負載,例如:
小型模型預先訓練
模型微調
高效能運算 (HPC) 模擬
批次推論
彈性啟動型 VM 的主要特性
與其他類型的 Compute Engine 執行個體相比,彈性啟動型 VM 具有下列特性:
分配資源的等待時間:您可以在 Compute Engine 分配要求的資源之前,建立彈性啟動型 VM。不過,只有在指定時間範圍內有可用資源時,VM 才會啟動。如果沒有可用資源,VM 建立要求就會失敗。
詳情請參閱本文的「彈性啟動型 VM 等待時間」一節。
執行時間有限:彈性啟動型 VM 最多可不中斷執行七天。超過這個時間後,Compute Engine 會根據 VM 屬性中指定的終止動作,自動停止或刪除 VM。
詳情請參閱本文的「彈性啟動型 VM 的執行時間限制」一節。
Compute Engine 如何分配 VM:Compute Engine 會盡可能在鄰近位置建立彈性啟動型 VM,盡量縮短網路延遲時間。如要控管彈性啟動型 VM 的配置,您可以視需要使用密集配置政策或工作負載政策。
詳情請參閱本文的「彈性啟動型 VM 分配」一節。
彈性啟動佈建模式:使用彈性啟動佈建模式建立彈性啟動型 VM。與使用標準佈建模式建立的 VM 相比,這個佈建模式可提供更高的資源可用性。
如要進一步瞭解各項佈建模式,請參閱「Compute Engine 執行個體佈建模式」。
彈性啟動型 VM 等待時間
建立彈性啟動型 VM 時,VM 不會立即啟動。Compute Engine 會嘗試在特定時間範圍內,分配您要求的資源並啟動 VM。如果要求的資源配額充足,且 Compute Engine 在等待時間結束前分配資源,則彈性啟動型 VM 會在容量可用後的兩分鐘內啟動。否則 VM 建立要求會失敗。
等待時間會因您建立 VM 的方法而異:
獨立彈性啟動 VM 等待時間
如要建立獨立的彈性啟動 VM,必須使用 requestValidForDuration 欄位指定等待時間。您可以將等待時間設為 0 秒,或介於 90 秒到 7,200 秒 (兩小時) 之間。
根據工作負載的可用區需求,建議您設定下列等待時間,提高彈性啟動型 VM 建立要求成功的機率:
嚴格的可用區要求:如果工作負載要求您在特定可用區建立彈性啟動型 VM,建議將
requestValidForDuration欄位設為 90 秒以上,最多兩小時。等待時間越長,獲得資源的機率越高。 在這段期間,VM 會維持在PENDING狀態。無可用區要求:如果彈性啟動型 VM 可以在區域中的任何可用區執行,建議您將
requestValidForDuration欄位設為零秒。這個值指定 Compute Engine 僅在資源立即可用時才分配資源。如果要求因資源不足而失敗,請嘗試在其他可用區建立彈性啟動型 VM。
如要在 Compute Engine 嘗試分配資源時停止 VM 建立要求,請刪除彈性啟動型 VM。
採用彈性啟動型 VM 的 MIG 等待時間
如果將彈性啟動型 VM 新增至代管執行個體群組 (MIG),Compute Engine 會持續嘗試佈建要求的資源,直到成功或您取消要求為止。Compute Engine 將 VM 新增至 MIG 的方式,會因建立方法而異:
MIG 大小調整要求:當所有資源都可用時,Compute Engine 會一次將要求的 VM 新增至 MIG。除非您在 VM 執行時間結束前刪除 VM,否則 Compute Engine 會同時刪除 VM。詳情請參閱「關於 MIG 大小調整要求」。
具有目標大小的 MIG:Compute Engine 會在資源可用時,逐一建立 VM。因此,MIG 一開始可能只會建立部分要求的 VM,並在容量允許時,再新增剩餘的 VM。除非您在 VM 執行時間結束前刪除 VM,否則 Compute Engine 會根據每個 VM 的建立時間刪除 VM。詳情請參閱「建立使用彈性啟動型 VM 的 MIG」。
彈性啟動型 VM 的運作時間限制
建立彈性啟動型 VM 時,必須指定下列項目:
VM 運作時長:您必須指定 VM 的運作時長。執行時間最長可達七天。如果工作負載在 VM 執行時間結束前完成,您可以停止或刪除獨立 VM,或刪除 MIG 中的 VM,以免產生不必要的費用。
VM 終止動作:您必須選擇 Compute Engine 在 VM 執行時間結束時,要停止還是刪除 VM。對於 MIG 中的彈性啟動型 VM,您只能指定在執行時間結束時刪除 VM。
如果您或 Compute Engine 停止獨立的彈性啟動型 VM,則只有在可用區有足夠資源,且專案有足夠的先占配額時,才能重新啟動 VM。如果重新啟動要求成功,Compute Engine 會將彈性啟動型 VM 的執行時間重設為您建立 VM 時指定的完整時間。
彈性啟動型 VM 分配
Compute Engine 會盡可能根據可用性,在實體位置相近的地方建立彈性啟動型 VM。這種配置可大幅減少網路躍點,並將延遲降至最低,非常適合需要持續進行 VM 通訊的工作負載,例如 AI 或機器學習工作負載。如要控管彈性啟動型 VM 的位置,避免 Compute Engine 將 VM 建立在相距太遠的地方,請按照下列步驟操作:
如果是獨立的彈性啟動 VM,請對 VM 套用密集配置政策。
如果 MIG 有目標大小,請對 MIG 套用高處理量類型的工作負載政策。
配額
如要建立或重新啟動彈性啟動型 VM,專案必須有足夠的先占配額,才能使用要求的 vCPU、記憶體,以及任何連接的加速器或本機 SSD 磁碟。
如果嘗試建立或重新啟動彈性啟動型 VM,但配額不足,則會發生下列其中一種情況:
VM 建立要求:在專案配額足夠之前,要求會維持待處理狀態。如果等待時間結束時,專案仍缺少所需配額,建立要求就會失敗。
VM 重新啟動要求:要求會立即失敗。
定價
彈性啟動型 VM 採用即付即用 (PAYG) 模式,詳情請參閱 DWS 定價。
限制
以下各節說明彈性啟動型 VM 的限制。
所有彈性啟動型 VM 的限制
所有彈性啟動型 VM 都有下列限制:
彈性啟動型 VM 只能使用下列機型:
任何 GPU 機型,A4X Max 和 A4X 除外
TPU7x、TPU v6e 和 TPU v5p 機型
H4D 機型
您必須使用彈性啟動佈建模式建立彈性啟動型 VM。
您必須使用
instanceTerminationAction和maxRunDuration欄位,指定是否要在彈性啟動型 VM 執行時間結束時停止或刪除 VM。在主機維護事件期間,您必須停止彈性啟動型 VM。
密集配置政策只能套用至獨立的彈性啟動型 VM。
分散配置政策不適用於彈性啟動型 VM。
無法使用預留項目。
採用彈性啟動型 VM 的代管執行個體群組:MIG 限制
所有含有彈性啟動型 VM 的 MIG 都有下列限制:
您必須設定 MIG,在彈性啟動型 VM 執行時間結束時刪除 VM。
只有在個別建立 MIG 中的 VM,或使用大量模式時,才能在彈性啟動型 VM 中使用 TPU 機型。
您必須在 MIG 中關閉修復功能。
您必須刪除自動調度資源設定。
您只能使用下列目標分配型態,在區域性 MIG 中建立彈性啟動型 VM:
如果 MIG 有目標大小,則只能使用
ANY或ANY_SINGLE_ZONE。MIG 大小調整要求只能使用
ANY_SINGLE_ZONE。
您只能將 MIG 的待命集區模式設為
manual(預設)。無法使用執行個體彈性。
您無法新增第二個執行個體範本,在 MIG 中啟動初期測試版本更新。
此外,如要使用 MIG 大小調整要求建立彈性啟動型 VM,請參閱 MIG 大小調整要求的限制。
後續步驟
如要瞭解如何建立獨立的彈性啟動型 VM,請參閱「建立彈性啟動型 VM」。
如要瞭解如何在 MIG 中建立彈性啟動型 VM,請參閱下列內容: