Gemini Omni 模型的佈建輸送量

本節說明 Gemini Omni 模型的預先佈建輸送量運作方式,包括配額強制執行行為和最低生成式 AI 規模單位 (GSU) 購買增量。

對於 Gemini Omni 模型,配額強制執行時間範圍會因您為模型購買的 GSU 數量而異,且可能會有所變更。以下各節列出不同 GSU 大小的配額強制執行時間範圍。

Gemini Omni Flash 預先發布版:配額強制執行時間

以下是 Gemini Omni Flash 搶先版不同 GSU 大小的配額強制執行時間:

  • 1 至 9 個 GSU:2,000 秒
  • 10 到 19 個 GSU:200 秒
  • 20 到 39 個 GSU:100 秒
  • 40 到 66 個 GSU:50 秒
  • 67 個以上 GSU:30 秒

列出的值與要求延遲時間無關。處理要求所需的時間與配額強制執行時間不同。

如果 GSU 數量較少,系統會提供較長的執行時間,確保較小的要求能在時間範圍內順利處理。模型使用的 GSU 數量越多,處理要求所需的時間就越短。如果需要使用佈建輸送量更頻繁地處理 Omni Flash 的輸出內容,建議您增加購買的 GSU 數量,並檢查相應的強制執行時間範圍。

舉例來說,假設您為需要生成單一 10 秒 1080p 影片的工作負載,購買了 1 個 GSU 的 Omni Flash 搶先版。在這種情況下,通常可以在 60 秒內生成這部影片,而流量會以佈建輸送量處理。不過,如要生成其他相同時長的影片,必須等到配額強制執行時間結束 (1 個 GSU 為 2,000 秒)。這項強制執行時間的判定依據是 Gemini Enterprise Agent Platform 的時鐘時間,而非提出要求的時間。強制執行時間取決於後端演算法,且可能會變更。

提出要求時,建議設定時間長度和解析度 API 參數。如有提供,佈建輸送量可提供更準確的體驗。如果未提供這些參數,預估佈建輸送量要求大小時,系統會假設為最長持續時間和最高解析度,這可能會導致過早發生溢出,進而改用即付即用方案,並降低所購佈建輸送量的使用率。

估算 GSU 需求

建議您使用「Provisioned Throughput」(佈建輸送量) 頁面上的預估工具,預估工作負載所需的 GSU 數量。這項工具需要您輸入特定頻率時間範圍的輸入和輸出詞元總數預估值。如要進一步瞭解如何使用估算工具,請參閱「下達標準佈建輸送量訂單」。

如要估算權杖數量,請使用下列方法:

  • 輸入文字詞元:使用 SDK 分詞器或 countTokens API。
  • 其他模態的輸入權杖:根據價格頁面的假設進行估算。
  • 現有工作負載:加總特定時間範圍內生成的回覆所用的權杖。

舉例來說,假設某項工作負載每 30 秒會生成五部 10 秒的 720p 影片,以及五部 10 秒的 1080p 影片 (共 10 項要求)。假設每項要求有 20 個輸入文字權杖、一張圖片 (1,120 個權杖) 和 100 個回覆思考權杖。GSU 預估工具的輸入內容如下:

  • 頻率:30 秒
  • 輸入文字詞元總數:20 × 10 (要求) = 200
  • 圖像權杖總數:1,120 × 10 (要求) = 11,200
  • 輸出推論詞元總數:100 × 10 (要求) = 1,000
  • 輸出影片詞元總數:10 秒 (長度) × 5,792 (詞元/秒) × 5 部影片 (720p) + 10 秒 (長度) × 8,688 (詞元/秒) × 5 部影片 (1080p) = 724,000
  • 預估 GSU 數量:434

高解析度和時間長度情境

單一的大型要求無法分散在兩個強制執行窗口中。如果單一要求需要的資源超過強制執行時間範圍的保留量,則每次都會以隨用隨付方式提供服務,無論您傳送要求的頻率多低,也不論後續時間範圍內有多少未使用的佈建處理量配額。

這項問題只會影響長度 7 秒以上的 4K 影片。在 360p、720p 和 1080p 的解析度下,所有支援的時長都適合任何購買大小的單一視窗,6 秒或更短的 4K 影片也是如此 (假設一般輸入內容和推論詞元少於 88,000 個詞元)。

如要生成 7 秒以上的 4K 影片,請比較估算工具的結果與下表,並訂購較大的數字:

最長 4K 影片 1 到 9 個 GSU 10 到 19 個 GSU 20 到 39 個 GSU 40 到 66 個 GSU 67 個以上的 GSU
7 秒 2 12 23 46 76
8 秒 2 13 26 52 87
9 秒 2 15 29 58 97
10 秒 2 17 33 65 107

請閱讀與預估 GSU 數量相符的欄位。舉例來說,假設您每 2,000 秒生成六部 10 秒的 4K 影片,估算工具會傳回 10 個 GSU,這足以應付平均處理量。不過,在 10 個 GSU 的情況下,強制執行時間範圍為 200 秒,而你的 10 秒影片都無法納入單一時間範圍。將六項要求間隔拉開,也無法解決這個問題。如要順利處理要求,且不產生即付即用溢出費用,請訂購 17 個 GSU。

這些數字是根據一般提示和推論權杖計算,例如文字或圖片提示,或是長度最多 10 秒的待編輯影片。

後續步驟