Gemini Omni モデルのプロビジョンド スループット

このセクションでは、割り当ての適用動作や生成 AI スケール ユニット（GSU）の最小購入単位など、Gemini Omni モデルでプロビジョンド スループットがどのように機能するかについて説明します。

Gemini Omni モデルの場合、割り当ての適用期間は、モデル用に購入した GSU の数によって異なり、変更される可能性があります。以降のセクションでは、GSU のサイズごとの割り当て適用期間を示します。

Gemini Omni Flash プレビュー: 割り当ての適用期間

Gemini Omni Flash プレビューの GSU サイズごとの割り当て適用期間は次のとおりです。

• 1 ～ 9 GSU: 2,000 秒
• 10 ～ 19 GSU: 200 秒
• 20 ～ 39 GSU: 100 秒
• 40 ～ 66 GSU: 50 秒
• 67 個以上の GSU: 30 秒

リストに表示される値は、リクエスト レイテンシとは無関係です。リクエストの処理時間は、割り当ての適用期間と同じではありません。

GSU の数が少ないほど適用期間が長くなり、リクエストが適用期間内に正常に処理されるようになります。モデルの GSU の数が増加すると、リクエストの処理に長いウィンドウ時間は必要なくなります。プロビジョンド スループットを使用して Omni Flash で出力をより頻繁に処理する必要がある場合は、購入した GSU の数を増やし、対応する適用期間を確認することをおすすめします。

たとえば、1 つの 10 秒の 1080p 動画を生成する必要があるワークロードに対して、1 GSU の Omni Flash Preview を購入した状況を考えてみましょう。この場合、通常は 60 秒以内に動画を生成でき、トラフィックはプロビジョニングされたスループットとして処理されます。ただし、同じ長さの別の動画を生成する場合は、割り当ての適用期間が終了するまで待つ必要があります（1 GSU の場合は 2,000 秒）。この適用期間の時間は、リクエストが行われた時間ではなく、Gemini Enterprise Agent Platform のクロック時間によって決まります。適用期間はバックエンド アルゴリズムに依存し、変更される可能性があります。

リクエストを送信する際は、長さと解像度に関する API パラメータを設定することをおすすめします。プロビジョンド スループットが提供されている場合、より正確なエクスペリエンスを提供できます。これらのパラメータを指定しない場合、プロビジョンド スループットのリクエスト サイズの推定では、最大期間と最大解像度が想定されます。これにより、早期に回避可能な従量課金制へのスピルオーバーが発生し、購入したプロビジョンド スループットの使用率が低下する可能性があります。

GSU の要件を見積もる

プロビジョンド スループット ページの見積もりツールを使用して、ワークロードに必要な GSU の数を見積もることをおすすめします。このツールでは、特定の頻度ウィンドウの入力トークンと出力トークンの合計数の推定値を入力する必要があります。見積もりツールの使用方法の詳細については、標準のプロビジョンド スループットの注文を行うをご覧ください。

トークン数を推定するには、次の方法を使用します。

• 入力テキスト トークン: SDK トークナイザまたは countTokens API を使用します。
• 他のモダリティの入力トークン: 料金ページの前提条件に基づく見積もりを使用します。
• 既存のワークロード: 特定の期間内に生成されたレスポンスのトークン使用量を合計します。

たとえば、30 秒ごとに 5 本の 10 秒間の 720p 動画と 5 本の 10 秒間の 1080p 動画を生成するワークロード（合計 10 件のリクエスト）を考えてみましょう。各リクエストに 20 個の入力テキスト トークン、1 つの画像（1,120 個のトークン）、100 個のレスポンス思考トークンがあるとします。GSU 推定ツールの入力は次のとおりです。

• 頻度: 30 秒
• 入力テキスト トークンの合計数: 20 × 10（リクエスト）= 200
• 画像トークンの合計数: 1,120 × 10（リクエスト）= 11,200
• 出力推論トークンの合計数: 100 × 10（リクエスト数）= 1,000
• 出力動画トークンの合計数: 10 秒（長さ）× 5,792（トークン/秒）× 5 本の動画（720p）+ 10 秒（長さ）× 8,688（トークン/秒）× 5 本の動画（1080p）= 724,000
• 推定 GSU: 434

高解像度と再生時間のシナリオ

1 つの大きなリクエストを 2 つの適用期間に分割することはできません。1 つのリクエストで適用期間に保持されている量を超える量が必要な場合は、送信頻度や、後続の期間に未使用のプロビジョンド スループット割り当てがどれだけ存在するかに関係なく、毎回従量課金制で処理されます。

これは 7 秒以上の 4K 動画にのみ影響します。360p、720p、1080p では、サポートされているすべての長さが、購入サイズに関係なく 1 つのウィンドウに収まります。6 秒以下の 4K 動画も同様です（一般的な入力トークンと推論トークンが 88,000 トークン未満の場合）。

7 秒以上の 4K 動画を生成する場合は、推定ツールの結果と次の表を比較し、大きい方の数値を注文します。

推定 GSU 数に一致する列を読み取ります。たとえば、2,000 秒ごとに 10 秒の 4K 動画を 6 本生成するとします。推定ツールは 10 個の GSU を返します。これは平均スループットには十分です。ただし、10 GSU の場合、適用期間は 200 秒であり、10 秒の動画は 1 つのウィンドウに収まりません。6 つのリクエストの間隔を広げても、この問題は解決しません。従量課金制のスピルオーバーなしでリクエストを正常に処理するには、17 個の GSU を注文します。

これらの数値は、一般的なプロンプトと推論トークン（テキストまたは画像のプロンプト、編集する最大 10 秒の動画）を想定しています。

次のステップ

• プロビジョンド スループットを購入する