Agent Platform の生成 AI の割り当てとシステム上限

このドキュメントでは、Agent Platform の生成 AI モデルに適用される割り当てとシステムの上限について説明します。

• 割り当てにはデフォルト値がありますが、通常は調整をリクエストできます。
• システムの上限は固定値で、変更できません。

Cloud de Confiance by S3NS では、割り当てを使用して公平性を確保し、リソースの使用量と可用性の急増を抑えます。割り当ては、 Cloud de Confiance プロジェクトで使用できるCloud de Confiance リソースの量を制限します。割り当ては、ハードウェア、ソフトウェア、ネットワーク コンポーネントなど、さまざまなリソースタイプに適用されます。たとえば、割り当てによって、サービスへの API 呼び出しの数、プロジェクトで同時に使用されるロードバランサの数、作成可能なプロジェクトの数を制限できます。割り当てを適用することで、サービスの過負荷を防ぎ、Cloud de Confiance ユーザーのコミュニティを保護します。割り当ては、自組織で使用している Cloud de Confiance リソースの管理にも役立ちます。

Cloud Quotas システムは次のことを行います。

• Cloud de Confiance のプロダクトとサービスの消費量をモニタリングする
• これらのリソースの消費量を制限する
• 割り当て値の変更をリクエストし、割り当ての調整を自動化する手段を提供する

ほとんどの場合、割り当ての許容量を超えるリソースを消費しようとすると、システムによってリソースへのアクセスがブロックされ、実行しようとしているタスクは失敗します。

割り当ては通常、 Cloud de Confiance プロジェクト レベルで適用されます。あるプロジェクトでリソースを使用しても、別のプロジェクトで使用可能な割り当てに影響することはありません。 Cloud de Confiance プロジェクト内では、すべてのアプリケーションと IP アドレスで割り当てが共有されます。

詳細については、Cloud Quotas の概要をご覧ください。

Agent Platform リソースにはシステムの上限もあります。システムの上限は変更できません。

Gemini Enterprise Agent Platform リソースには上限もあります。システムの上限は変更できません。

チューニング済みモデルの割り当て

チューニング済みモデルの推論は、ベースモデルと同じ割り当てを共有します。チューニング済みモデルの推論に個別の割り当てはありません。

エンベディングの上限

gemini-embedding-001 と gemini-embedding-2 のリクエストは、グローバル割り当ての対象となります。

ベースモデル	割り当て	指標
base_model: gemini-embedding	100,000,000	aiplatform.googleapis.com/global_embed_content_input_tokens_per_minute_per_base_model
base_model: gemini-embedding	100,000	aiplatform.googleapis.com/global_embed_content_requests_per_minute_per_base_model
base_model: gemini-embedding-2	200,000,000	aiplatform.googleapis.com/global_embed_content_input_tokens_per_minute_per_base_model
base_model: gemini-embedding-2	60,000	aiplatform.googleapis.com/global_embed_content_requests_per_minute_per_base_model

predict API を使用した gemini-embedding-001 のリクエストには、次の割り当ても適用されます。

ベースモデル	割り当て	指標
base_model: 該当なし	30,000	aiplatform.googleapis.com/online_prediction_requests

Agent Runtime の割り当て

各リージョンの特定のプロジェクトの Agent Runtime には、次の割り当てが適用されます。

マルチモーダル入力の割り当て

各リージョンの特定のプロジェクトの generateContent リクエストと streamGenerateContent リクエストのマルチモーダル入力には、次の割り当てが適用されます。各割り当ては、ベースモデルと解像度ごとに適用されます。同じ上限が、対応する ..._global 指標を使用して、グローバル エンドポイントによって処理されるリクエストに適用されます。

これらの割り当ての上限の引き上げをリクエストするには、Google Cloud アカウント チームにお問い合わせください。 Cloud de Confiance コンソールから引き上げることはできません。

生成メディアの割り当て

Cloud de Confiance コンソールで生成メディアの割り当てを表示して編集するには、次の操作を行います。

1. プロジェクトで Agent Platform API が有効になっていることを確認します。API が有効になっていない場合、Agent Platform の割り当ては表示されません。

2. [割り当てとシステム上限] ページに移動します。

   [割り当てとシステム上限] に移動

3. [フィルタ] テキスト ボックスに次のクエリを入力します。

   Metric: METRIC_NAME
Dimensions (e.g. location): MODEL_NAME

   次のように置き換えます。

   • METRIC_NAME: 検索する指標名。次のいずれかです。
     • Gemini Omni: global_generate_content_requests_per_minute_per_project_per_base_model
     • Veo: long_running_online_prediction_requests_per_base_model
     • Lyria: global_generate_content_requests_per_minute_per_project_per_base_model
   • MODEL_NAME: 使用しているモデルの名前。
4. 割り当てを調整するには、more_vert [その他] をクリックし、[割り当てを編集] を選択します。
5. ペインに新しい割り当て値を入力し、[リクエストを送信] をクリックします。

バッチ推論

バッチ推論ジョブの割り当てと上限は、すべてのリージョンで同じです。

Gemini モデルの同時バッチ推論ジョブの上限

Gemini モデルのバッチ推論に事前定義された割り当て上限はありません。バッチサービスは、モデルのリアルタイムの可用性と、そのモデルに対するすべてのお客様の需要に基づいて動的に割り当てられる、大規模な共有リソースプールへのアクセスを提供します。アクティブなユーザーが増え、モデルの容量が飽和状態になると、バッチ リクエストが容量不足のためにキューに登録されることがあります。

Gemini 以外のモデルのバッチ推論ジョブの同時実行数の割り当て

次の表に、同時実行バッチ推論ジョブ数の割り当てを示します。これは Gemini モデルには適用されません。

割り当て	値
aiplatform.googleapis.com/textembedding_gecko_concurrent_batch_prediction_jobs	4

送信されたタスク数が指定された数量に基づく割り当てを超えると、タスクはキューに配置され、数量に基づく割り当て容量が使用可能になると処理されます。

Cloud de Confiance コンソールで割り当てを表示して編集する

Cloud de Confiance コンソールで割り当てを表示して編集するには、次の操作を行います。

1. [割り当てとシステム上限] ページに移動します。

[割り当てとシステム上限] に移動

2. 割り当てを調整するには、[フィルタ] でプロパティ aiplatform.googleapis.com/textembedding_gecko_concurrent_batch_prediction_jobs をコピーして貼り付けます。Enter キーを押します。
3. 行の末尾にあるその他アイコンをクリックし、[割り当てを編集] を選択します。
4. ペインに新しい割り当て値を入力し、[リクエストを送信] をクリックします。

セマンティック ガバナンス ポリシーの割り当て

各リージョンの特定のプロジェクトのセマンティック ガバナンス ポリシーには、次の割り当てが適用されます。

Cloud de Confiance コンソールで割り当てを表示して編集する

Cloud de Confiance コンソールで割り当てを表示して編集するには、次の操作を行います。

1. [割り当てとシステム上限] ページに移動します。

[割り当てとシステム上限] に移動

2. 割り当てを調整するには、[フィルタ] でプロパティ aiplatform.googleapis.com/semantic_governance/policy_write_requests をコピーして貼り付けます。Enter キーを押します。
3. 行の末尾にあるその他アイコンをクリックし、[割り当てを編集] を選択します。
4. ペインに新しい割り当て値を入力し、[リクエストを送信] をクリックします。

Gemini Enterprise Agent Platform の RAG Engine

RAG Engine を使用して検索拡張生成（RAG）を実行するサービスごとに、次の割り当てが適用されます。割り当ては 1 分あたりのリクエスト数（RPM）で測定されます。

サービス	割り当て	指標
RAG Engine データ マネジメント API	60 RPM	VertexRagDataService requests per minute per region
RetrievalContexts API	600 RPM	VertexRagService retrieve requests per minute per region
base_model: textembedding-gecko	1,500 RPM	Online prediction requests per base model per minute per region per base_model 指定できる追加のフィルタは base_model: textembedding-gecko です。

次の上限が適用されます。

サービス	上限	指標
同時に可能な ImportRagFiles リクエスト	3 RPM	VertexRagService concurrent import requests per region
ImportRagFiles リクエストあたりの最大ファイル数	10,000	VertexRagService import rag files requests per region

Gen AI Evaluation Service

Gen AI Evaluation Service は、モデルベースの指標のデフォルトの判定モデルとして Gemini 2.5 Flash を使用します。モデルベースの指標の 1 回の評価リクエストで、Gen AI Evaluation Service に対して基盤となるリクエストが複数発生する場合があります。各モデルの使用量は組織レベルで計算されます。つまり、モデル推論とモデルベースの評価のためにジャッジモデルに送信されるリクエストはすべて、モデルの使用量にカウントされます。次の表に、Gen AI Evaluation Service と基盤となる判定モデルの割り当てを示します。

リクエストの割り当て	デフォルトの割り当て
1 分あたりの Gen AI Evaluation Service リクエスト	1 プロジェクト、1 リージョンあたり 1,000 件のリクエスト
Gemini のスループット	モデルと使用オプションによって異なります。
同時評価実行	1 リージョン、1 プロジェクトあたり 20 件の同時評価実行

Gen AI Evaluation Service の使用中に割り当てに関するエラーが発生した場合は、割り当ての増加をリクエストする必要があります。詳細については、割り当ての表示と管理をご覧ください。

上限	値
Gen AI Evaluation Service リクエストのタイムアウト	60 秒

新しいプロジェクトで Gen AI Evaluation Service を初めて使用する場合は、初期設定による遅延が発生することがあります（通常は 2 分以内）。最初のリクエストが失敗した場合は、数分待ってから再試行してください。その後の評価リクエストは通常、60 秒以内に完了します。

モデルベースの指標の入力トークンと出力トークンの上限は、判定モデルとして使用されるモデルによって異なります。モデルのリストについては、Google モデルをご覧ください。

Gemini Enterprise Agent Platform Pipelines の割り当て

チューニング ジョブは Gemini Enterprise Agent Platform Pipelines を使用します。詳細については、Agent Platform Pipelines の割り当てと上限をご覧ください。

次のステップ