Kontingente und Systemlimits für generative KI in Agent Platform

In diesem Dokument sind die Kontingente und Systemlimits für generative KI-Modelle auf der Agent Platform aufgeführt.

• Kontingente haben Standardwerte, aber Sie können in der Regel Anpassungen anfordern.
• Systemlimits sind feste Werte, die nicht geändert werden können.

Cloud de Confiance by S3NS nutzt Kontingente, um für Fairness zu sorgen und Spitzen bei der Ressourcennutzung und ‑verfügbarkeit zu reduzieren. Ein Kontingent schränkt ein, wie viel von einerCloud de Confiance Ressource Ihr Cloud de Confiance Projekt nutzen kann. Kontingente gelten für eine Reihe von Ressourcentypen, einschließlich Hardware, Software und Netzwerkkomponenten. Mit Kontingenten können Sie beispielsweise die Anzahl der API-Aufrufe an einen Dienst, die Anzahl der von Ihrem Projekt nebenläufig verwendeten Load Balancer oder die Anzahl der Projekte begrenzen, die Sie erstellen können. Kontingente sollen eine Überlastung von Diensten verhindern und dadurch die Community derCloud de Confiance Nutzer schützen. Sie helfen Ihnen auch bei der Verwaltung Ihrer eigenen Cloud de Confiance Ressourcen.

Das Cloud-Kontingentsystem tut Folgendes:

• Es überwacht Ihren Verbrauch von Cloud de Confiance Produkten und Diensten.
• Es schränkt Ihren Verbrauch dieser Ressourcen ein.
• Es bietet eine Möglichkeit, Änderungen am Kontingentwert zu beantragen und Kontingentanpassungen zu automatisieren.

Wenn Sie versuchen, mehr von einer Ressource zu verbrauchen, als das Kontingent zulässt, blockiert das System in den meisten Fällen den Zugriff auf die Ressource. Die Aufgabe, die Sie auszuführen versuchen, schlägt dann fehl.

Kontingente gelten in der Regel auf Cloud de Confiance Projektebene. Die Nutzung einer Ressource in einem Projekt hat keinen Einfluss auf das verfügbare Kontingent in einem anderen Projekt. Innerhalb eines Cloud de Confiance Projekts werden die Kontingente für alle Anwendungen und IP-Adressen gemeinsam genutzt.

Weitere Informationen finden Sie unter Cloud-Kontingente – Übersicht.

Für Agent Platform-Ressourcen gelten außerdem Systemlimits. Systemlimits können nicht geändert werden.

Für Gemini Enterprise Agent Platform-Ressourcen gelten außerdem Limits. Systemlimits können nicht geändert werden.

Kontingente für abgestimmte Modelle

Die Inferenz des abgestimmten Modells nutzt dasselbe Kontingent wie das Basismodell. Es gibt kein separates Kontingent für die Inferenz von abgestimmten Modellen.

Einschränkungen beim Einbetten

Anfragen für gemini-embedding-001 und gemini-embedding-2 unterliegen globalen Kontingenten.

Basismodell	Kontingent	Messwert
base_model: gemini-embedding	100.000.000	aiplatform.googleapis.com/global_embed_content_input_tokens_per_minute_per_base_model
base_model: gemini-embedding	100.000	aiplatform.googleapis.com/global_embed_content_requests_per_minute_per_base_model
base_model: gemini-embedding-2	200.000.000	aiplatform.googleapis.com/global_embed_content_input_tokens_per_minute_per_base_model
base_model: gemini-embedding-2	60.000	aiplatform.googleapis.com/global_embed_content_requests_per_minute_per_base_model

Für Anfragen für gemini-embedding-001 mit der predict API gelten außerdem die folgenden Kontingente:

Basismodell	Kontingent	Messwert
base_model: –	30.000	aiplatform.googleapis.com/online_prediction_requests

Agent Runtime-Kontingente

Die folgenden Kontingente gelten für die Agent Runtime für ein bestimmtes Projekt in jeder Region:

Kontingente für multimodale Eingaben

Die folgenden Kontingente gelten für multimodale Eingaben für generateContent- und streamGenerateContent-Anfragen für ein bestimmtes Projekt in jeder Region. Jedes Kontingent wird pro Basismodell und Auflösung erzwungen. Dieselben Limits gelten für Anfragen, die vom globalen Endpunkt mit dem entsprechenden ..._global-Messwert verarbeitet werden.

Wenn Sie ein höheres Limit für diese Kontingente beantragen möchten, wenden Sie sich an Ihr Google Cloud-Account-Management-Team. Sie können nicht über die Cloud de Confiance Console erhöht werden.

Kontingente für generative Medienmodelle

So rufen Sie Kontingente für generative Medienmodelle in der Cloud de Confiance Console auf und bearbeiten sie:

1. Achten Sie darauf, dass die Agent Platform API für Ihr Projekt aktiviert ist. Wenn die API nicht aktiviert ist, werden die Kontingente für die Agent Platform nicht angezeigt.

2. Rufen Sie die Seite Kontingente und Systemlimits auf.

   Seite „Kontingente und Systemlimits“ aufrufen

3. Geben Sie im Textfeld Filter die folgenden Abfragen ein:

   Metric: METRIC_NAME
Dimensions (e.g. location): MODEL_NAME

   Ersetzen Sie Folgendes:

   • METRIC_NAME: Der Name des Messwerts, nach dem gesucht werden soll. Einer der folgenden:
     • Gemini Omni: global_generate_content_requests_per_minute_per_project_per_base_model
     • Veo: long_running_online_prediction_requests_per_base_model
     • Lyria: global_generate_content_requests_per_minute_per_project_per_base_model
   • MODEL_NAME: Der Name des Modells, das Sie verwenden.
4. Klicken Sie zum Anpassen des Kontingents auf more_vert Mehr und wählen Sie dann Kontingent bearbeiten aus.
5. Geben Sie im Bereich einen neuen Kontingentwert ein und klicken Sie auf Anfrage senden.

Batchinferenz

Die Kontingente und Limits für Batch-Inferenzjobs sind in allen Regionen gleich.

Limits für gleichzeitige Batch-Inferenzjobs für Gemini-Modelle

Für die Batch-Inferenz bei Gemini-Modellen gibt es keine vordefinierten Kontingentlimits. Stattdessen bietet der Batchdienst Zugriff auf einen großen, gemeinsam genutzten Ressourcenpool, der dynamisch basierend auf der Echtzeitverfügbarkeit des Modells und der Nachfrage aller Kunden nach diesem Modell zugewiesen wird. Wenn mehr Kunden aktiv sind und die Kapazität des Modells ausgelastet ist, werden Ihre Batchanfragen möglicherweise in die Warteschlange gestellt.

Kontingente für gleichzeitige Batch-Inferenzjobs für andere Modelle als Gemini-Modelle

In der folgenden Tabelle sind die Kontingente für die Anzahl gleichzeitiger Batch-Inferenzjobs aufgeführt, die nicht für Gemini-Modelle gelten:

Kontingent	Wert
aiplatform.googleapis.com/textembedding_gecko_concurrent_batch_prediction_jobs	4

Wenn die Anzahl der eingereichten Aufgaben das zugewiesene Kontingent überschreitet, werden die Aufgaben in eine Warteschlange gestellt und verarbeitet, sobald Kontingentkapazität verfügbar ist.

Kontingente in der Cloud de Confiance Console aufrufen und bearbeiten

So rufen Sie die Kontingente in der Cloud de Confiance Console auf und bearbeiten sie:

1. Rufen Sie die Seite Kontingente und Systemlimits auf.

Seite „Kontingente und Systemlimits“ aufrufen

2. Wenn Sie das Kontingent anpassen möchten, kopieren Sie das Attribut aiplatform.googleapis.com/textembedding_gecko_concurrent_batch_prediction_jobs und fügen Sie es in den Filter ein. Drücken Sie die Eingabetaste.
3. Klicken Sie am Ende der Zeile auf das Dreipunkt-Menü und wählen Sie Kontingent bearbeiten aus.
4. Geben Sie im Bereich einen neuen Kontingentwert ein und klicken Sie auf Anfrage senden.

Kontingente für semantische Governance-Richtlinien

Die folgenden Kontingente gelten für die semantische Governance-Richtlinie für ein bestimmtes Projekt in jeder Region:

Kontingente in der Cloud de Confiance Console aufrufen und bearbeiten

So rufen Sie die Kontingente in der Cloud de Confiance Console auf und bearbeiten sie:

1. Rufen Sie die Seite Kontingente und Systemlimits auf.

Seite „Kontingente und Systemlimits“ aufrufen

2. Wenn Sie das Kontingent anpassen möchten, kopieren Sie das Attribut aiplatform.googleapis.com/semantic_governance/policy_write_requests und fügen Sie es in den Filter ein. Drücken Sie die Eingabetaste.
3. Klicken Sie am Ende der Zeile auf das Dreipunkt-Menü und wählen Sie Kontingent bearbeiten aus.
4. Geben Sie im Bereich einen neuen Kontingentwert ein und klicken Sie auf Anfrage senden.

RAG Engine auf der Gemini Enterprise Agent Platform

Für jeden Dienst, der Retrieval-Augmented Generation (RAG) mit der RAG Engine ausführt, gelten die folgenden Kontingente, wobei das Kontingent in Anfragen pro Minute (RPM) gemessen wird.

Dienst	Kontingent	Messwert
APIs für die Datenverwaltung in der RAG Engine	60 U/min	VertexRagDataService requests per minute per region
RetrievalContexts API	600 U/min	VertexRagService retrieve requests per minute per region
base_model: textembedding-gecko	1.500 RPM	Online prediction requests per base model per minute per region per base_model Ein zusätzlicher Filter, den Sie angeben können, ist base_model: textembedding-gecko

Die folgenden Begrenzungen gelten:

Dienst	Limit	Messwert
Gleichzeitige ImportRagFiles-Anfragen	3 Atemzüge/Min.	VertexRagService concurrent import requests per region
Maximale Anzahl von Dateien pro ImportRagFiles-Anfrage	10.000	VertexRagService import rag files requests per region

Gen AI Evaluation Service

Der Gen AI Evaluation Service verwendet Gemini 2.5 Flash als Standard-Judge-Modell für modellbasierte Messwerte. Eine einzelne Bewertungsanfrage für einen modellbasierten Messwert kann zu mehreren zugrunde liegenden Anfragen an den Gen AI Evaluation Service führen. Der Verbrauch jedes Modells wird auf Organisationsebene berechnet. Das bedeutet, dass alle Anfragen, die zur Modellinferenz und zur modellbasierten Bewertung an das Judge-Modell gerichtet werden, zum Verbrauch des Modells beitragen. Die Kontingente für den Gen AI Evaluation Service und das zugrunde liegende Judge-Modell sind in der folgenden Tabelle aufgeführt:

Kontingent anfordern	Standardkontingent
Anfragen an den Gen AI Evaluation Service pro Minute	1.000 Anfragen pro Projekt und Region
Gemini-Durchsatz	Abhängig vom Modell und der Verbrauchsoption
Gleichzeitige Bewertungsausführungen	20 gleichzeitige Bewertungsausführungen pro Projekt und Region

Wenn bei der Verwendung des Gen AI Evaluation Service ein Fehler im Zusammenhang mit Kontingenten auftritt, müssen Sie möglicherweise eine Anfrage zur Kontingenterhöhung einreichen. Weitere Informationen finden Sie unter Kontingente aufrufen und verwalten.

Limit	Wert
Zeitlimit für Anfragen an den Gen AI Evaluation Service	60 Sekunden

Wenn Sie den Gen AI Evaluation Service zum ersten Mal in einem neuen Projekt verwenden, kann es zu einer Verzögerung bei der Ersteinrichtung von bis zu zwei Minuten kommen. Wenn Ihre erste Anfrage fehlschlägt, warten Sie einige Minuten und versuchen Sie es dann noch einmal. Nachfolgende Bewertungsanfragen werden in der Regel innerhalb von 60 Sekunden abgeschlossen.

Die maximalen Eingabe- und Ausgabetokens für modellbasierte Messwerte hängen vom Modell ab, das als Judge-Modell verwendet wird. Eine Liste der Modelle finden Sie unter Google-Modelle.

Kontingente für Pipelines der Gemini Enterprise Agent Platform

Jeder Abstimmungsjob verwendet Gemini Enterprise Agent Platform-Pipelines. Weitere Informationen finden Sie unter Kontingente und Limits für Agent Platform Pipelines.

Nächste Schritte