Quotas et limites système de l'IA générative sur Agent Platform

Ce document liste les quotas et limites système qui s'appliquent aux modèles d'IA générative sur Agent Platform.

  • Les quotas ont des valeurs par défaut, mais vous pouvez généralement demander des ajustements.
  • Les limites système sont des valeurs fixes qui ne peuvent pas être modifiées.

Cloud de Confiance by S3NS utilise des quotas pour garantir l'équité et réduire les pics d'utilisation et de disponibilité des ressources. Un quota limite la quantité d'une ressourceCloud de Confiance que votre projet Cloud de Confiance peut utiliser. Les quotas s'appliquent à différents types de ressources, y compris les composants matériels, logiciels et réseau. Par exemple, ils peuvent limiter le nombre d'appels d'API à un service, le nombre d'équilibreurs de charge utilisés simultanément par votre projet ou le nombre de projets que vous pouvez créer. Ils protègent la communauté des utilisateurs deCloud de Confiance en empêchant la surcharge des services. Les quotas vous aident également à gérer vos propres ressources Cloud de Confiance .

Le système Cloud Quotas permet d'effectuer les opérations suivantes :

Dans la plupart des cas, lorsque vous tentez d'utiliser une ressource plus que son quota ne le permet, le système bloque l'accès à la ressource et la tâche que vous essayez d'effectuer échoue.

Les quotas s'appliquent généralement au niveau du projet Cloud de Confiance . Votre utilisation d'une ressource dans un projet n'affecte pas votre quota disponible dans un autre projet. Dans un projet Cloud de Confiance , les quotas sont partagés entre toutes les applications et adresses IP.

Pour en savoir plus, consultez la présentation des quotas Cloud.

Des limites système s'appliquent également aux ressources Agent Platform. Elles ne peuvent pas être modifiées.

Des limites s'appliquent également aux ressources Gemini Enterprise Agent Platform. Elles ne peuvent pas être modifiées.

Quotas de modèles réglés

L'inférence du modèle réglé partage le même quota que le modèle de base. Il n'existe pas de quota distinct pour l'inférence de modèle réglé.

Limites d'embedding

Les requêtes pour gemini-embedding-001 et gemini-embedding-2 sont soumises à des quotas globaux.
Modèle de base Quota Métrique
base_model: gemini-embedding 100 000 000 aiplatform.googleapis.com/global_embed_content_input_tokens_per_minute_per_base_model
base_model: gemini-embedding 100 000 aiplatform.googleapis.com/global_embed_content_requests_per_minute_per_base_model
base_model: gemini-embedding-2 200 000 000 aiplatform.googleapis.com/global_embed_content_input_tokens_per_minute_per_base_model
base_model: gemini-embedding-2 60 000 aiplatform.googleapis.com/global_embed_content_requests_per_minute_per_base_model

Les requêtes pour gemini-embedding-001 utilisant l'API predict sont également soumises aux quotas suivants :

Modèle de base Quota Métrique
base_model: N/A 30 000 aiplatform.googleapis.com/online_prediction_requests

Quotas Agent Runtime

Les quotas suivants s'appliquent à Agent Runtime pour un projet donné dans chaque région :
Description Quota Métrique
Créer, supprimer ou mettre à jour des ressources Agent Runtime par minute 10 aiplatform.googleapis.com/reasoning_engine_service_write_requests
Créer, supprimer ou mettre à jour des sessions Agent Runtime par minute 100 aiplatform.googleapis.com/session_write_requests
Obtenir, lister ou récupérer les sessions Agent Runtime par minute 10000 aiplatform.googleapis.com/session_read_requests
Query ou StreamQuery Agent Runtime par minute 90 aiplatform.googleapis.com/reasoning_engine_service_query_requests
Ajouter un événement aux sessions Agent Runtime par minute 300 aiplatform.googleapis.com/session_event_append_requests
Nombre maximal de ressources Agent Runtime 100 aiplatform.googleapis.com/reasoning_engine_service_entities
Créer, supprimer ou mettre à jour des ressources de mémoire Agent Runtime par minute 100 aiplatform.googleapis.com/memory_bank_write_requests
Obtenir, lister ou récupérer des données depuis Agent Runtime Memory Bank par minute 300 aiplatform.googleapis.com/memory_bank_read_requests
Requêtes d'exécution par minute dans l'environnement de bac à sable (exécution de code) 1000 aiplatform.googleapis.com/sandbox_environment_execute_requests
Entités d'environnement de bac à sable (exécution de code) par région 1000 aiplatform.googleapis.com/sandbox_environment_entities
Requêtes d'écriture dans l'environnement de bac à sable (exécution de code) par minute 500 aiplatform.googleapis.com/sandbox_environment_write_requests
Requêtes POST de l'agent A2A telles que sendMessage et cancelTask par minute 60 aiplatform.googleapis.com/a2a_agent_post_requests
Requêtes GET de l'agent A2A telles que getTask et getCard par minute 600 aiplatform.googleapis.com/a2a_agent_get_requests
Connexions bidirectionnelles actives simultanées par minute à l'aide de l'API BidiStreamQuery 10 aiplatform.googleapis.com/reasoning_engine_service_concurrent_query_requests

Quotas d'entrées multimodales

Les quotas suivants s'appliquent aux requêtes d'entrée multimodale pour generateContent et streamGenerateContent pour un projet donné dans chaque région. Chaque quota est appliqué par modèle de base et par résolution. Les mêmes limites s'appliquent aux requêtes diffusées par le point de terminaison mondial, à l'aide de la métrique ..._global correspondante.
Description Quota Métrique
Requêtes de génération de contenu avec une image en entrée par minute, par modèle de base et par résolution 34 000 000 aiplatform.googleapis.com/generate_content_image_input_per_base_model_id_and_resolution
Requêtes de génération de contenu avec entrée vidéo par minute, par modèle de base et par résolution 192 000 000 aiplatform.googleapis.com/generate_content_video_input_per_base_model_id_and_resolution
Requêtes de génération de contenu avec entrée audio par minute, par modèle de base et par résolution 11 000 000 aiplatform.googleapis.com/generate_content_audio_input_per_base_model_id_and_resolution
Requêtes de génération de contenu avec entrée de document par minute, par modèle de base et par résolution 1 200 000 aiplatform.googleapis.com/generate_content_document_input_per_base_model_id_and_resolution

Pour demander une augmentation de ces quotas, contactez l'équipe chargée de votre compte Google Cloud. Ils ne peuvent pas être augmentés depuis la console Cloud de Confiance .

Quotas de contenus multimédias génératifs

Pour afficher et modifier les quotas de contenus multimédias génératifs dans la console Cloud de Confiance , procédez comme suit :

  1. Assurez-vous d'avoir activé l'API Agent Platform pour votre projet. Si l'API n'est pas activée, les quotas Agent Platform ne s'afficheront pas.

  2. Accédez à la page Quotas et limites du système.

    Accéder à la page "Quotas et limites du système"

  3. Dans la zone de texte Filtre, saisissez les requêtes suivantes :

    Metric: METRIC_NAME
    Dimensions (e.g. location): MODEL_NAME

    Remplacez les éléments suivants :

    • METRIC_NAME : nom de la métrique à rechercher, l'un des éléments suivants :
      • Gemini Omni : global_generate_content_requests_per_minute_per_project_per_base_model
      • Veo : long_running_online_prediction_requests_per_base_model
      • Lyria : global_generate_content_requests_per_minute_per_project_per_base_model
    • MODEL_NAME : nom du modèle que vous utilisez.
  4. Pour ajuster le quota, cliquez sur Plus, puis sélectionnez Modifier le quota.
  5. Saisissez une nouvelle valeur de quota dans le volet, puis cliquez sur Envoyer la demande.

Inférence par lot

Les quotas et les limites des jobs d'inférence par lot sont les mêmes dans toutes les régions.

Limites de jobs d'inférence par lot simultanés pour les modèles Gemini

Il n'existe pas de limites de quota prédéfinies pour l'inférence par lot pour les modèles Gemini. À la place, le service de traitement par lot donne accès à un grand pool de ressources partagé, alloué de manière dynamique en fonction de la disponibilité en temps réel du modèle et de la demande de tous les clients pour ce modèle. Lorsque davantage de clients sont actifs et saturent la capacité du modèle, vos requêtes par lot peuvent être mises en file d'attente pour la capacité.

Quotas de jobs d'inférence par lot simultanés pour les modèles autres que Gemini

Le tableau suivant répertorie les quotas pour le nombre de jobs d'inférence par lot simultanés, qui ne s'appliquent pas aux modèles Gemini :
Quota Valeur
aiplatform.googleapis.com/textembedding_gecko_concurrent_batch_prediction_jobs 4
Si le nombre de tâches envoyées dépasse le quota alloué, elles sont placées dans une file d'attente et traitées lorsque la capacité de quota devient disponible.

Afficher et modifier les quotas dans la console Cloud de Confiance

Pour afficher et modifier les quotas dans la console Cloud de Confiance , procédez comme suit :
  1. Accédez à la page Quotas et limites du système.

    2. Accéder à la page "Quotas et limites du système"

  2. Pour ajuster le quota, copiez et collez la propriété aiplatform.googleapis.com/textembedding_gecko_concurrent_batch_prediction_jobs dans le Filtre. Appuyez sur Entrée.
  3. Cliquez sur les trois points à la fin de la ligne, puis sélectionnez Modifier le quota.
  4. Saisissez une nouvelle valeur de quota dans le volet, puis cliquez sur Envoyer la demande.

Quotas des règles de gouvernance sémantique

Les quotas suivants s'appliquent à la règle de gouvernance sémantique pour un projet donné dans chaque région :
Description Quota Métrique
Obtenir ou lister les ressources de règle de gouvernance sémantique par minute 600 aiplatform.googleapis.com/semantic_governance/policy_read_requests
Créer, mettre à jour ou supprimer des ressources de règle de gouvernance sémantique par minute 60 aiplatform.googleapis.com/semantic_governance/policy_write_requests
Obtenir les ressources du moteur de stratégies de gouvernance sémantique par minute 600 aiplatform.googleapis.com/semantic_governance/engine_read_requests
Mettre à jour ou déprovisionner des ressources du moteur de stratégies de gouvernance sémantique par minute 60 aiplatform.googleapis.com/semantic_governance/engine_write_requests
Nombre de ressources de règle de gouvernance sémantique par projet et par emplacement. 1 000 aiplatform.googleapis.com/semantic_governance/policy_count

Afficher et modifier les quotas dans la console Cloud de Confiance

Pour afficher et modifier les quotas dans la console Cloud de Confiance , procédez comme suit :
  1. Accédez à la page Quotas et limites du système.

    2. Accéder à la page "Quotas et limites du système"

  2. Pour ajuster le quota, copiez et collez la propriété aiplatform.googleapis.com/semantic_governance/policy_write_requests dans le Filtre. Appuyez sur Entrée.
  3. Cliquez sur les trois points à la fin de la ligne, puis sélectionnez Modifier le quota.
  4. Saisissez une nouvelle valeur de quota dans le volet, puis cliquez sur Envoyer la demande.

Moteur RAG sur Gemini Enterprise Agent Platform

Pour chaque service effectuant une génération augmentée par récupération (RAG) à l'aide du moteur RAG, les quotas suivants s'appliquent, le quota étant mesuré en requêtes par minute (RPM).
Service Quota Métrique
API de gestion des données du moteur RAG 60 RPM VertexRagDataService requests per minute per region
RetrievalContexts API 600 RPM VertexRagService retrieve requests per minute per region
base_model: textembedding-gecko 1 500 RPM Online prediction requests per base model per minute per region per base_model

Vous devez spécifier un filtre supplémentaire : base_model: textembedding-gecko
Les limites suivantes s'appliquent :
Service Limite Métrique
Requêtes ImportRagFiles simultanées 3 RPM VertexRagService concurrent import requests per region
Nombre maximal de fichiers par requête ImportRagFiles 10 000 VertexRagService import rag files requests per region

Gen AI Evaluation Service

Gen AI Evaluation Service utilise Gemini 2.5 Flash comme modèle d'évaluation par défaut pour les métriques basées sur un modèle. Une seule requête d'évaluation pour une métrique basée sur un modèle peut entraîner plusieurs requêtes sous-jacentes adressées au service d'évaluation de l'IA générative. La consommation de chaque modèle est calculée au niveau de l'organisation, ce qui signifie que toutes les requêtes dirigées vers le modèle d'évaluation pour l'inférence de modèle et l'évaluation basée sur les modèles contribuent à la consommation du modèle. Les quotas pour le service d'évaluation de l'IA générative et le modèle d'évaluation sous-jacent sont indiqués dans le tableau suivant :
Demander un quota Quota par défaut
Requêtes de Gen AI Evaluation Service par minute 1 000 requêtes par projet et par région
Débit de Gemini Dépend du modèle et de l'option de consommation
Exécutions d'évaluation simultanées 20 exécutions d'évaluation simultanées par projet et par région

Si vous recevez une erreur liée aux quotas lors de l'utilisation du service d'évaluation de l'IA générative, vous devrez peut-être envoyer une demande d'augmentation de quota. Pour en savoir plus, consultez Afficher et gérer les quotas.

Limite Valeur
Délai de requête Gen AI Evaluation Service 60 secondes

Lorsque vous utilisez le service d'évaluation de l'IA générative pour la première fois dans un nouveau projet, vous pouvez rencontrer un délai de configuration initiale de deux minutes. Si votre première requête échoue, attendez quelques minutes, puis réessayez. Les requêtes d'évaluation ultérieures sont généralement traitées dans un délai de 60 secondes.

Le nombre maximal de jetons d'entrée et de sortie pour les métriques basées sur un modèle dépend du modèle utilisé comme modèle de juge. Consultez la page Modèles Google pour obtenir la liste des modèles.

Quotas de Pipelines Gemini Enterprise Agent Platform

Chaque job de réglage utilise Gemini Enterprise Agent Platform Pipelines. Pour en savoir plus, consultez les quotas et limites d'Agent Platform Pipelines.

Étapes suivantes

Présentation

Découvrez le paiement à l'usage standard, une option de consommation d'Agent Platform qui vous permet de ne payer que pour les ressources que vous consommez, sans engagement financier initial.

Ressource

Quotas et limites du système liés à Agent Platform, à l'exclusion des quotas et limites du système spécifiques aux produits.

Présentation

Découvrez comment Google Cloud limite la quantité d'une ressource que votre projet Google Cloud peut utiliser, et comment les quotas s'appliquent à différents types de ressources, y compris les composants matériels, logiciels et réseau.