Cuotas y límites del sistema de la IA generativa en Agent Platform

En este documento, se enumeran las cuotas y los límites del sistema que se aplican a los modelos de IA generativa en Agent Platform.

• Las cuotas tienen valores predeterminados, pero, por lo general, puedes solicitar ajustes.
• Los límites del sistema son valores fijos que no se pueden cambiar.

Cloud de Confiance by S3NS usa cuotas para garantizar la equidad y reducir los aumentos repentinos en el uso y la disponibilidad de los recursos. Una cuota restringe la cantidad de un recurso deCloud de Confiance que puede usar tu proyecto de Cloud de Confiance . Las cuotas se aplican a una variedad de tipos de recursos, incluidos los componentes de hardware, software y red. Por ejemplo, las cuotas pueden restringir la cantidad de llamadas a la API para un servicio, la cantidad de balanceadores de cargas que se usan en simultáneo en tu proyecto o la cantidad de proyectos que puedes crear. Las cuotas protegen a la comunidad de usuarios deCloud de Confiance evitando la sobrecarga de los servicios. También te ayudan a administrar tus propios recursos de Cloud de Confiance .

El sistema de cuotas de Cloud lleva a cabo las siguientes acciones:

• Supervisa tu consumo de productos y servicios de Cloud de Confiance
• Restringe el consumo de esos recursos
• Proporciona una forma de solicitar cambios en el valor de la cuota y automatizar los ajustes de la cuota

En la mayoría de los casos, cuando intentas consumir más de lo que permite la cuota de un recurso, el sistema bloquea el acceso al recurso y la tarea que intentas llevar a cabo falla.

Por lo general, las cuotas se aplican a nivel de proyecto de Cloud de Confiance . El uso de un recurso en un proyecto no afecta tu cuota disponible en otro proyecto. En un proyecto de Cloud de Confiance , las cuotas se comparten entre todas las aplicaciones y direcciones IP.

Para obtener más información, consulta la descripción general de cuotas de Cloud.

También existen límites del sistema para los recursos de Agent Platform. Los límites del sistema no se pueden cambiar.

También existen límites para los recursos de Gemini Enterprise Agent Platform. los cuales no se pueden cambiar.

Cuotas de modelos ajustados

La inferencia del modelo ajustado comparte la misma cuota que el modelo base. No hay una cuota independiente para la inferencia de modelos ajustados.

Límites de embeddings

Las solicitudes de gemini-embedding-001 y gemini-embedding-2 están sujetas a cuotas globales.

Modelo base	Cuota	Métrica
base_model: gemini-embedding	100,000,000	aiplatform.googleapis.com/global_embed_content_input_tokens_per_minute_per_base_model
base_model: gemini-embedding	100,000	aiplatform.googleapis.com/global_embed_content_requests_per_minute_per_base_model
base_model: gemini-embedding-2	200,000,000	aiplatform.googleapis.com/global_embed_content_input_tokens_per_minute_per_base_model
base_model: gemini-embedding-2	60,000	aiplatform.googleapis.com/global_embed_content_requests_per_minute_per_base_model

Las solicitudes de gemini-embedding-001 con la API de predict también están sujetas a las siguientes cuotas:

Modelo base	Cuota	Métrica
base_model: N/A	30,000	aiplatform.googleapis.com/online_prediction_requests

Cuotas de Agent Runtime

Las siguientes cuotas se aplican al Agent Runtime para un proyecto determinado en cada región:

Cuotas de entrada multimodal

Las siguientes cuotas se aplican a la entrada multimodal para las solicitudes de generateContent y streamGenerateContent de un proyecto determinado en cada región. Cada cuota se aplica por modelo base y resolución. Se aplican los mismos límites a las solicitudes que entrega el extremo global, con la métrica ..._global correspondiente.

Para solicitar un límite más alto para estas cuotas, comunícate con tu equipo de cuentas de Google Cloud, ya que no se pueden aumentar desde la consola de Cloud de Confiance .

Cuotas de contenido multimedia generativo

Para ver y editar las cuotas de contenido multimedia generativo en la consola de Cloud de Confiance , haz lo siguiente:

1. Asegúrate de haber habilitado la API de Agent Platform para tu proyecto. Si la API no está habilitada, no se mostrarán las cuotas de Agent Platform.

2. Ve a la página Cuotas y límites del sistema.

   Ir a Cuotas y límites del sistema

3. En el cuadro de texto Filtro, ingresa las siguientes consultas:

   Metric: METRIC_NAME
Dimensions (e.g. location): MODEL_NAME

   Reemplaza lo siguiente:

   • METRIC_NAME: Es el nombre de la métrica que se buscará, que puede ser uno de los siguientes:
     • Gemini Omni: global_generate_content_requests_per_minute_per_project_per_base_model
     • Veo: long_running_online_prediction_requests_per_base_model
     • Lyria: global_generate_content_requests_per_minute_per_project_per_base_model
   • MODEL_NAME: Es el nombre del modelo que estás usando.
4. Para ajustar la cuota, haz clic en more_vert Más y, luego, selecciona Editar cuota.
5. Ingresa un valor de cuota nuevo en el panel y haz clic en Enviar solicitud.

Inferencia por lotes

Las cuotas y los límites de los trabajos de inferencia por lotes son los mismos en todas las regiones.

Límites de trabajos de inferencia por lotes simultáneos para los modelos de Gemini

No hay límites de cuota predefinidos para la inferencia por lotes de los modelos de Gemini. En cambio, el servicio por lotes proporciona acceso a un grupo grande y compartido de recursos, asignados de forma dinámica según la disponibilidad y la demanda en tiempo real del modelo para todos los clientes de ese modelo. Cuando hay más clientes activos y se satura la capacidad del modelo, es posible que tus solicitudes por lotes se pongan en cola para obtener capacidad.

Cuotas de trabajos de inferencia por lotes simultáneos para modelos que no son de Gemini

En la siguiente tabla, se enumeran las cuotas de la cantidad de trabajos de inferencia por lotes simultáneos, que no se aplican a los modelos de Gemini:

Cuota	Valor
aiplatform.googleapis.com/textembedding_gecko_concurrent_batch_prediction_jobs	4

Si la cantidad de tareas enviadas excede la cuota asignada, las tareas se colocan en una cola y se procesan cuando la capacidad de la cuota está disponible.

Consulta y edita las cuotas en la consola de Cloud de Confiance

Para ver y editar las cuotas en la consola de Cloud de Confiance , haz lo siguiente:

1. Ve a la página Cuotas y límites del sistema.

Ir a Cuotas y límites del sistema

2. Para ajustar la cuota, copia y pega la propiedad aiplatform.googleapis.com/textembedding_gecko_concurrent_batch_prediction_jobs en el Filtro. Presiona Intro.
3. Haz clic en los tres puntos al final de la fila y selecciona Editar cuota.
4. Ingresa un valor de cuota nuevo en el panel y haz clic en Enviar solicitud.

Cuotas de políticas de gobernanza semánticas

Las siguientes cuotas se aplican a las políticas de gobernanza semánticas para un proyecto determinado en cada región:

Consulta y edita las cuotas en la consola de Cloud de Confiance

Para ver y editar las cuotas en la consola de Cloud de Confiance , haz lo siguiente:

1. Ve a la página Cuotas y límites del sistema.

Ir a Cuotas y límites del sistema

2. Para ajustar la cuota, copia y pega la propiedad aiplatform.googleapis.com/semantic_governance/policy_write_requests en el Filtro. Presiona Intro.
3. Haz clic en los tres puntos al final de la fila y selecciona Editar cuota.
4. Ingresa un valor de cuota nuevo en el panel y haz clic en Enviar solicitud.

RAG Engine en Gemini Enterprise Agent Platform

Para que cada servicio realice la generación mejorada por recuperación (RAG) con RAG Engine, se aplican las siguientes cuotas, que se miden como solicitudes por minuto (RPM).

Servicio	Cuota	Métrica
APIs de administración de datos de RAG Engine	60 RPM	VertexRagDataService requests per minute per region
API RetrievalContexts	600 RPM	VertexRagService retrieve requests per minute per region
base_model: textembedding-gecko	1,500 RPM	Online prediction requests per base model per minute per region per base_model Un filtro adicional que puedes especificar es base_model: textembedding-gecko

Se aplican los siguientes límites:

Servicio	Límite	Métrica
Solicitudes ImportRagFiles simultáneas	3 RPM	VertexRagService concurrent import requests per region
Cantidad máxima de archivos por solicitud de ImportRagFiles	10,000	VertexRagService import rag files requests per region

Gen AI Evaluation Service

El servicio de evaluación de IA generativa usa Gemini 2.5 Flash como modelo de juez predeterminado para las métricas basadas en modelos. Una sola solicitud de evaluación para una métrica basada en modelos puede dar como resultado varias solicitudes subyacentes al servicio de evaluación de IA generativa. El consumo de cada modelo se calcula a nivel de la organización, lo que significa que cualquier solicitud dirigida al modelo de juez para la inferencia de modelo y la evaluación basada en modelos contribuyen al consumo del modelo. Las cuotas para el servicio de evaluación de IA generativa y el modelo de juez subyacente se muestran en la siguiente tabla:

Solicita una cuota	Cuota predeterminada
Solicitudes de Gen AI Evaluation Service por minuto	1,000 solicitudes por proyecto y por región
Capacidad de procesamiento de Gemini	Depende del modelo y de la opción de consumo
Ejecuciones de evaluación simultáneas	20 ejecuciones de evaluación simultáneas por proyecto y por región

Si recibes un error relacionado con las cuotas mientras usas el servicio de evaluación de IA generativa, es posible que debas presentar una solicitud de aumento de cuota. Consulta Visualiza y administra cuotas para obtener más información.

Límite	Valor
Tiempo de espera de la solicitud de servicio de Gen AI Evaluation Service	60 segundos

Cuando usas el servicio de evaluación de IA generativa por primera vez en un proyecto nuevo, es posible que experimentes un retraso de configuración inicial de hasta dos minutos. Si tu primera solicitud falla, espera unos minutos y vuelve a intentarlo. Las solicitudes de evaluación posteriores suelen completarse en 60 segundos.

Los tokens de entrada y salida máximos para las métricas basadas en modelos dependen del modelo que se usa como modelo de juez. Consulta Modelos de Google para obtener una lista de modelos.

Cuotas de canalizaciones de Gemini Enterprise Agent Platform

Cada trabajo de ajuste usa canalizaciones de Gemini Enterprise Agent Platform. Para obtener más información, consulta Cuotas y límites de Agent Platform Pipelines.

¿Qué sigue?