Cotas e limites do sistema da IA generativa na Plataforma de Agentes

Neste documento, listamos as cotas e os limites do sistema que se aplicam aos modelos de IA generativa na plataforma de agentes.

• As cotas têm valores definidos por padrão, mas geralmente é possível solicitar ajustes.
• Os limites do sistema são valores que não podem ser alterados.

OCloud de Confiance by S3NS usa cotas para garantir a distribuição justa e reduzir sobrecargas no uso e na disponibilidade dos recursos. Uma cota restringe a alocação de um recurso doCloud de Confiance para uso do seu projeto do Cloud de Confiance . As cotas se aplicam a vários tipos de recursos, incluindo hardware, software e componentes de rede. Por exemplo, elas podem restringir o número de chamadas de API para um serviço, o número de balanceadores de carga usados simultaneamente pelo projeto ou o número de projetos que podem ser criados. As cotas protegem a comunidade de usuários doCloud de Confiance , impedindo a sobrecarga de serviços. Elas também ajudam você a gerenciar seus próprios recursos do Cloud de Confiance .

O sistema de cotas do Cloud faz o seguinte:

• Monitora o consumo de produtos e serviços do Cloud de Confiance .
• Restringe o consumo desses recursos.
• Possibilita a solicitação de mudanças no valor das cotas e a automatização de ajustes de cotas.

Na maioria dos casos, quando você tenta consumir mais de um recurso do que a cota permite, o sistema bloqueia o acesso ao recurso, e a tarefa que você está tentando executar falha.

As cotas geralmente se aplicam ao nível do projeto do Cloud de Confiance . O uso de um recurso em um projeto não afeta a cota disponível em outro. Em um projeto do Cloud de Confiance , as cotas são compartilhadas entre todos os aplicativos e endereços IP.

Saiba mais em Visão geral das cotas do Cloud.

Também há limites de sistemas nos recursos da plataforma de agentes. Os limites do sistema não podem ser alterados.

Também há limites nos recursos da Gemini Enterprise Agent Platform. Os limites do sistema não podem ser alterados.

Cotas de modelos ajustados

A inferência do modelo ajustado compartilha a mesma cota do modelo base. Não há uma cota separada para inferência de modelo ajustado.

Limites de incorporação

As solicitações de gemini-embedding-001 e gemini-embedding-2 estão sujeitas a cotas globais.

Modelo base	Cota	Métrica
base_model: gemini-embedding	100.000.000	aiplatform.googleapis.com/global_embed_content_input_tokens_per_minute_per_base_model
base_model: gemini-embedding	100.000	aiplatform.googleapis.com/global_embed_content_requests_per_minute_per_base_model
base_model: gemini-embedding-2	200.000.000	aiplatform.googleapis.com/global_embed_content_input_tokens_per_minute_per_base_model
base_model: gemini-embedding-2	60.000	aiplatform.googleapis.com/global_embed_content_requests_per_minute_per_base_model

As solicitações de gemini-embedding-001 usando a API predict também estão sujeitas às seguintes cotas:

Modelo base	Cota	Métrica
base_model: N/A	30.000	aiplatform.googleapis.com/online_prediction_requests

Cotas do Agent Runtime

As cotas a seguir se aplicam ao Agent Runtime para um determinado projeto em cada região:

Cotas de entrada multimodal

As cotas a seguir se aplicam às solicitações de entrada multimodal para generateContent e streamGenerateContent para um determinado projeto em cada região. Cada cota é aplicada por modelo de base e resolução. Os mesmos limites se aplicam às solicitações veiculadas pelo endpoint global, usando a métrica ..._global correspondente.

Para solicitar um limite maior para essas cotas, entre em contato com a equipe de conta do Google Cloud. Elas não podem ser aumentadas no console do Cloud de Confiance .

Cotas de mídia generativa

Para conferir e editar as cotas de mídia generativa no console do Cloud de Confiance , faça o seguinte:

1. Verifique se você ativou a API Agent Platform no seu projeto. Se a API não estiver ativada, as cotas da Agent Platform não serão exibidas.

2. Acesse a página Cotas e limites do sistema.

   Acesse "Cotas e limites do sistema"

3. Na caixa de texto Filtro, insira as seguintes consultas:

   Metric: METRIC_NAME
Dimensions (e.g. location): MODEL_NAME

   Substitua:

   • METRIC_NAME: o nome da métrica a ser pesquisada, um dos seguintes:
     • Gemini Omni: global_generate_content_requests_per_minute_per_project_per_base_model
     • Veo: long_running_online_prediction_requests_per_base_model
     • Lyria: global_generate_content_requests_per_minute_per_project_per_base_model
   • MODEL_NAME: o nome do modelo que você está usando.
4. Para ajustar a cota, clique em more_vert Mais e selecione Editar cota.
5. Insira um novo valor de cota no painel e clique em Enviar solicitação.

Inferência em lote

As cotas e os limites para jobs de inferência em lote são os mesmos em todas as regiões.

Limites de jobs de inferência em lote simultâneos para modelos do Gemini

Não há limites de cota predefinidos na inferência em lote para modelos do Gemini. Em vez disso, o serviço em lote fornece acesso a um pool grande e compartilhado de recursos, alocados dinamicamente com base na disponibilidade em tempo real do modelo e na demanda de todos os clientes para esse modelo. Quando mais clientes estiverem ativos e saturarem a capacidade do modelo, suas solicitações em lote poderão ser colocadas em fila para capacidade.

Cotas de jobs de inferência em lote simultâneos para modelos que não são do Gemini

A tabela a seguir lista as cotas para o número de jobs de inferência em lote simultâneos, que não se aplicam aos modelos do Gemini:

Cota	Valor
aiplatform.googleapis.com/textembedding_gecko_concurrent_batch_prediction_jobs	4

Se o número de tarefas enviadas exceder a cota de alocação, as tarefas serão colocadas em uma fila e processadas quando a capacidade da cota estiver disponível.

Ver e editar as cotas no console do Cloud de Confiance

Para ver e editar as cotas no console do Cloud de Confiance , faça o seguinte:

1. Acesse a página Cotas e limites do sistema.

Acesse "Cotas e limites do sistema"

2. Para ajustar a cota, copie e cole a propriedade aiplatform.googleapis.com/textembedding_gecko_concurrent_batch_prediction_jobs no Filtro. Pressione Enter.
3. Clique nos três pontos no final da linha e selecione Editar cota.
4. Insira um novo valor de cota no painel e clique em Enviar solicitação.

Cotas da política de governança semântica

As cotas a seguir se aplicam à Política de Governança Semântica para um determinado projeto em cada região:

Ver e editar as cotas no console do Cloud de Confiance

Para ver e editar as cotas no console do Cloud de Confiance , faça o seguinte:

1. Acesse a página Cotas e limites do sistema.

Acesse "Cotas e limites do sistema"

2. Para ajustar a cota, copie e cole a propriedade aiplatform.googleapis.com/semantic_governance/policy_write_requests no Filtro. Pressione Enter.
3. Clique nos três pontos no final da linha e selecione Editar cota.
4. Insira um novo valor de cota no painel e clique em Enviar solicitação.

Mecanismo RAG na Gemini Enterprise Agent Platform

Para que cada serviço realize a geração aumentada por recuperação (RAG) usando o mecanismo RAG, as seguintes cotas se aplicam, com a cota medida como solicitações por minuto (RPM).

Serviço	Cota	Métrica
APIs de gerenciamento de dados do RAG Engine	60 RPM	VertexRagDataService requests per minute per region
API RetrievalContexts	600 RPM	VertexRagService retrieve requests per minute per region
base_model: textembedding-gecko	1.500 RPM	Online prediction requests per base model per minute per region per base_model Outro filtro que você pode especificar é base_model: textembedding-gecko

Os seguintes limites são aplicáveis:

Serviço	Limite	Métrica
Solicitações simultâneas de ImportRagFiles	3 RPM	VertexRagService concurrent import requests per region
Número máximo de arquivos por solicitação ImportRagFiles	10.000	VertexRagService import rag files requests per region

Serviço de avaliação de IA generativa

O serviço de avaliação de IA generativa usa o Gemini 2.5 Flash como modelo de juiz padrão para métricas baseadas em modelo. Uma única solicitação de avaliação para uma métrica baseada em modelo pode resultar em várias solicitações subjacentes ao serviço de avaliação de IA generativa. O consumo de cada modelo é calculado no nível da organização, o que significa que todas as solicitações direcionadas ao modelo de juiz para inferência e avaliação baseada em modelo contribuem para o consumo do modelo. As cotas do serviço de avaliação de IA generativa e do modelo de juiz subjacente são mostradas na tabela a seguir:

Solicitar cota	Cota padrão
Solicitações de serviço de avaliação de IA generativa por minuto	1.000 solicitações por projeto em cada região
Capacidade de processamento do Gemini	Depende do modelo e da opção de consumo
Execuções de avaliação simultâneas	20 execuções de avaliação simultâneas por projeto e região

Se você receber um erro relacionado a cotas ao usar o serviço de avaliação de IA generativa, talvez seja necessário registrar uma solicitação de aumento de cota. Para mais informações, consulte Ver e gerenciar cotas.

Limite	Valor
Tempo limite da solicitação de serviço de avaliação de IA generativa	60 segundos

Ao usar o serviço de avaliação de IA generativa pela primeira vez em um novo projeto, pode haver um atraso na configuração inicial de até dois minutos. Se a primeira solicitação falhar, aguarde alguns minutos e tente novamente. As próximas solicitações de avaliação normalmente são concluídas em 60 segundos.

O máximo de tokens de entrada e saída para métricas baseadas em modelo depende do modelo usado como juiz. Consulte Modelos do Google para ver uma lista de modelos.

Cotas de pipelines da Gemini Enterprise Agent Platform

Cada job de ajuste usa os pipelines da Gemini Enterprise Agent Platform. Para mais informações, consulte Cotas e limites do Agent Platform Pipelines.

A seguir