Inferência em lote com o Gemini

Tenha inferência assíncrona, de alta capacidade de processamento e econômica para suas necessidades de processamento de dados em grande escala com a inferência em lote do Gemini (antiga predição em lote). Este guia explica o valor da inferência em lote, como ela funciona, suas limitações e as práticas recomendadas para resultados ideais.

Por que usar a inferência em lote?

Em muitos cenários do mundo real, você não precisa de uma resposta imediata de um modelo de linguagem. Em vez disso, talvez você tenha um grande conjunto de dados de comandos que precisa processar de maneira eficiente e econômica. É aí que a inferência em lote se destaca.

Principais vantagens:

  • Custo-benefício:o processamento em lote é oferecido com um preço com desconto de 50% em comparação com a inferência em tempo real, o que o torna ideal para tarefas de grande escala e não urgentes. O armazenamento em cache implícito é ativado por padrão para os modelos Gemini 2.5 e Gemini 3. O armazenamento em cache implícito oferece um desconto de 90% nos tokens em cache em comparação com os tokens de entrada padrão. No entanto, os descontos para cache e lote não são cumulativos. O desconto de 90% para ocorrência em cache tem precedência sobre o desconto em lote.
  • Limites de taxa altos: processe centenas de milhares de solicitações em um único lote com um limite de taxa mais alto em comparação com a API Gemini em tempo real.
  • Fluxo de trabalho simplificado: em vez de gerenciar um pipeline complexo de solicitações individuais em tempo real, envie um único job em lote e recupere os resultados quando o processamento for concluído. O serviço lida com a validação de formato, paraleliza solicitações para processamento simultâneo e tenta novamente de forma automática para buscar uma alta taxa de conclusão com um tempo de resposta de 24 horas.

A inferência em lote é otimizada para tarefas de processamento em grande escala, como:

  • Geração de conteúdo:gere descrições de produtos, postagens em redes sociais ou outros textos criativos em massa.
  • Anotação e classificação de dados:classifique avaliações de usuários, categorize documentos ou faça análises de sentimento em um grande corpus de texto.
  • Análise off-line:resuma artigos, extraia informações importantes de relatórios ou traduza documentos em grande escala.
  • Geração de embeddings:gere embeddings de vetor para um grande corpus de documentos para potencializar as cargas de trabalho de pesquisa semântica, recuperação e clustering.

Modelos do Gemini que aceitam inferência em lote

Os seguintes modelos base e ajustados do Gemini são compatíveis com a inferência em lote:

Clique para abrir os modelos compatíveis

Modelos de embedding compatíveis com inferência em lote

A inferência em lote também está disponível para modelos de embedding:

  • Modelos de embedding do Gemini (pré-lançamento): gemini-embedding-001 e gemini-embedding-2. Cada job em lote aceita até 1.000.000 de linhas, e cada projeto aceita até 10.000 jobs em lote simultâneos na fila.
  • Modelos legados de embedding de texto: todas as versões estáveis, incluindo text-embedding-004, text-embedding-005 e text-multilingual-embedding-002. Cada solicitação pode incluir até 30.000 comandos.

Os jobs em lote de embedding usam um esquema de entrada e saída diferente dos jobs em lote de geração de texto do Gemini, e os limites de solicitação em Cotas e limites não se aplicam a eles. Para ver o esquema JSONL obrigatório, as opções de configuração por modelo e exemplos, consulte Receber inferências de embeddings em lote.

Suporte a modelos de endpoint global

A inferência em lote é compatível com o uso do endpoint global para modelos básicos do Gemini. Ele não é compatível com o endpoint global para modelos ajustados do Gemini.

O endpoint global ajuda a melhorar a disponibilidade geral, atendendo às suas solicitações em qualquer região compatível com o modelo que você está usando. Ele não é compatível com os requisitos de residência de dados. Se você tiver requisitos de residência de dados, use os endpoints regionais.

Cotas e limites

Embora a inferência em lote seja poderosa, é importante estar ciente das seguintes limitações.

  • Quota: não há limites de cota predefinidos para seu uso. Em vez disso, o serviço em lote oferece acesso a um pool grande e compartilhado de recursos, alocados dinamicamente com base na disponibilidade de recursos e na demanda em tempo real de todos os clientes desse modelo. Quando mais clientes estão ativos e nossa capacidade está saturada, as solicitações em lote podem ser colocadas em fila para capacidade.
  • Tempo de fila: quando nosso serviço tiver um tráfego alto, seu job em lote será enfileirado para capacidade. O job permanece na fila por até 72 horas antes de expirar.
  • Limites de solicitações: um único job em lote pode incluir até 200.000 solicitações. Se você estiver usando o Cloud Storage como entrada, também haverá um limite de tamanho de arquivo de 1 GB. Os modelos de embedding têm limites de solicitação diferentes. Para mais informações, consulte Modelos de embedding que oferecem suporte à inferência em lote.
  • Tempo de processamento: os jobs em lote são processados de forma assíncrona e não são projetados para aplicativos em tempo real. A maioria dos jobs é concluída em até 24 horas após o início da execução (sem contar o tempo de fila). Após 24 horas, os jobs incompletos são cancelados, e você só vai receber cobranças pelas solicitações concluídas.
  • Jobs cancelados: é possível cancelar jobs de inferência em lote a qualquer momento. Quando você cancela um job, todo o trabalho restante é cancelado, e todo o trabalho já concluído é retornado. Você só vai receber cobranças pelo trabalho concluído.
  • Recursos não compatíveis: a inferência em lote não é compatível com Capacidade de Processamento Provisionada, armazenamento em cache explícito ou RAG. O armazenamento em cache implícito de inferência em lote não é compatível com o Gemini 2.0 Flash ou o Gemini 2.0 Flash-Lite.
  • Saída de imagem: a inferência em lote é limitada à resolução padrão de 1K. As saídas 2K e 4K não são compatíveis.

Práticas recomendadas

Para aproveitar ao máximo a inferência em lote com o Gemini, recomendamos as seguintes práticas recomendadas:

  • Combinar jobs:para maximizar a capacidade de processamento, combine jobs menores em um único job grande, dentro dos limites do sistema. Por exemplo, enviar um job em lote com 200.000 solicitações oferece uma capacidade melhor do que 1.000 jobs com 200 solicitações cada. Evite jobs com menos de 1.000 solicitações, porque a sobrecarga fixa por job ocupa a maior parte do tempo de execução.
  • Monitorar o status do job:é possível monitorar o progresso do job usando a API, o SDK ou UI. Para mais informações, consulte Monitorar o status do job. Se um job falhar, verifique as mensagens de erro para diagnosticar e resolver problemas.
  • Otimize os custos:aproveite a economia de custos oferecida pelo processamento em lote para tarefas que não exigem uma resposta imediata.

A seguir