Inferencias por lotes con Gemini

Obtén inferencia asíncrona, de alta capacidad de procesamiento y rentable para tus necesidades de procesamiento de datos a gran escala con la inferencia por lotes de Gemini (antes conocida como predicción por lotes). En esta guía, se explica el valor de la inferencia por lotes, cómo funciona, sus limitaciones y las prácticas recomendadas para obtener resultados óptimos.

¿Por qué usar la inferencia por lotes?

En muchas situaciones del mundo real, no necesitas una respuesta inmediata de un modelo de lenguaje. En su lugar, es posible que tengas un gran conjunto de datos de instrucciones que debas procesar de manera eficiente y económica. Aquí es donde se destaca la inferencia por lotes.

Estos son algunos de los beneficios clave:

  • Rentabilidad: El procesamiento por lotes se ofrece con una tarifa con descuento del 50% en comparación con la inferencia en tiempo real, lo que lo hace ideal para tareas a gran escala que no son urgentes. El almacenamiento en caché implícito está habilitado de forma predeterminada para los modelos de Gemini 2.5 y Gemini 3. El almacenamiento en caché implícito proporciona un 90% de descuento en los tokens almacenados en caché en comparación con los tokens de entrada estándar. Sin embargo, los descuentos por caché y por lotes no se acumulan. El descuento del 90% por acierto de caché tiene prioridad sobre el descuento por lotes.
  • Límites de frecuencia altos: Procesa cientos de miles de solicitudes en un solo lote con un límite de frecuencia más alto en comparación con la API de Gemini en tiempo real.
  • Flujo de trabajo simplificado: En lugar de administrar una canalización compleja de solicitudes individuales en tiempo real, puedes enviar un solo trabajo por lotes y recuperar los resultados una vez que se complete el procesamiento. El servicio controla la validación de formatos, paraleliza las solicitudes para el procesamiento simultáneo y reintenta automáticamente para lograr una alta tasa de finalización con un tiempo de respuesta de 24 horas.

La inferencia por lotes está optimizada para tareas de procesamiento a gran escala, como las siguientes:

  • Generación de contenido: Genera descripciones de productos, publicaciones en redes sociales o cualquier otro texto creativo de forma masiva.
  • Anotación y clasificación de datos: Clasifica las opiniones de los usuarios, categoriza documentos o realiza análisis de sentimiento en un gran corpus de texto.
  • Análisis sin conexión: Resume artículos, extrae información clave de informes o traduce documentos a gran escala.
  • Generación de embeddings: Genera embeddings de vectores para un corpus de documentos grande con el objetivo de potenciar las cargas de trabajo de búsqueda semántica, recuperación y agrupamiento en clústeres.

Modelos de Gemini que admiten la inferencia por lotes

Los siguientes modelos de Gemini base y ajustados admiten la inferencia por lotes:

Haz clic para expandir los modelos compatibles

Modelos de embedding que admiten la inferencia por lotes

La inferencia por lotes también está disponible para los modelos de embeddings:

  • Modelos de embeddings de Gemini (versión preliminar): gemini-embedding-001 y gemini-embedding-2. Cada trabajo por lotes admite hasta 1,000,000 de filas, y cada proyecto admite hasta 10,000 trabajos por lotes simultáneos en la cola.
  • Modelos de embedding de texto heredados: todas las versiones estables, incluidas text-embedding-004, text-embedding-005 y text-multilingual-embedding-002. Cada solicitud puede incluir hasta 30,000 instrucciones.

Los trabajos por lotes de embeddings usan un esquema de entrada y salida diferente al de los trabajos por lotes de generación de texto de Gemini, y los límites de solicitudes en Cuotas y límites no se aplican a ellos. Para conocer el esquema JSONL requerido, las opciones de configuración por modelo y los ejemplos, consulta Obtén inferencias de incorporaciones por lotes.

Compatibilidad con modelos de extremos globales

La inferencia por lotes admite el uso del extremo global para los modelos de Gemini base. No admite el extremo global para los modelos de Gemini ajustados.

El extremo global ayuda a mejorar la disponibilidad general, ya que entrega tus solicitudes desde cualquier región que admita el modelo que usas. Ten en cuenta que no admite los requisitos de residencia de datos. Si tienes requisitos de residencia de datos, usa los extremos regionales.

Cuotas y límites

Si bien la inferencia por lotes es potente, es importante tener en cuenta las siguientes limitaciones.

  • Quota: No hay límites de cuota predefinidos para tu uso. En cambio, el servicio por lotes proporciona acceso a un grupo grande y compartido de recursos, que se asignan de forma dinámica según la disponibilidad de los recursos y la demanda en tiempo real de todos los clientes de ese modelo. Cuando hay más clientes activos y nuestra capacidad está saturada, es posible que tus solicitudes por lotes se pongan en cola por capacidad.
  • Tiempo en cola: Cuando nuestro servicio experimente un tráfico alto, tu trabajo por lotes se pondrá en cola para obtener capacidad. El trabajo permanece en la cola hasta 72 horas antes de que venza.
  • Límites de solicitudes: Un solo trabajo por lotes puede incluir hasta 200,000 solicitudes. Si usas Cloud Storage como entrada, también hay un límite de tamaño de archivo de 1 GB. Los modelos de embeddings tienen diferentes límites de solicitudes. Para obtener más información, consulta Modelos de incorporación que admiten la inferencia por lotes.
  • Tiempo de procesamiento: Los trabajos por lotes se procesan de forma asíncrona y no están diseñados para aplicaciones en tiempo real. La mayoría de los trabajos se completan en un plazo de 24 horas después de que comienzan a ejecutarse (sin contar el tiempo en cola). Después de 24 horas, se cancelan los trabajos incompletos y solo se te cobrará por las solicitudes completadas.
  • Trabajos cancelados: Puedes cancelar los trabajos de inferencia por lotes en cualquier momento. Cuando cancelas un trabajo, se cancela cualquier trabajo restante y se devuelve cualquier trabajo que ya se haya completado. Solo se te cobrará por el trabajo completado.
  • Funciones no admitidas: La inferencia por lotes no admite la capacidad de procesamiento aprovisionada, el almacenamiento en caché explícito ni la RAG. El almacenamiento en caché implícito de inferencia por lotes no es compatible con Gemini 2.0 Flash ni Gemini 2.0 Flash-Lite.
  • Resultado de la imagen: La inferencia por lotes se limita a la resolución predeterminada de 1K. No se admiten las salidas de 2K y 4K.

Prácticas recomendadas

Para aprovechar al máximo la inferencia por lotes con Gemini, te recomendamos las siguientes prácticas recomendadas:

  • Combina trabajos: Para maximizar la capacidad de procesamiento, combina trabajos más pequeños en un trabajo grande, dentro de los límites del sistema. Por ejemplo, enviar un trabajo por lotes con 200,000 solicitudes proporciona una mejor capacidad de procesamiento que 1,000 trabajos con 200 solicitudes cada uno. Evita los trabajos con menos de 1,000 solicitudes, ya que la sobrecarga fija por trabajo ocupa la mayor parte de su tiempo de ejecución.
  • Supervisa el estado del trabajo: Puedes supervisar el progreso del trabajo con la API, el SDK o la IU. Para obtener más información, consulta Supervisa el estado del trabajo. Si un trabajo falla, revisa los mensajes de error para diagnosticar y solucionar el problema.
  • Optimiza los costos: Aprovecha los ahorros de costos que ofrece el procesamiento por lotes para cualquier tarea que no requiera una respuesta inmediata.

¿Qué sigue?