En esta sección, se explica cómo funciona la Capacidad de procesamiento aprovisionada para los modelos de Gemini Omni, incluido el comportamiento de aplicación de cuotas y los incrementos mínimos de compra de Unidades de escalamiento de IA generativa (GSU).
En el caso de los modelos de Gemini Omni, los períodos de aplicación de la cuota varían según la cantidad de GSUs que compres para el modelo y están sujetos a cambios. En las siguientes secciones, se enumeran los períodos de aplicación de cuotas para los diferentes tamaños de GSU.
Versión preliminar de Gemini Omni Flash: Períodos de aplicación de cuotas
A continuación, se indican los períodos de aplicación de cuotas para diferentes tamaños de GSU en la versión preliminar de Gemini Omni Flash:
- De 1 a 9 GSU: 2,000 segundos
- De 10 a 19 GSU: 200 segundos
- De 20 a 39 GSUs: 100 segundos
- De 40 a 66 GSU: 50 segundos
- Más de 67 GSU: 30 segundos
Los valores que se indican son independientes de la latencia de la solicitud. El tiempo de procesamiento de tu solicitud no es el mismo que el período de aplicación de la cuota.
Los períodos de aplicación son más largos para cantidades más pequeñas de GSU, lo que garantiza que las solicitudes más pequeñas se procesen correctamente dentro del período. A medida que aumenta la cantidad de GSUs de un modelo, no se requieren tiempos de ventana más largos para procesar una solicitud. Si necesitas procesar resultados en Omni Flash con mayor frecuencia usando la capacidad de procesamiento aprovisionada, te recomendamos que aumentes la cantidad de GSU compradas y que verifiques la ventana de aplicación correspondiente.
Por ejemplo, considera una situación en la que compraste 1 GSU de Omni Flash Preview para una carga de trabajo que requiere generar un solo video de 10 segundos en 1080p. En este caso, por lo general, puedes generar este video en 60 segundos, y el tráfico se procesa como capacidad de procesamiento aprovisionada. Sin embargo, si quieres generar otro video de la misma duración, debes esperar a que finalice el período de aplicación de la cuota (2,000 segundos para 1 GSU). La hora de este período de aplicación se determina según la hora del reloj de Gemini Enterprise Agent Platform y no según el momento en que se realiza la solicitud. Los períodos de aplicación dependen de los algoritmos de backend y están sujetos a cambios.
Te recomendamos que establezcas los parámetros de la API de duración y resolución cuando realices una solicitud. Cuando se proporciona, la capacidad de procesamiento aprovisionada puede brindar una experiencia más precisa. Si no se proporcionan estos parámetros, la estimación del tamaño de la solicitud de capacidad de procesamiento aprovisionada supone la duración y la resolución máximas, lo que podría generar un desbordamiento prematuro y evitable hacia el pago por uso, y reducir la utilización de la capacidad de procesamiento aprovisionada que compraste.
Cómo estimar los requisitos de GSU
Te recomendamos que uses la herramienta de estimación en la página Capacidad de procesamiento aprovisionada para calcular la cantidad de GSU que necesitas para tu carga de trabajo. La herramienta requiere que ingreses la estimación de los tokens de entrada y salida totales para un período de frecuencia específico. Para obtener más información sobre el uso de la herramienta de estimación, consulta Cómo realizar un pedido estándar de capacidad de procesamiento aprovisionada.
Para estimar los recuentos de tokens, usa los siguientes métodos:
- Tokens de texto de entrada: Usa el tokenizador del SDK o la API de countTokens.
- Tokens de entrada de otras modalidades: Usa estimaciones basadas en las suposiciones de la página de precios.
- Cargas de trabajo existentes: Suma el uso de tokens de las respuestas generadas dentro de un período específico.
Por ejemplo, considera una carga de trabajo que genera cinco videos de 720p de 10 segundos y cinco videos de 1080p de 10 segundos cada 30 segundos (10 solicitudes en total). Supongamos que cada solicitud tiene 20 tokens de texto de entrada, una imagen (1,120 tokens) y 100 tokens de pensamiento de respuesta. Los datos de entrada para el estimador de GSU son los siguientes:
- Frecuencia: 30 s
- Total de tokens de texto de entrada: 20 × 10 (solicitudes) = 200
- Tokens de imagen totales: 1,120 × 10 (solicitudes) = 11,200
- Total de tokens de razonamiento de salida: 100 × 10 (solicitudes) = 1,000
- Total de tokens de video de salida: 10 s (duración) × 5,792 (tokens/s) × 5 videos (720p) + 10 s (duración) × 8,688 (tokens/s) × 5 videos (1080p) = 724,000
- GSUs estimadas: 434
Situaciones de alta resolución y duración
Una sola solicitud grande no se puede dividir en dos períodos de aplicación. Si una solicitud necesita más de lo que admite tu ventana de aplicación, se publicará como pago por uso cada vez, sin importar con qué frecuencia la envíes ni cuánta cuota de capacidad de procesamiento aprovisionada sin usar pueda haber en ventanas posteriores.
Esto solo afecta a los videos en 4K de 7 segundos o más. En 360p, 720p y 1080p, todas las duraciones admitidas caben en una ventana con cualquier tamaño de compra, al igual que los videos en 4K de 6 segundos o menos (suponiendo que los tokens de entrada y razonamiento típicos sean inferiores a 88, 000 tokens).
Si generas videos en 4K de 7 segundos o más, compara el resultado de la herramienta de estimación con la siguiente tabla y ordena el número que sea mayor:
| El video en 4K más largo | De 1 a 9 GSU | Entre 10 y 19 GSU | Entre 20 y 39 GSU | De 40 a 66 GSU | Más de 67 GSU |
|---|---|---|---|---|---|
| 7 segundos | 2 | 12 | 23 | 46 | 76 |
| 8 segundos | 2 | 13 | 26 | 52 | 87 |
| 9 segundos | 2 | 15 | 29 | 58 | 97 |
| 10 segundos | 2 | 17 | 33 | 65 | 107 |
Lee la columna que coincide con tu recuento estimado de GSU. Por ejemplo, supongamos que generas seis videos en 4K de 10 segundos cada 2,000 segundos. El estimador devuelve 10 GSU, lo que es suficiente para la capacidad de procesamiento promedio. Sin embargo, con 10 GSUs, el período de aplicación es de 200 segundos, y ninguno de tus videos de 10 segundos cabe en un solo período. Espaciar más las seis solicitudes no resuelve este problema. Para procesar correctamente las solicitudes sin desbordamiento de pago por uso, pide 17 GSU.
Estas cifras suponen el uso de instrucciones y tokens de razonamiento típicos: una instrucción de texto o imagen, o un video de hasta 10 segundos para editar.