Nesta seção, explicamos como a capacidade de processamento provisionada funciona para modelos do Gemini Omni, incluindo o comportamento de aplicação de cotas e os incrementos mínimos de compra de unidade de escala de IA generativa (GSU).
Para os modelos do Gemini Omni, as janelas de aplicação de cota variam de acordo com o número de GSUs compradas para o modelo e estão sujeitas a mudanças. As seções a seguir listam os períodos de aplicação de cota para diferentes tamanhos de GSU.
Pré-lançamento do Gemini Omni Flash: períodos de aplicação de cota
Confira a seguir os períodos de aplicação de cota para diferentes tamanhos de GSU na prévia do Gemini Omni Flash:
- 1 a 9 GSUs: 2.000 segundos
- 10 a 19 GSUs: 200 segundos
- 20 a 39 GSUs: 100 segundos
- 40 a 66 GSUs: 50 segundos
- 67 GSUs ou mais: 30 segundos
Os valores listados são independentes da latência da solicitação. O tempo para processar sua solicitação não é o mesmo que a janela de aplicação de cota.
As janelas de aplicação são maiores em quantidades menores de GSU para garantir que solicitações menores sejam processadas com sucesso dentro da janela. À medida que o número de GSUs de um modelo aumenta, não é necessário ter períodos mais longos para processar uma solicitação. Se você precisar processar saídas no Omni Flash com mais frequência usando a capacidade provisionada, recomendamos aumentar o número de GSUs compradas e verificar o período de aplicação correspondente.
Por exemplo, considere uma situação em que você comprou uma GSU da prévia do Omni Flash para uma carga de trabalho que exige a geração de um único vídeo de 10 segundos em 1080p. Nesse caso, é possível gerar o vídeo em 60 segundos, e o tráfego é processado como Capacidade de Processamento Provisionada. No entanto, se você quiser gerar outro vídeo de mesma duração, aguarde até o fim do período de aplicação da cota (2.000 segundos para 1 GSU). O período dessa janela de restrição é determinado pela hora do relógio da Gemini Enterprise Agent Platform, e não pelo momento em que a solicitação é feita. Os períodos de aplicação dependem de algoritmos de back-end e estão sujeitos a mudanças.
Recomendamos definir os parâmetros de API de duração e resolução ao fazer uma solicitação. Quando fornecida, a capacidade de processamento provisionada pode oferecer uma experiência mais precisa. Se esses parâmetros não forem fornecidos, a estimativa de tamanho da solicitação de capacidade de processamento provisionada vai presumir a duração e a resolução máximas, o que pode levar a um transbordamento prematuro e evitável para o pagamento por uso e reduzir a utilização da capacidade de processamento provisionada comprada.
Como estimar os requisitos de GSU
Recomendamos usar a ferramenta de estimativa na página Capacidade de processamento provisionada para estimar o número de GSUs necessárias para sua carga de trabalho. A ferramenta exige que você insira o total de tokens de entrada e a estimativa de tokens de saída para uma janela de frequência específica. Para mais informações sobre como usar a ferramenta de estimativa, consulte Fazer um pedido padrão de Capacidade de Processamento Provisionada.
Para estimar a contagem de tokens, use os seguintes métodos:
- Tokens de texto de entrada: use o tokenizador do SDK ou a API countTokens.
- Tokens de entrada de outras modalidades: use estimativas com base nas premissas da página de preços.
- Workloads atuais: some o uso de tokens das respostas geradas em um período específico.
Por exemplo, considere uma carga de trabalho que gera cinco vídeos de 10 segundos em 720p e cinco vídeos de 10 segundos em 1080p a cada 30 segundos (10 solicitações no total). Suponha que cada solicitação tenha 20 tokens de texto de entrada, uma imagem (1.120 tokens) e 100 tokens de pensamento de resposta. As entradas para o estimador de GSU são as seguintes:
- Frequência: 30 segundos
- Total de tokens do texto de entrada: 20 × 10 (solicitações) = 200
- Total de tokens de imagem: 1.120 × 10 (solicitações) = 11.200
- Total de tokens de raciocínio da resposta: 100 × 10 (solicitações) = 1.000
- Total de tokens do vídeo de resposta: 10s (duração) × 5.792 (tokens/s) × 5 vídeos (720p) + 10s (duração) × 8.688 (tokens/s) × 5 vídeos (1080p) = 724.000
- GSUs estimadas: 434
Cenários de alta resolução e duração
Uma única solicitação grande não pode ser dividida em duas janelas de aplicação. Se uma solicitação precisar de mais do que sua janela de restrição comporta, ela será disponibilizada como pagamento por uso sempre, não importa a frequência com que você a envia e não importa quanta cota de Capacidade de Processamento Provisionada não utilizada possa estar presente em janelas subsequentes.
Isso afeta apenas vídeos em 4K com 7 segundos ou mais. Em 360p, 720p e 1080p, todas as durações compatíveis cabem em uma janela de qualquer tamanho de compra, assim como vídeos em 4K de 6 segundos ou menos (considerando tokens de entrada e raciocínio típicos com menos de 88 mil tokens).
Se você gerar vídeos em 4K com 7 segundos ou mais, compare o resultado da ferramenta de estimativa com a tabela a seguir e faça o pedido do número maior:
| Vídeo 4K mais longo | 1 a 9 GSUs | 10 a 19 GSUs | 20 a 39 GSUs | 40 a 66 GSUs | Mais de 67 GSUs |
|---|---|---|---|---|---|
| 7 segundos | 2 | 12 | 23 | 46 | 76 |
| 8 segundos | 2 | 13 | 26 | 52 | 87 |
| 9 segundos | 2 | 15 | 29 | 58 | 97 |
| 10 segundos | 2 | 17 | 33 | 65 | 107 |
Leia a coluna que corresponde à sua contagem estimada de GSUs. Por exemplo, suponha que você gere seis vídeos em 4K de 10 segundos a cada 2.000 segundos. O estimador retorna 10 GSUs, o que é suficiente para a capacidade de processamento média. No entanto, com 10 GSUs, a janela de aplicação é de 200 segundos, e nenhum dos seus vídeos de 10 segundos se encaixa em uma única janela. Aumentar o espaçamento entre as seis solicitações não resolve esse problema. Para processar as solicitações sem transbordamento de pagamento por uso, faça um pedido de 17 GSUs.
Esses números consideram tokens típicos de comando e raciocínio: um comando de texto ou imagem ou um vídeo de até 10 segundos para edição.