Débit provisionné pour les modèles Gemini Omni

Cette section explique comment fonctionne le débit provisionné pour les modèles Gemini Omni, y compris le comportement d'application des quotas et les incréments d'achat minimums d'unités d'échelle d'IA générative (GSU).

Pour les modèles Gemini Omni, les périodes d'application des quotas varient en fonction du nombre de GSU que vous achetez pour le modèle et peuvent changer. Les sections suivantes listent les périodes d'application des quotas pour différentes tailles de GSU.

Preview Gemini Omni Flash : périodes d'application des quotas

Voici les périodes d'application des quotas pour différentes tailles de GSU pour l'aperçu flash Gemini Omni :

• 1 à 9 GSU : 2 000 secondes
• 10 à 19 GSU : 200 secondes
• 20 à 39 UGS : 100 secondes
• 40 à 66 GSU : 50 secondes
• 67 GSU et plus : 30 secondes

Les valeurs listées sont indépendantes de la latence de la requête. Le temps nécessaire au traitement de votre demande n'est pas le même que la période d'application du quota.

Les fenêtres d'application sont plus larges pour les montants GSU plus petits afin de garantir que les demandes plus petites sont traitées avec succès dans la fenêtre. À mesure que le nombre de GSU d'un modèle augmente, les délais de traitement des requêtes ne sont plus nécessaires. Si vous devez traiter les sorties sur Omni Flash plus fréquemment à l'aide du débit provisionné, nous vous recommandons d'augmenter le nombre d'unités de service Google achetées et de vérifier la fenêtre d'application correspondante.

Par exemple, imaginons que vous ayez acheté un GSU Omni Flash Preview pour une charge de travail qui nécessite de générer une seule vidéo de 10 secondes en 1080p. Dans ce cas, vous pouvez généralement générer cette vidéo en 60 secondes et le trafic est traité comme un débit provisionné. Toutefois, si vous souhaitez générer une autre vidéo de la même durée, vous devez attendre la fin de la période d'application du quota (2 000 secondes pour 1 GSU). La durée de cette période d'application est déterminée par l'heure de l'horloge Gemini Enterprise Agent Platform, et non par le moment où la demande est effectuée. Les délais d'application dépendent des algorithmes de backend et sont susceptibles d'être modifiés.

Nous vous recommandons de définir les paramètres d'API de durée et de résolution lorsque vous envoyez une requête. Lorsqu'il est fourni, le débit provisionné peut offrir une expérience plus précise. Si ces paramètres ne sont pas fournis, l'estimation de la taille de la requête de débit provisionné suppose la durée et la résolution maximales, ce qui peut entraîner un débordement prématuré et évitable vers le paiement à l'utilisation, et réduire l'utilisation de votre débit provisionné acheté.

Estimer les besoins en GSU

Nous vous recommandons d'utiliser l'outil d'estimation sur la page Débit provisionné pour estimer le nombre de GSU requis pour votre charge de travail. L'outil nécessite que vous saisissiez une estimation du nombre total de jetons d'entrée et de sortie pour une fenêtre de fréquence spécifique. Pour en savoir plus sur l'utilisation de l'outil d'estimation, consultez Passer une commande de débit provisionné standard.

Pour estimer le nombre de jetons, utilisez les méthodes suivantes :

• Jetons de texte en entrée : utilisez le tokenizer du SDK ou l'API countTokens.
• Jetons d'entrée d'autres modalités : utilisez des estimations basées sur les hypothèses de la page des tarifs.
• Charges de travail existantes : additionnez l'utilisation des jetons à partir des réponses générées au cours d'une période spécifique.

Prenons l'exemple d'une charge de travail qui génère cinq vidéos de 10 secondes en 720p et cinq vidéos de 10 secondes en 1080p toutes les 30 secondes (10 requêtes au total). Supposons que chaque requête comporte 20 jetons de texte d'entrée, une image (1 120 jetons) et 100 jetons de réflexion de réponse. Les entrées de l'estimateur GSU sont les suivantes :

• Fréquence : 30 s
• Nombre total de jetons de texte d'entrée : 20 x 10 (demandes) = 200
• Nombre total de jetons d'image : 1 120 × 10 (demandes) = 11 200
• Nombre total de jetons de raisonnement de sortie : 100 × 10 (demandes) = 1 000
• Nombre total de jetons vidéo de sortie : 10 s (durée) × 5 792 (jetons/s) × 5 vidéos (720p) + 10 s (durée) × 8 688 (jetons/s) × 5 vidéos (1080p) = 724 000
• GSU estimés : 434

Scénarios de haute résolution et de durée

Une seule demande volumineuse ne peut pas être divisée en deux périodes d'application. Si une requête nécessite plus que ce que votre période d'application des quotas peut contenir, elle est traitée en paiement à l'utilisation à chaque fois, quelle que soit la fréquence à laquelle vous l'envoyez et quelle que soit la quantité de quota de débit provisionné inutilisé qui peut être présente dans les périodes suivantes.

Cela ne concerne que les vidéos 4K de sept secondes ou plus. En 360p, 720p et 1080p, chaque durée acceptée tient dans une fenêtre, quelle que soit la taille de l'achat, tout comme les vidéos en 4K de 6 secondes ou moins (en supposant que les jetons d'entrée et de raisonnement typiques soient inférieurs à 88 000 jetons).

Si vous générez des vidéos 4K de sept secondes ou plus, comparez le résultat de l'outil d'estimation avec le tableau suivant et commandez le nombre le plus élevé :

Lisez la colonne correspondant au nombre de GSU estimé. Par exemple, supposons que vous génériez six vidéos 4K de 10 secondes toutes les 2 000 secondes. L'estimateur renvoie 10 GSU, ce qui est suffisant pour le débit moyen. Toutefois, avec 10 GSU, la période de mise en application est de 200 secondes, et aucune de vos vidéos de 10 secondes ne tient dans une seule fenêtre. Espacer davantage les six demandes ne résout pas ce problème. Pour traiter correctement les demandes sans dépassement du paiement à l'utilisation, commandez 17 unités de SKU.

Ces chiffres supposent des jetons de requête et de raisonnement typiques (une requête textuelle ou d'image, ou une vidéo de 10 secondes maximum à modifier).

Étapes suivantes

• Acheter du débit provisionné