Cette section explique les concepts d'unité de scaling pour l'IA générative (GSU) et de taux d'utilisation. Le débit provisionné est calculé et facturé en fonction des unités de scaling pour l'IA générative (GSU) et des taux d'utilisation.
GSU et taux d'utilisation
Une unité de scaling pour l'IA générative (GSU) est une mesure du débit de vos prompts et de vos réponses. Ce montant spécifie le débit à provisionner pour un modèle.
Un taux d'utilisation est un ratio qui convertit les unités d'entrée et de sortie (telles que les jetons, les caractères ou les images) en jetons d'entrée par seconde, en caractères d'entrée par seconde ou en images d'entrée par seconde, respectivement. Ce ratio représente le débit et permet de produire une unité standard pour tous les modèles.
Les différents modèles utilisent des quantités de débit différentes. Pour en savoir plus sur le montant minimal d'achat de GSU et les incréments pour chaque modèle, consultez la section Modèles compatibles et taux de consommation du présent document.
Cette équation montre comment le débit est calculé :
inputs_per_query = inputs_across_modalities_converted_using_burndown_rates
outputs_per_query = outputs_across_modalities_converted_using_burndown_rates
throughput_per_second = (inputs_per_query + outputs_per_query) * queries_per_second
Le débit calculé par seconde détermine le nombre de GSU dont vous avez besoin pour votre cas d'utilisation.
Remarques importantes
Pour vous aider à planifier vos besoins en débit provisionné, tenez compte des points importants suivants :
Les requêtes ont la priorité.
Les clients de débit provisionné ont la priorité et sont traités avant les requêtes à la demande.
Le débit ne s'accumule pas.
Les débits inutilisés ne sont pas cumulatifs ni reportés sur le mois suivant.
Le débit provisionné est mesuré en jetons par seconde, en caractères par seconde ou en images par seconde.
Le débit provisionné n'est pas mesuré uniquement en fonction du nombre de requêtes par minute (RPM). Il est mesuré en fonction de la taille des requêtes pour votre cas d'utilisation, de la taille de la réponse et du nombre de requêtes par minute.
Le débit provisionné est spécifique à un projet, une région, un modèle et une version.
Le débit provisionné est attribué à une combinaison projet-région-modèle-version spécifique. Le même modèle appelé depuis une autre région ne sera pas comptabilisé dans votre quota de débit provisionné et ne sera pas prioritaire par rapport aux requêtes à la demande.
mise en cache du contexte
Le débit provisionné est compatible avec la mise en cache implicite et la mise en cache explicite. Pour en savoir plus sur les modèles compatibles et les limites, consultez Mise en cache du contexte.
La mise en cache implicite est activée par défaut dans tous les projets Cloud de Confiance by S3NS . La mise en cache implicite réduit les coûts et la latence lors des succès de cache. Les jetons mis en cache sont facturés à un tarif réduit par rapport aux jetons d'entrée standards lorsqu'un succès de cache (hit) se produit. La mise en cache explicite offre davantage de contrôle et garantit une remise lorsque des caches explicites sont référencés. Pour savoir comment créer un cache de contexte pour la mise en cache explicite, consultez Créer un cache de contexte. Pour afficher les remises spécifiques à un modèle, consultez Présentation de la mise en cache de contexte. Pour le débit provisionné, la remise est appliquée via un taux d'utilisation réduit.
Par exemple, Gemini 2.5 Pro présente les taux de consommation suivants pour les jetons de texte d'entrée et les jetons mis en cache :
1 jeton de texte d'entrée = 1 jeton
1 jeton de texte d'entrée mis en cache = 0,1 jeton
L'envoi de 1 000 jetons d'entrée à ce modèle entraîne une réduction de votre débit provisionné de 1 000 jetons d'entrée par seconde. Toutefois, si vous envoyez 1 000 jetons mis en cache à Gemini 2.5 Pro, votre débit provisionné est réduit de 100 jetons par seconde.
Notez que cela peut entraîner un débit plus élevé pour les requêtes similaires où les jetons ne sont pas mis en cache et où la remise sur le cache n'est pas appliquée.
Pour afficher les taux d'utilisation des modèles compatibles avec le débit provisionné, consultez Modèles compatibles et taux d'utilisation.
Comprendre la consommation pour l'API Gemini Live
Le débit provisionné est compatible avec Gemini 2.5 Flash avec l'API Gemini Live. Pour savoir comment calculer la consommation lors de l'utilisation de l'API Gemini Live, consultez Estimer les besoins en GSU.
Pour en savoir plus sur l'utilisation du débit provisionné pour Gemini 2.5 Flash avec l'API Gemini Live, consultez Débit provisionné pour l'API Gemini Live.
Exemple d'estimation de vos besoins de débit provisionné
Pour estimer vos besoins de débit provisionné, utilisez l'outil d'estimation de la console Cloud de Confiance . L'exemple suivant illustre le processus d'estimation du débit provisionné pour votre modèle. La région n'est pas prise en compte dans les calculs d'estimation.
Ce tableau indique les taux de consommation pour Gemini 3.6 Flash que vous pouvez utiliser pour suivre l'exemple.
| Modèle | Débit par GSU | Unités | Incrément d'achat GSU minimal | Taux d'utilisation |
|---|---|---|---|---|
| Gemini 3.6 Flash | 675 | Jetons | 1 |
1 jeton de texte d'entrée = 1 jeton 1 jeton d'image d'entrée = 1 jeton 1 jeton de vidéo d'entrée = 1 jeton 1 jeton audio d'entrée = 1 jeton 1 jeton de mise en cache de texte d'entrée = 0,1 jeton 1 jeton de mise en cache d'image d'entrée = 0,1 jeton 1 jeton de mise en cache de vidéo d'entrée = 0,1 jeton 1 jeton de mise en cache audio d'entrée = 0,1 jeton 1 jeton de réponse textuelle de sortie = 5 jetons |
Consignez vos exigences. Dans cet exemple, vous devez vérifier que vous pouvez accepter 10 requêtes par seconde (RPS) d'une requête avec une entrée de 1 000 jetons de texte et 500 jetons audio, pour recevoir une sortie de 300 jetons de réponse textuelle à l'aide de
gemini-3.6-flash.Pour calculer le débit de votre cas d'utilisation spécifique, utilisez les taux de consommation du modèle sélectionné.
Calculez votre débit. Multipliez vos entrées par les taux d'utilisation pour obtenir le nombre total de jetons d'entrée :
$\text{1 000} \times (\text{1 jeton par jeton de texte d'entrée}) + \text{500} \times (\text{1 jeton par jeton audio d'entrée}) = \text{1 500}$ jetons d'entrée ajustés par requête.
Multipliez vos sorties par les taux de consommation pour obtenir le nombre total de jetons de sortie :
$\text{300} \times (\text{5 jetons par jeton de réponse textuelle de sortie}) = \text{1 500}$ jetons de sortie ajustés par requête.
Additionnez vos totaux :
$\text{1 500 jetons d'entrée ajustés en fonction de la réduction} + \text{1 500 jetons de sortie ajustés en fonction de la réduction} = \text{3 000}$ jetons au total par requête.
Multipliez le nombre total de jetons par le RPS pour obtenir le débit total par seconde :
$\text{3 000 jetons au total par requête} \times \text{10 RPS} = \text{30 000}$ jetons au total par seconde.
Calculez les GSU dont vous avez besoin. Les GSU correspondent au nombre total de jetons par seconde divisé par le débit par seconde par GSU de la table des taux d'utilisation :
$\text{30 000 jetons au total par seconde} \div \text{675 jetons de débit par seconde par GSU} = \text{44,44}$ GSU.
L'incrément minimal d'achat de GSU pour
gemini-3.6-flashest de 1. Vous aurez donc besoin de 45 GSU pour assurer votre charge de travail.