Présentation de la mise en cache de contexte

La mise en cache de contexte permet de réduire le coût et la latence des requêtes adressées à Gemini qui contiennent du contenu répété. Gemini Enterprise Agent Platform propose deux types de mise en cache :

• Mise en cache implicite : mise en cache automatique activée par défaut qui permet de réaliser des économies lorsque des correspondances de cache se produisent. La mise en cache implicite inclut la mise en cache en mémoire et la mise en cache durable.
• Mise en cache explicite : mise en cache manuelle activée à l'aide de l'API Gemini Enterprise, dans laquelle vous déclarez explicitement le contenu que vous souhaitez mettre en cache et si vos requêtes doivent ou non faire référence au contenu mis en cache.

Pour la mise en cache implicite et explicite, le cachedContentTokenCount champ des métadonnées de votre réponse indique le nombre de jetons dans la partie mise en cache de votre entrée.

Coûts de stockage de la mise en cache

Pour la mise en cache implicite et explicite, vous êtes facturé pour les jetons d'entrée utilisés pour créer le cache au prix standard des jetons d'entrée. Pour la mise en cache explicite, des coûts de stockage sont également appliqués en fonction de la durée de stockage des caches. La mise en cache implicite n'entraîne aucun coût de stockage. Pour en savoir plus, consultez Tarifs d'Agent Platform.

Mise en cache implicite

La mise en cache implicite est activée par défaut pour tous les Cloud de Confiance by S3NS projets. Elle offre une remise de 90% sur les jetons mis en cache par rapport aux jetons d'entrée standards. Lorsqu'elle est activée, les économies réalisées grâce aux succès de cache implicites vous sont automatiquement répercutées.

La mise en cache implicite stocke les préfixes dans deux niveaux de stockage :

• Mise en cache en mémoire : les préfixes mis en cache sont conservés en mémoire. La capacité de mémoire est limitée. Les préfixes sont donc supprimés à mesure que la capacité est récupérée.
• Mise en cache durable : lorsqu'un préfixe est supprimé du stockage en mémoire, il est déplacé vers un stockage durable au lieu d'être supprimé. Une requête ultérieure qui réutilise le préfixe peut toujours obtenir une succès de cache (hit), ce qui augmente les taux de succès de cache (hit) pour les charges de travail qui réutilisent le même contexte sur des intervalles plus longs.

Les deux niveaux sont activés par défaut. Un préfixe mis en cache expire au plus tard 24 heures après sa création, et la plupart des entrées sont supprimées plus tôt. Vous pouvez désactiver la mise en cache durable et conserver la mise en cache en mémoire, ou désactiver complètement la mise en cache implicite. Si vous avez des préoccupations concernant la conservation des données, consultez Conservation zéro donnée, qui décrit comment les données mises en cache sont gérées et comment désactiver chaque niveau.

Pour augmenter la probabilité d'un succès de cache (hit) implicite, procédez comme suit :

• Placez les contenus volumineux et courants au début de votre requête.
• Envoyez des requêtes avec un préfixe similaire dans un court laps de temps.

Modèles compatibles

La mise en cache implicite est disponible sur les modèles Gemini compatibles, et la mise en cache durable est disponible sur un sous-ensemble de ces modèles.

Mise en cache en mémoire

La mise en cache en mémoire est compatible avec les modèles suivants :

Mise en cache durable

La mise en cache durable est compatible avec les modèles suivants :

• Gemini 4 Argon
• Gemini 4 Argon Cyber Permissive
• Gemini 3.8 Flash
• Gemini 3.8 Flash Cyber

La mise en cache implicite est également compatible avec les modèles ouverts. Pour en savoir plus, consultez Modèles ouverts d'Agent Platform pour MaaS.

Mise en cache explicite

La mise en cache explicite offre plus de contrôle et garantit une remise sur les jetons d'entrée qui font référence à un cache de contexte existant. Sur les modèles Gemini 2.5 ou ultérieurs, cette remise est de 90%; sur les modèles Gemini 2.0, elle est de 75%.

À l'aide de l'API Gemini Enterprise, vous pouvez effectuer les tâches suivantes :

• Créer des caches de contexte et les contrôler plus efficacement.
• Utiliser un cache de contexte en référençant son contenu dans une requête avec son nom de ressource.
• Modifier le délai d'expiration (Time to Live, ou TTL) d'un cache de contexte au-delà des 60 minutes par défaut.
• Supprimer un cache de contexte lorsqu'il n'est plus nécessaire.

Vous pouvez également utiliser l'API Gemini Enterprise pour récupérer des informations sur un cache de contexte.

Les caches explicites interagissent avec la mise en cache implicite, ce qui peut entraîner une mise en cache supplémentaire au-delà du contenu spécifié lors de la création d'un cache. Pour éviter la conservation des données de cache, désactivez la mise en cache implicite et évitez de créer des caches explicites. Pour en savoir plus, consultez Activer et désactiver la mise en cache.

Modèles compatibles

La mise en cache explicite est compatible avec les modèles suivants :

Quand utiliser la mise en cache de contexte

La mise en cache de contexte est particulièrement adaptée aux scénarios où un contexte initial important est référencé à plusieurs reprises par des requêtes ultérieures.

Les éléments de contexte mis en cache, tels qu'une grande quantité de texte, un fichier audio ou un fichier vidéo, peuvent être utilisés dans les requêtes adressées à l'API Gemini pour générer un résultat. Les requêtes qui utilisent le même cache dans le prompt incluent également du texte unique pour chaque prompt. Par exemple, chaque prompt qui compose une conversation de chat peut inclure le même cache de contexte qui fait référence à une vidéo, ainsi qu'un texte unique qui comprend chaque tour de la conversation.

Envisagez d'utiliser la mise en cache de contexte pour les cas d'utilisation suivants :

• Chatbots avec des instructions système détaillées
• Analyse répétitive de fichiers vidéo longs
• Requêtes récurrentes sur des ensembles de documents volumineux
• Analyse fréquente du dépôt de code ou correction de bugs

La mise en cache implicite et explicite est compatible avec le débit provisionné en preview. Pour en savoir plus, consultez le guide sur le débit provisionné. Les caches fonctionnent avec tous les types de trafic. Par exemple, un cache créé lors de l'utilisation du débit provisionné fonctionne également avec le paiement à l'utilisation.

Disponibilité

La mise en cache de contexte est disponible dans les régions où l'IA générative sur Agent Platform est disponible. Pour en savoir plus, consultez IA générative dans les emplacements Agent Platform.

Limites

La mise en cache de contexte est soumise aux limites indiquées dans le tableau suivant :

Isolation et sécurité des données de cache pour les charges de travail agentiques

Cloud de Confiance utilise le numéro de votre projet pour isoler les données mises en cache, et le contenu mis en cache n'est jamais partagé entre les projets.

Pour éviter les fuites de données entre utilisateurs dans les charges de travail agentiques, limitez les données et les sorties des requêtes mises en cache à chaque session utilisateur. Lorsque vous exécutez des agents en arrière-plan ou des proxys multitenants, alignez les limites du cache sur les autorisations de l'utilisateur final afin qu'un agent ne puisse pas réutiliser les identifiants ou les données mis en cache entre les utilisateurs.

Compatibilité avec VPC Service Controls

La mise en cache de contexte est compatible avec VPC Service Controls, ce qui signifie que votre cache ne peut pas être exfiltré au-delà de votre périmètre de service. Si vous utilisez Cloud Storage pour créer votre cache, incluez également votre bucket dans votre périmètre de service afin de protéger le contenu de votre cache.

Pour en savoir plus, consultez VPC Service Controls avec Agent Platform dans la documentation d'Agent Platform.

Étape suivante

• En savoir plus sur l'API Gemini
• Découvrez comment utiliser les requêtes multimodales.