Vous pouvez utiliser la mise en cache du contexte pour vos modèles Gemini affinés afin d'améliorer les performances et de réduire les coûts pour les requêtes qui incluent de grandes quantités de contexte. En mettant en cache le contexte fréquemment utilisé, vous évitez de renvoyer de grandes quantités de données à chaque requête envoyée à votre modèle affiné.
Les opérations de gestion (Read, Update, Delete) du cache de contexte pour les modèles Gemini réglés restent cohérentes avec les modèles de base. Seules la création et l'inférence de contenu mis en cache nécessitent un ajustement spécifique, qui est détaillé dans les sections suivantes.
Prérequis
Affinage d'un modèle Gemini : vous avez besoin d'un modèle Gemini affiné et déployé, basé sur un modèle de base compatible (consultez Présentation de la mise en cache du contexte). Pour savoir comment affiner un modèle Gemini, consultez Affiner un modèle Gemini. Pour obtenir le point de terminaison de votre modèle ajusté déployé, consultez Déployer un modèle ajusté.
Assurez-vous de disposer des informations suivantes :
- ID et version du modèle Gemini ajusté
- Nom de la ressource de point de terminaison pour le modèle affiné déployé
Versions compatibles
Les modèles Gemini affinés sont compatibles avec la mise en cache implicite pour des versions spécifiques. Pour obtenir la liste des modèles compatibles et de leurs fonctionnalités, consultez Modèles Google.
La mise en cache explicite n'est pas compatible avec les modèles affinés.