Puedes usar el almacenamiento de contexto en caché para tus modelos de Gemini ajustados y mejorar el rendimiento, así como reducir los costos de las instrucciones que incluyen grandes cantidades de contexto. Si almacenas en caché el contexto que se usa con frecuencia, evitarás volver a enviar grandes cantidades de datos con cada solicitud a tu modelo ajustado.
Las operaciones de administración (Read, Update, Delete) de la caché de contexto para los modelos de Gemini ajustados siguen siendo coherentes con los modelos base. Solo la creación y la inferencia de contenido almacenado en caché requieren un ajuste específico, que se detalla en las siguientes secciones.
Requisitos previos
Ajuste de un modelo de Gemini: Necesitas un modelo de Gemini ajustado implementado basado en un modelo base compatible (consulta la Descripción general del almacenamiento en caché del contexto). Para obtener detalles sobre cómo ajustar un modelo de Gemini, consulta Ajusta un modelo de Gemini. Para obtener el extremo de tu modelo ajustado implementado, consulta Implementa un modelo ajustado.
Asegúrate de tener la siguiente información:
- El ID y la versión del modelo de Gemini ajustado
- Nombre del recurso del extremo para el modelo ajustado implementado
Versiones compatibles
Los modelos de Gemini ajustados admiten el almacenamiento en caché implícito para versiones específicas. Para obtener una lista de los modelos compatibles y sus capacidades, consulta Modelos de Google.
El almacenamiento en caché explícito no es compatible con los modelos ajustados.