Você pode usar o armazenamento em cache de contexto nos seus modelos do Gemini refinados para melhorar a performance e reduzir os custos de comandos que incluem grandes quantidades de contexto. Ao armazenar em cache o contexto usado com frequência, você evita reenviar grandes quantidades de dados a cada solicitação para seu modelo refinado.
As operações de gerenciamento (Read, Update, Delete) do cache de contexto para modelos ajustados do Gemini permanecem consistentes com os modelos de base. Apenas a criação e a inferência de conteúdo em cache exigem um ajuste específico, detalhado nas seções a seguir.
Pré-requisitos
Ajustar um modelo do Gemini:você precisa de um modelo do Gemini ajustado e implantado com base em um modelo base compatível. Consulte a visão geral do cache de contexto. Para detalhes sobre como ajustar um modelo do Gemini, consulte Ajustar um modelo do Gemini. Para receber o endpoint do modelo ajustado implantado, consulte Implantar um modelo ajustado.
Verifique se você tem as seguintes informações:
- O ID e a versão do modelo do Gemini ajustado
- O nome do recurso de endpoint para o modelo ajustado implantado.
Versões compatíveis
Os modelos do Gemini ajustados são compatíveis com o armazenamento em cache implícito para versões específicas. Para uma lista de modelos compatíveis e seus recursos, consulte Modelos do Google.
O armazenamento em cache explícito não é compatível com modelos refinados.