Sie können das Kontext-Caching für Ihre feinabgestimmten Gemini-Modelle verwenden, um die Leistung zu verbessern und die Kosten für Prompts mit großen Mengen an Kontext zu senken. Wenn Sie häufig verwendeten Kontext im Cache speichern, vermeiden Sie, dass bei jeder Anfrage an Ihr feinabgestimmtes Modell große Datenmengen noch einmal gesendet werden müssen.
Die Verwaltungsoperationen (Read, Update, Delete) des Kontext-Cache für abgestimmte Gemini-Modelle bleiben mit denen für Basismodelle konsistent. Nur die Erstellung und Inferenz von im Cache gespeicherten Inhalten erfordern eine spezielle Anpassung, die in den folgenden Abschnitten beschrieben wird.
Vorbereitung
Gemini-Modell optimieren:Sie benötigen ein bereitgestelltes, optimiertes Gemini-Modell, das auf einem unterstützten Basismodell basiert (siehe Übersicht zum Zwischenspeichern von Kontext). Weitere Informationen zum Optimieren eines Gemini-Modells finden Sie unter Gemini-Modell optimieren. Informationen zum Abrufen des Endpunkts für Ihr bereitgestelltes feinabgestimmtes Modell finden Sie unter Abgestimmtes Modell bereitstellen.
Folgende Informationen müssen vorliegen:
- Die ID und die Version des abgestimmten Gemini-Modells
- Der Endpunktressourcenname für das bereitgestellte feinabgestimmte Modell
Unterstützte Versionen
Abgestimmte Gemini-Modelle unterstützen implizites Caching für bestimmte Versionen. Eine Liste der unterstützten Modelle und ihrer Funktionen finden Sie unter Google-Modelle.
Explizites Caching wird für feinabgestimmte Modelle nicht unterstützt.