Die Anthropic Claude-Modelle bieten Prompt-Caching, um die Latenz und die Kosten zu senken, wenn derselbe Inhalt in mehreren Anfragen verwendet wird. Wenn Sie eine Abfrage senden, können Sie alle oder bestimmte Teile Ihrer Eingabe im Cache speichern, sodass nachfolgende Abfragen die im Cache gespeicherten Ergebnisse der vorherigen Anfrage verwenden können. Dadurch werden zusätzliche Compute- und Netzwerkkosten vermieden. Caches sind für Ihr Cloud de Confiance Projekt eindeutig und können nicht von anderen Projekten verwendet werden.
Weitere Informationen zum Strukturieren von Prompts finden Sie in der Dokumentation zum Anthropic Prompt caching.
Datenverarbeitung
Das explizite Prompt-Caching von Anthropic ist eine Funktion der Anthropic Claude-Modelle. Das Angebot der Gemini Enterprise Agent Platform für diese Anthropic-Modelle verhält sich wie in der Anthropic-Dokumentation beschrieben.
Prompt-Caching ist eine optionale Funktion. Claude berechnet die Hashes (Fingerabdrücke) von Anfragen für Caching-Schlüssel. Diese Hashes werden nur für Anfragen berechnet, bei denen das Caching aktiviert ist.
Obwohl das Prompt-Caching eine Funktion ist, die von den Claude-Modellen implementiert wird, betrachtet Google diese Hashes aus Sicht der Datenverarbeitung als eine Art „Nutzer-Metadaten“. Gemäß den Cloud de Confiance by S3NS Datenschutzhinweisen werden sie als „Dienstdaten“ von Kunden und nicht als „Kundendaten“ gemäß dem Zusatz zur Verarbeitung von Cloud-Daten (Kunden) behandelt. Insbesondere gelten zusätzliche Schutzmaßnahmen für „Kundendaten“ nicht für diese Hashes. Google verwendet diese Hashes nicht für andere Zwecke.
Wenn Sie diese Prompt-Caching-Funktion vollständig deaktivieren und sie in bestimmten Cloud de Confiance Projekten nicht verfügbar machen möchten, können Sie dies beantragen, indem Sie sich an den Kundensupport wenden und die entsprechenden Projektnummern angeben. Nachdem das explizite Caching für ein Projekt deaktiviert wurde, werden Anfragen aus dem Projekt mit aktiviertem Prompt-Caching abgelehnt.
Prompt-Caching verwenden
Sie können das Anthropic Claude SDK oder die Gemini Enterprise Agent Platform REST API verwenden, um Anfragen an den Gemini Enterprise Agent Platform-Endpunkt zu senden.
Weitere Informationen finden Sie unter Funktionsweise des Prompt-Caching.
Weitere Beispiele finden Sie in der Anthropic-Dokumentation unter Prompt-Caching-Beispiele in
Das Caching erfolgt automatisch, wenn nachfolgende Anfragen denselben Text, dieselben Bilder und denselben Parameter cache_control wie die erste Anfrage enthalten. Alle Anfragen müssen den Parameter cache_control auch in denselben Blöcken enthalten.
Standardmäßig hat der Cache eine Gültigkeitsdauer (Time-to-Live, TTL) von fünf Minuten. Sie können
die TTL auf eine Stunde verlängern, indem Sie "ttl": "1h" im cache_control
Objekt festlegen. Die Gültigkeitsdauer des Cache wird jedes Mal aktualisiert, wenn auf die im Cache gespeicherten Inhalte zugegriffen wird. Weitere Informationen finden Sie unter
Cache-Dauer von 1 Stunde.
Die TTL von einer Stunde wird für die folgenden Modelle nicht unterstützt: Claude 3.7 Sonnet in Google Cloud, Claude 3.5 Sonnet v2 in Google Cloud, Claude 3.5 Sonnet in Google Cloud und Claude 3 Opus in Google Cloud.
Preise
Das Prompt-Caching kann sich auf die Abrechnungskosten auswirken. Hinweis:
- Cache-Schreibtokens mit einer Gültigkeitsdauer von fünf Minuten sind 25% teurer als Basis-Eingabetokens.
- Cache-Schreibtokens mit einer Gültigkeitsdauer von einer Stunde sind 100% teurer als Basis-Eingabetokens.
- Cache-Lesetokens sind 90% günstiger als Basis-Eingabetokens.
- Reguläre Eingabe- und Ausgabetokens werden zu Standardpreisen berechnet.
Weitere Informationen finden Sie auf der Seite Preise.