Model Claude Anthropic menawarkan caching perintah untuk mengurangi latensi dan biaya saat menggunakan kembali konten yang sama dalam beberapa permintaan. Saat mengirim kueri, Anda dapat menyimpan dalam cache semua atau bagian tertentu dari input sehingga kueri berikutnya dapat menggunakan hasil yang di-cache dari permintaan sebelumnya. Hal ini menghindari biaya komputasi dan jaringan tambahan. Cache bersifat unik untuk Cloud de Confiance project Anda dan tidak dapat digunakan oleh project lain.
Untuk mengetahui detail tentang cara menyusun perintah, lihat dokumentasi Caching perintah Prompt Anthropic.
Pemrosesan data
Caching perintah eksplisit Anthropic adalah fitur model Claude Anthropic. Penawaran Gemini Enterprise Agent Platform dari model Anthropic ini berperilaku seperti yang dijelaskan dalam dokumentasi Anthropic.
Caching perintah adalah fitur opsional. Claude menghitung hash (sidik jari) permintaan untuk kunci caching. Hash ini hanya dihitung untuk permintaan yang mengaktifkan caching.
Meskipun caching perintah adalah fitur yang diterapkan oleh model Claude, dari perspektif penanganan data, Google menganggap hash ini sebagai jenis "Metadata Pengguna". Hash ini diperlakukan sebagai "Data Layanan" pelanggan berdasarkan Cloud de Confiance by S3NS Pemberitahuan Privasi dan bukan sebagai "Data Pelanggan" berdasarkan Adendum Pemrosesan Data Cloud (Pelanggan). Secara khusus, perlindungan tambahan untuk "Data Pelanggan" tidak berlaku untuk hash ini. Google tidak menggunakan hash ini untuk tujuan lain.
Jika Anda ingin menonaktifkan fitur caching perintah ini sepenuhnya dan membuatnya tidak tersedia di project tertentu Cloud de Confiance , Anda dapat memintanya dengan menghubungi dukungan pelanggan dan memberikan nomor project yang relevan. Setelah caching eksplisit dinonaktifkan untuk project, permintaan dari project dengan caching perintah yang diaktifkan akan ditolak.
Menggunakan caching perintah
Anda dapat menggunakan Anthropic Claude SDK atau Gemini Enterprise Agent Platform REST API untuk mengirim permintaan ke endpoint Gemini Enterprise Agent Platform.
Untuk mengetahui informasi selengkapnya, lihat Cara kerja caching perintah.
Untuk contoh tambahan, lihat Contoh caching perintah dalam dokumentasi Anthropic.
Caching terjadi secara otomatis saat permintaan berikutnya berisi teks, gambar, dan parameter cache_control yang sama dengan permintaan pertama. Semua permintaan juga harus menyertakan parameter cache_control di blok yang sama.
Secara default, cache memiliki masa aktif atau time to live (TTL) selama lima menit. Anda dapat
memperpanjang TTL hingga satu jam dengan menetapkan "ttl": "1h" dalam objek cache_control. Masa aktif cache diperbarui setiap kali konten yang di-cache diakses. Untuk mengetahui informasi selengkapnya, lihat
Durasi cache 1 jam.
TTL satu jam tidak didukung untuk model berikut: Claude 3.7 Sonnet di Google Cloud, Claude 3.5 Sonnet v2 di Google Cloud, Claude 3.5 Sonnet di Google Cloud, dan Claude 3 Opus di Google Cloud.
Harga
Caching perintah dapat memengaruhi biaya penagihan. Perhatikan bahwa:
- Token tulis cache dengan masa aktif lima menit 25% lebih mahal daripada token input dasar.
- Token tulis cache dengan masa aktif satu jam 100% lebih mahal daripada token input dasar.
- Token baca cache 90% lebih murah daripada token input dasar.
- Token input dan output reguler dihargai dengan tarif standar.
Untuk mengetahui informasi selengkapnya, lihat halaman Harga.