מודלים של Anthropic Claude מציעים שמירת מטמון של הנחיות כדי לצמצם את זמן האחזור והעלויות כשמשתמשים מחדש באותו תוכן בכמה בקשות. כששולחים שאילתה, אפשר לשמור במטמון את כל הקלט או חלקים ספציפיים ממנו, כדי ששאילתות עתידיות יוכלו להשתמש בתוצאות שנשמרו במטמון מהבקשה הקודמת. כך נמנעים חיובים נוספים על מחשוב ועל רשת. הזיכרונות מטמון ייחודיים ל Cloud de Confiance פרויקט שלכם ולא ניתן להשתמש בהם בפרויקטים אחרים.
פרטים על מבנה ההנחיות זמינים במסמכי התיעוד של Anthropic בנושא שמירת הנחיות במטמון.
עיבוד נתונים
שמירת הנחיות במטמון של Anthropic היא תכונה של מודלים של Anthropic Claude. ההתנהגות של מודלים של Anthropic ב-Gemini Enterprise Agent Platform זהה לתיאור שלהם במסמכי התיעוד של Anthropic.
שמירת הנחיות במטמון היא תכונה אופציונלית. Claude מחשב את הגיבובים (טביעות האצבע) של בקשות למפתחות מטמון. הגיבוב הזה מחושב רק לבקשות שבהן מופעלת שמירת נתונים במטמון.
למרות שמטמון ההנחיות הוא תכונה שמיושמת על ידי מודלים של Claude, מנקודת מבט של טיפול בנתונים, Google מחשיבה את הגיבובים האלה כסוג של 'מטא נתונים של משתמשים'. אנחנו מתייחסים אליהם כאל 'נתוני שירות' של הלקוח בהתאם Cloud de Confiance by S3NSלהודעת הפרטיות, ולא כאל 'נתוני לקוח' בהתאם לנספח לעיבוד נתונים ב-Cloud (לקוחות). בפרט, אמצעי הגנה נוספים ל"נתוני לקוחות" לא חלים על הגיבובים האלה. Google לא משתמשת בגיבובים האלה למטרות אחרות.
אם אתם רוצים להשבית לחלוטין את התכונה של שמירת ההנחיות במטמון ולמנוע את השימוש בה בפרויקטים מסוימים, אתם יכולים לבקש זאת על ידי פנייה אל תמיכת הלקוחות ומסירת מספרי הפרויקטים הרלוונטיים. Cloud de Confiance אחרי שמשביתים שמירה במטמון של פרויקט, בקשות מהפרויקט עם שמירה במטמון של הנחיות מופעלת נדחות.
שימוש במטמון של הנחיות
אתם יכולים להשתמש ב-Anthropic Claude SDK או ב-REST API של Gemini Enterprise Agent Platform כדי לשלוח בקשות לנקודת הקצה של Gemini Enterprise Agent Platform.
מידע נוסף זמין במאמר איך פועלת שמירת הנחיות במטמון.
דוגמאות נוספות מופיעות בדוגמאות לשמירת הנחיות במטמון בתיעוד של Anthropic.
השמירה במטמון מתבצעת באופן אוטומטי כשבקשות עוקבות מכילות את אותו טקסט, תמונות ופרמטר cache_control כמו הבקשה הראשונה. כל הבקשות צריכות לכלול גם את הפרמטר cache_control באותם בלוקים.
כברירת מחדל, אורך החיים של המטמון הוא חמש דקות. אפשר להאריך את ה-TTL לשעה אחת על ידי הגדרת "ttl": "1h" באובייקט cache_control. תוקף המטמון מתעדכן בכל פעם שניגשים לתוכן שנשמר במטמון. מידע נוסף זמין במאמר בנושא משך השמירה במטמון של שעה אחת.
ה-TTL של שעה אחת לא נתמך בדגמים הבאים: Claude 3.7 Sonnet ב-Google Cloud, Claude 3.5 Sonnet v2 ב-Google Cloud, Claude 3.5 Sonnet ב-Google Cloud ו-Claude 3 Opus ב-Google Cloud.
תמחור
שמירת הנחיות במטמון יכולה להשפיע על עלויות החיוב. חשוב לדעת:
- טוקנים של כתיבה למטמון עם משך חיים של חמש דקות יקרים ב-25% יותר מטוקנים של קלט בסיסי.
- טוקנים של כתיבה במטמון עם משך חיים של שעה אחת יקרים ב-100% יותר מטוקנים של קלט בסיסי.
- טוקנים של קריאה מהמטמון זולים ב-90% מטוקנים של קלט בסיסי.
- התמחור של טוקנים רגילים של קלט ופלט הוא לפי התעריפים הרגילים.
מידע נוסף זמין בדף תמחור.