סוכן יכול לגשת למגוון כלים באמצעות שרתים של Model Context Protocol (MCP), ממשקי API ארגוניים או סקריפטים בהתאמה אישית. חשיפת סוכן למספר גדול מאוד של תיאורי כלים בבת אחת עלולה להוביל לניפוח ההקשר, מה שמגדיל את עלויות הטוקנים ואת זמן האחזור, ויכול לפגוע בביצועי החשיבה הרציונלית של מודל ה-LLM.
כדי לשפר את הביצועים, אפשר להשתמש בכישורי סוכן (תקן לאריזת כלים ותיאורי הליכים) כדי להטמיע חשיפה הדרגתית של כלים. במקום להציב את כל קטלוג הכלים בהקשר, הסוכן נחשף בהתחלה למספר קטן של מיומנויות. מודל ה-LLM מנחה את הסוכן לטעון באופן דינמי חבילות מיומנויות ספציפיות כשהן רלוונטיות.
ניהול מחזור החיים של המיומנות
מכיוון ששימוש במיומנויות וניהול שלהן מתבסס על קריאות לכלים, מדיניות פיקוח בשפה טבעית יכולה לפקח על כל מחזור החיים של המיומנות. אם הסוכן שלכם נוצר באמצעות הערכה לפיתוח סוכנים (ADK) של Google, הוא משתמש בכלים הבסיסיים הבאים כדי לנהל את הכישורים:
| כלי ADK Skill | תיאור |
|---|---|
list_skills |
מוצגות כל חבילות המיומנויות הזמינות למודל. |
load_skill |
מייבא באופן דינמי מיומנות ספציפית ואת הכלים שמשויכים אליה להקשר הנוכחי. |
load_skill_resource |
שליפת נתונים או נכסים שנדרשים להפעלת מיומנות. |
run_skill_script |
מבצע את הלוגיקה הבסיסית שמוגדרת במיומנות. |
מדיניות פיקוח בשפה טבעית מיירטת את הקריאות האלה לכלי לניהול מיומנויות ומעריכה אותן בהתאם למגבלות השפה הטבעית (NLC) שהגדרתם. כך תוכלו להגדיר אילוצים כדי לשלוט באילו מיומנויות נטענות בתנאים ספציפיים.
דוגמאות: כללי מדיניות בנושא מחזור החיים של מיומנויות וכלים
בדוגמאות הבאות אפשר לראות איך מדיניות סמנטית של ניהול יכולה להגן מפני סיכוני אבטחה במחזור החיים של המיומנות, כמו הזרקת הוראות או פגיעה בשרשרת האספקה.
מניעת טעינת כלים בסשנים עם נתונים פגומים
תרחיש: לסוכן יש הרשאה לטעון ולהפעיל מיומנויות. אדמין רוצה למנוע מהסוכן לטעון כלים שמבצעים פעולות יוצאות אם היסטוריית הצ'אט מכילה הקשר לא מהימן שיכול להכיל הוראות מוזרקות. לדוגמה, סוכן יכול לטעון send_email
כלי אחרי שהוא סורק תוכן אינטרנט.
- הגבלה: "אל תטען מיומנות שיכולה לשלוח הודעות או לכתוב למערכות חיצוניות אם היסטוריית הצ'אט הנוכחית מכילה תוכן שנשלף מאימייל נכנס, מדפי אינטרנט או ממסמכים שהועלו".
- לוגיקה: כשמודל ה-LLM מציע להתקשר אל
load_skill(skill_name='send_email'), מדיניות הפיקוח בשפה טבעית בודקת את היסטוריית הצ'אט. אם תור קודם הביא נתונים לא מהימנים (לדוגמה, תוכן של אימייל), המדיניות דוחה את הקריאהload_skill. כתוצאה מכך, הסוכן לא יכול להשתמש בכלים ליצירת שיחות יוצאות שכלולים בסקיל הזה במהלך הסשן.
הגבלת התקנות של יחסי תלות (שרשרת אספקה)
תרחיש: סוכן פיתוח משתמש במיומנות כדי להתקין חבילות. תוקף עם גישה למאגר המיומנויות משנה את ההוראות כך שתמיד תותקן חבילה זדונית יחד עם הרכיבים התלויים המבוקשים.
- הגבלה: "אפשר להפעיל את הכלי npm_install רק לחבילות שנמצאות ברשימה המאושרת: react, express, lodash או axios".
- לוגיקה: כשמודל ה-LLM מציע הפעלת כלי כמו
npm_install(packages=['lodash', 'malicious-agent-helper']), מדיניות הפיקוח הסמנטי בודקת את הארגומנטים. מכיוון ש-malicious-agent-helperלא נמצא ברשימת ההיתרים, המדיניות מחזירה את התוצאהDENY, ומונעת את הפעולה לפני הביצוע.
המאמרים הבאים
- במאמר שיטות מומלצות לשימוש בכללי מדיניות פיקוח בשפה טבעית מוסבר איך ליצור כללים יעילים.
- מגדירים מדיניות בהגדרת מדיניות פיקוח בשפה טבעית.