השוואה בין הנחיות

התכונה 'השוואה' מאפשרת לראות איך הנחיה, מודל או הגדרת פרמטר שונים משנים את הפלט של המודל. אתם יכולים לראות את כל ההנחיות והתשובות שלהן זו לצד זו כדי להשוות ולנתח אותן בדרכים הבאות:

  • עם הנחיה חדשה.
  • עם פרומפט שמור אחר.
  • עם ערכי סף (ground truth).

לפני שמתחילים

כדי לגשת לתכונת ההשוואה, פועלים לפי השלבים הבאים:

  1. נכנסים לדף Create prompt במסוף Cloud de Confiance .

    כניסה לדף Create prompt

  2. בוחרים באפשרות השוואה. יופיע הדף השוואה.

יצירת פרומפט בתכונה 'השוואה'

בדף השוואה, אפשר ליצור הנחיה לפני שבוחרים הנחיה אחרת כדי להשוות בין התוצאות.

כדי ליצור הנחיה, פועלים לפי השלבים הבאים:

  1. בשדה New Prompt (הנחיה חדשה), מזינים את ההנחיה.

  2. לוחצים על שליחת הנחיות. התשובה של המודל מופיעה מתחת לטקסט ההנחיה שהזנתם.

  3. לוחצים על Save as new. מופיעה תיבת הדו-שיח Save prompt.

  4. מזינים את השם של ההנחיה החדשה בשדה שם ההנחיה.

  5. בוחרים את האזור בשדה אזור או משאירים את האזור שמוגדר כברירת מחדל.

  6. אם חל מפתח הצפנה בניהול הלקוח (CMEK), מבצעים את הפעולות הבאות:

    1. מסמנים את תיבת הסימון מפתח הצפנה בניהול הלקוח (CMEK).
    2. בוחרים מפתח מהשדה Select a Cloud KMS key.

  7. לוחצים על שמירה כדי לשמור את הפרומפט ברשימת הפרומפטים לשימוש בדף השוואה בין פרומפטים שמורים.

  8. לוחצים על שליחת הנחיות כדי להשוות בין ההנחיות והתשובות שלהן.

אתם יכולים לעדכן את ההנחיות ולשמור את הגרסאות המעודכנות כהנחיות חדשות.

השוואה באמצעות הנחיה חדשה

כדי להשוות בין הנחיה שמורה לבין הנחיה חדשה, פועלים לפי השלבים הבאים:

  1. לוחצים על השוואה של הנחיה חדשה. מופיעה החלונית Compare.
  2. אופציונלי: לוחצים על החלפת מודל כדי להשתמש במודל אחר במקום במודל ברירת המחדל.
  3. אופציונלי: מרחיבים את Outputs (פלטים).
    4. פלט:
    1. אופציונלי: אם רוצים שהמודל יפיק פלט בפורמט ספציפי כמו JSON, לוחצים על המתג Structured output. אחרי שבוחרים באפשרות פלט מובנה, האפשרויות של Grounding מושבתות, כי אי אפשר להשתמש ב-Grounding עם פלט מובנה.
    2. אופציונלי: משנים את תקציב החשיבה לאחת מהאפשרויות הבאות:
      • בחירה אוטומטית: המודל חושב רק כשצריך. המודל משנה את מידת ההתעמקות שלו במצב מסוים בהתאם למה שנדרש באותו רגע.
      • ידני: אתם יכולים לשנות את אסימוני התקציב של החשיבה.
      • כבוי: לא נעשה שימוש בחשיבה או בתקציבים.
  1. אופציונלי: מרחיבים את כלים.
    2. כלים:
    1. בוחרים באחת מהאפשרויות הבאות:
      • Grounding: Google: עיגון באמצעות חיפוש Google או מפות Google.
      • ‫Grounding: Your data: עיגון נתונים באמצעות RAG Engine ב-Gemini Enterprise Agent Platform, ב-חיפוש מבוסס סוכנים או ב-Elasticsearch.
        1. אם בוחרים באפשרות התבססות על נתונים: הנתונים שלך, בוחרים את מקור הנתונים שרוצים להשתמש בו.
  1. אופציונלי: מרחיבים את מתקדם:
    2. מתקדם:
    1. בוחרים באפשרות אזור.
    2. בוחרים באפשרות הגדרות של מסנן הבטיחות. מופיעה תיבת דו-שיח. משאירים את ברירת המחדל מושבת, או מציינים חסימה של חלק קטן, חסימה של חלק או חסימה של רוב לכל אחת מהאפשרויות הבאות:
      • דברי שטנה: הערות שליליות או פוגעניות שמטרתן לפגוע בזהות או במאפיינים מוגנים.
      • תוכן מסוכן: תוכן שמקדם או מאפשר גישה למוצרים, שירותים ופעילויות מזיקים.
      • תוכן מיני בוטה: התוכן כולל התייחסויות למעשים מיניים או לתוכן מגונה אחר.
      • תוכן שמכיל הטרדה: תגובות זדוניות, מאיימות, בריוניות או פוגעניות שמכוונות כלפי אדם אחר.
    3. לוחצים על שמירה כדי לשמור את ההגדרות ולסגור את תיבת הדו-שיח.
    4. בוחרים את הטמפרטורה בשדה טמפרטורה. רמת האקראיות שולטת באקראיות בבחירת האסימון. רמת אקראיות נמוכה מתאימה כשמצפים לתשובה נכונה או מדויקת. אפשר להגדיר טמפרטורה גבוהה יותר כדי לקבל תוצאות מגוונות או לא צפויות.
    5. בוחרים את מגבלת הטוקנים של הפלט בשדה Output token limit (מגבלת הטוקנים של הפלט). מגבלת הטוקנים בפלט קובעת את כמות הטקסט המקסימלית שמתקבלת מהנחיה אחת. טוקן הוא בערך ארבעה תווים.
    6. בוחרים את מספר התשובות המקסימלי בשדה מספר התשובות המקסימלי. אם המספר המקסימלי של תשובות המודל שנוצרות לכל הנחיה. יכול להיות שהתשובות ייחסמו בכל זאת בגלל מסנני בטיחות או מדיניות אחרת.
    7. בוחרים ערך בשדה Top-P. הפרמטר Top-p משנה את האופן שבו המודל בוחר אסימונים לפלט.
    8. לוחצים על המתג בשדה הצגת התשובות כשהן מוכנות. אם בוחרים באפשרות הזו, התשובות מודפסות בזמן שהן נוצרות.
    9. מזינים רצף של עצירות בשדה הוספת רצף של עצירות. מקישים על Enter אחרי כל רצף.
  1. לוחצים על שמירה כדי לשמור את השינויים בהגדרות.
  2. לוחצים על אישור.
  3. לוחצים על שליחת הנחיות כדי להשוות בין ההנחיות והתשובות שלהן.

מידע נוסף על מגבלות האסימונים לכל מודל זמין במאמר בנושא שליטה בתקציב החשיבה.

השוואה עם פרומפט שמור אחר

כדי להשוות בין הנחיה שמורה להנחיה שמורה אחרת, פועלים לפי השלבים הבאים:

  1. לוחצים על השוואה של הנחיה שמורה. מופיעה החלונית Existing Prompt.

  2. בוחרים עד שתי הנחיות קיימות להשוואה.

    1. בוחרים שם לפרומפט. אם יש לכם הרבה הנחיות ברשימה, לוחצים על השדה Filter ובוחרים את המאפיין שרוצים לסנן לפיו. מזינים ערך ומקישים על Enter.
    2. לוחצים על אישור. בדף השוואה מוצגת ההנחיה שבחרתם לצד הנחיות אחרות שיצרתם או בחרתם להשוואה.

  3. לוחצים על שליחת הנחיות כדי להשוות בין ההנחיות והתשובות שלהן.

השוואה לאמת הבסיסית

תשובת האמת היא התשובה המועדפת שלכם לפרומפט. כל שאר התשובות של המודל נבדקות מול התשובה הנכונה.

כדי להשוות בין ההנחיה השמורה לבין נתוני האמת:

  1. לוחצים על נתוני אמת. מופיעה החלונית Ground truth.
  2. מזינים את נתוני האמת כדי ליצור מדדי הערכה נוספים.
  3. לוחצים על שמירה כדי לשמור את נתוני האמת.
  4. לוחצים על שליחת הנחיות כדי להשוות בין ההנחיות והתשובות שלהן.

מדדי ההערכה שנוצרים כשמשווים הנחיה לנתוני אמת לא מושפעים מהאזור שבוחרים.

המאמרים הבאים