פרטים על מדדים מבוססי קריטריונים מנוהלים

בדף הזה מופיעה רשימה מלאה של מדדים מנוהלים שמבוססים על קריטריונים, שזמינים בשירות ההערכה של AI גנרטיבי. אפשר להשתמש בהם בלקוח GenAI ב-Agent Platform SDK.

מידע נוסף על הערכה מבוססת-בדיקה זמין במאמר הגדרת מדדי ההערכה.

סקירה כללית

שירות ההערכה של AI גנרטיבי מציע רשימה של מדדים מנוהלים שמבוססים על קריטריונים, במסגרת ההערכה מבוססת-הבדיקות:

• ברוב המדדים עם קריטריונים דינמיים, יש גם תהליך עבודה ליצירת קריטריונים לכל הנחיה וגם אימות של הקריטריונים. אם צריך, אפשר להפעיל אותם בנפרד. לפרטים

• לגבי מדדים עם קריטריונים סטטיים, לא נוצרים קריטריונים לכל הנחיה. פרטים על הפלט המיועד זמינים במאמר פרטי המדדים.

לכל מדד מנוהל שמבוסס על קריטריון הערכה יש מספר גרסה. המדד משתמש בגרסה העדכנית כברירת מחדל, אבל אפשר להצמיד אותו לגרסה ספציפית אם צריך:

from vertexai import types

text_quality_metric = types.RubricMetric.TEXT_QUALITY
general_quality_v1 = types.RubricMetric.GENERAL_QUALITY(version='v1')

גרסאות של מודלים וזמינות אזורית

בגרסאות האחרונות של רוב המדדים המנוהלים (לדוגמה, general_quality_v2, instruction_following_v2, safety_v3 ו-final_response_match_v3) נעשה שימוש ב-Gemini 3.5 Flash כמודל השופט. מדדים של סוכנים שיוצרים קריטריונים להערכה, כמו final_response_quality_v2 ו-tool_use_quality_v2, גם משתמשים ב-Gemini 3.1 Pro ליצירת קריטריונים להערכה. בגרסאות הקודמות נעשה שימוש ב-Gemini 2.5 Flash וב-Gemini 2.5 Pro. הגרסה הקודמת של כל מדד והקריאות ל-LLM שלו מפורטות בפרטי המדד.

הגרסאות העדכניות זמינות רק במיקומים שבהם זמין Gemini 3.5 Flash. אם אתם מריצים הערכות במיקום שבו Gemini 3.5 Flash לא זמין, כדאי להצמיד את המדד לגרסה הקודמת שלו, כמו בדוגמה הקודמת.

תאימות לדורות קודמים

לגבי מדדים שמוצעים כתבניות של הנחיות למדדים, עדיין אפשר לגשת למדדים הספציפיים דרך GenAI Client ב-Agent Platform SDK באותה שיטה. ה-GenAI Client ב-Agent Platform SDK לא תומך במדדים להשוואה בין זוגות, אבל אפשר לעיין במאמר הפעלת הערכה כדי להשוות בין שני מודלים באותה הערכה.

from vertexai import types

# Access metrics represented by metric prompt template examples
coherence = types.RubricMetric.COHERENCE
fluency = types.RubricMetric.FLUENCY

פרטים של מדדים מנוהלים

בקטע הזה מפורטים מדדים מנוהלים, כולל פרטים כמו הסוג שלהם, נתוני הקלט הנדרשים והפלט הצפוי:

• איכות כללית
• איכות הטקסט
• ביצוע הוראות
• הארקה
• בטיחות
• איכות כללית של שיחות מרובות תורות
• איכות הטקסט בשיחה מרובת תפניות
• התאמה לתשובה הסופית של הסוכן
• הפניה חופשית לתשובה הסופית של הסוכן
• איכות התגובה הסופית של הנציג
• הזיות של סוכן
• איכות השימוש בכלי הנציג
• הצלחה של משימה מרובת שלבים של סוכן
• איכות השימוש בכלי של סוכן עם כמה שלבים
• איכות המסלול של סוכן בשיחה מרובת תפניות
• איכות יצירת תמונות לפי טקסט של Gecko
• איכות הסרטונים שנוצרים באמצעות Gecko text-to-video

איכות כללית

איכות הטקסט

הבנת הוראות וביצוען

עיגון

[
  {
    "sentence": "string",
    "label": "supported | unsupported | contradictory | no_rad",
    "rationale": "string",
    "excerpt": "string or null"
  }
]

בטיחות

איכות כללית בכמה שלבים

איכות הטקסט בשיחה מרובת שלבים

התאמה לתשובה הסופית של הסוכן

התשובה הסופית של הסוכן לא כוללת הפניות

איכות התשובה הסופית של הסוכן

הזיות של סוכני AI

[
  {
    "response": "string",
    "score": "double",
    "explanation": [
      {
        "sentence": "string",
        "label": "supported | unsupported | contradictory | disputed | no_rad",
        "rationale": "string",
        "supporting_excerpt": "string or null",
        "contradicting_excerpt": "string or null"
      }
    ]
  }
]

איכות השימוש בכלים של הסוכן

הסוכן הצליח לבצע משימה שדורשת כמה תגובות

איכות השימוש בכלי של סוכן עם כמה שלבים

איכות המסלול של שיחה עם סוכן

איכות יצירת תמונות לפי טקסט של Gecko

איכות הטקסט לווידאו ב-Gecko

המאמרים הבאים

• הכנת מערך נתונים להערכה.