הערכת מודלים באמצעות Agent Platform

במאמר הזה נסביר איך להעריך מודלים באמצעות Gemini Enterprise Agent Platform. סקירה כללית זמינה במאמר הערכת מודלים ב-Agent Platform.

דרישות מוקדמות

  1. פועלים לפי השלבים במאמר הגדרת פרויקט וסביבת פיתוח. בנוסף, מפעילים את השירותים הבאים:

  2. Agent Platform יכולה להעריך מודלים שאומנו באמצעות AutoML או אימון מותאם אישית. כדי להשתמש במדריך של Cloud de Confiance המסוף צריך מודל מאומן שייובד ל-Gemini Enterprise Agent Platform מרשם המודלים.

  3. מעלים את מערך הנתונים לבדיקה אל BigQuery או אל Cloud Storage. קבוצת הנתונים לבדיקה צריכה להכיל את האמת הבסיסית, שהיא התוצאה האמיתית הצפויה להסקת מסקנות. מקבלים את הקישור לקובץ או את המזהה של קבוצת הנתונים.

  4. יש לכם פלט של הסקת מסקנות באצווה בצורה של טבלה ב-BigQuery או URI של Cloud Storage.

  5. ודאו שלחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine יש את הרשאות ה-IAM הבאות:

    • אדמין של Agent Platform (aiplatform.admin)
    • סוכן שירות של Agent Platform (aiplatform.serviceAgent)
    • אדמין של אובייקטים באחסון (storage.objectAdmin)
    • תהליך עבודה (Worker) ב-Dataflow‏ (dataflow.worker)
    • עריכה של נתוני BigQuery‏ (bigquery.dataEditor) (נדרש רק אם אתם מספקים נתונים בצורה של טבלאות BigQuery)

יצירת הערכה

המסוף

  1. במסוף Cloud de Confiance , נכנסים לדף Gemini Enterprise Agent Platform Models.

    כניסה לדף Models

  2. לוחצים על שם המודל שרוצים להעריך.

  3. לוחצים על מספר הגרסה של המודל.

  4. בכרטיסייה הערכה, לוחצים על יצירת הערכה.

  5. מזינים שם בדיקה.

  6. בוחרים מטרה, כמו סיווג או רגרסיה.

  7. מזינים את שם עמודת יעד ההערכה, שהיא העמודה מנתוני האימון שהמודל מאומן לחזות.

  8. בקטע בחירת מקור, בוחרים את המקור של מערך הנתונים לבדיקה.

    1. בשדה טבלה ב-BigQuery, מזינים את נתיב BigQuery.

    2. בשדה קובץ ב-Cloud Storage, מזינים את הנתיב ב-Cloud Storage.

  9. בקטע פלט של חיזוי אצווה, בוחרים פורמט פלט.

    1. מזינים את הנתיב ב-BigQuery או את ה-URI של Cloud Storage.

  10. לוחצים על התחלת ההערכה.

Python

כדי לראות את זרימת העבודה של הערכת מודלים ב-Agent Platform API ב-Gemini Enterprise Agent Platform Pipelines, אפשר לעיין במחברות לדוגמה של סוגי המודלים הבאים:

Python SDK

ה-SDK להערכת מודלים באמצעות Agent Platform הוא בשלב הניסוי. כדי לבקש גישה, צריך לפנות אל Cloud de Confiance by S3NS מנהל החשבון.

פלטפורמת Agent שולחת באופן אוטומטי התראה באימייל כשמשימת הערכת מודל מסתיימת.

הצגת מדדי ההערכה

המסוף

  1. במסוף Cloud de Confiance , נכנסים לדף Gemini Enterprise Agent Platform Models.

    כניסה לדף Models

  2. עוברים לגרסת המודל.

  3. אפשר לראות את המדדים בכרטיסייה הערכה.

Python

כדי לראות את זרימת העבודה של הערכת מודלים ב-Agent Platform API ב-Gemini Enterprise Agent Platform Pipelines, אפשר לעיין במחברות לדוגמה של סוגי המודלים הבאים:

Python SDK

ה-SDK להערכת מודלים באמצעות Agent Platform הוא בשלב הניסוי. כדי להירשם לגרסת הניסוי, צריך למלא את טופס ההצטרפות.

השוואה בין מדדי הערכה

אפשר להשוות בין תוצאות ההערכה של מודלים שונים, גרסאות מודלים ועבודות הערכה. מידע נוסף על ניהול גרסאות של מודלים זמין במאמר ניהול גרסאות ב-מרשם המודלים.

אפשר להשוות רק בין מודלים מאותו סוג, כמו סיווג, רגרסיה או חיזוי. כשמשווים בין מודלים שונים, כל גרסאות המודלים צריכות להיות מאותו הסוג.

אפשר להשוות בין 5 הערכות לכל היותר בכל פעם.

  1. עוברים אל Gemini Enterprise Agent Platform מרשם המודלים במסוף Cloud de Confiance :

    כניסה לדף Models

  2. עוברים למודל או לגרסת המודל:

    • כדי להשוות בין מודלים שונים בדף Models, מסמנים את התיבות לצד שמות המודלים שרוצים להשוות ביניהם.

    • כדי להשוות בין גרסאות שונות של מודלים:

      1. לוחצים על שם המודל בדף Models כדי לפתוח את רשימת גרסאות המודל.

      2. מסמנים את התיבות לצד הגרסאות שרוצים להשוות ביניהן.

    • כדי להשוות בין משימות הערכה של אותה גרסת מודל:

      1. לוחצים על שם המודל בדף Models כדי לפתוח את רשימת גרסאות המודל.

      2. לוחצים על מספר הגרסה.

      3. מסמנים את תיבות הסימון לצד משימות ההערכה שרוצים להשוות.

  3. לוחצים על השוואה.

המאמרים הבאים