הסקה היא הפלט של מודל מאומן ללמידת מכונה. בדף הזה מוסבר על תהליך העבודה לקבלת מסקנות מהמודלים שלכם בפלטפורמת הסוכנים של Gemini Enterprise.
Agent Platform תומכת בהיקשים אונליין:-
הסקות אונליין הן בקשות סנכרוניות שנשלחות למודל שפריסתו מתבצעת ב-
Endpoint. לכן, לפני ששולחים בקשה, צריך קודם לפרוס את המשאבModelלנקודת קצה. הפעולה הזו משייכת משאבי מחשוב למודל, כדי שהמודל יוכל להכניס לשימוש בסביבת הייצור היקשים אונליין עם זמן אחזור נמוך. משתמשים בהסקת מסקנות אונליין כשמבצעים בקשות בתגובה לקלט של אפליקציה או במצבים שבהם נדרשת הסקת מסקנות בזמן אמת.
בדיקת המודל באופן מקומי
לפני שמקבלים מסקנות, כדאי לפרוס את המודל לנקודת קצה מקומית במהלך שלבי הפיתוח והבדיקה. כך תוכלו לבצע איטרציות מהר יותר ולבדוק את המודל בלי לפרוס אותו לנקודת קצה אונליין או לשלם על הסקת מסקנות. פריסה מקומית מיועדת לפיתוח ולבדיקה מקומיים, ולא לפריסות בייצור.
כדי לפרוס מודל באופן מקומי, משתמשים ב-Agent Platform SDK ל-Python ופורסים LocalModel אל LocalEndpoint.
גם אם הלקוח שלכם לא כתוב ב-Python, אתם עדיין יכולים להשתמש ב-Agent Platform SDK for Python כדי להפעיל את הקונטיינר והשרת, וכך לבדוק בקשות מהלקוח.
קבלת מסקנות ממודלים מאומנים בהתאמה אישית
כדי לקבל מסקנות, צריך קודם לייבא את המודל.
אחרי שמייבאים אותו, הוא הופך למשאב Model שמופיע במאגר המודלים.
אחר כך, קוראים את התיעוד הבא כדי ללמוד איך לקבל מסקנות:
פורסים מודל בנקודת קצה ומקבלים מסקנות אונליין.