לחלק ממודלי ה-AI הגנרטיבי, כמו Gemini, יש ממשקי API מנוהלים והם מוכנים לקבל הנחיות בלי פריסה. לרשימת המודלים, ראו המודלים של Google.
מודלים אחרים של AI גנרטיבי צריך לפרוס בנקודת קצה (endpoint) לפני שהם מוכנים לקבל הנחיות. יש שני סוגים של מודלים גנרטיביים שצריך לפרוס:
מודלים מכווננים, שנוצרים על ידי כוונון של מודל בסיס נתמך באמצעות נתונים משלכם.
מודלים גנרטיביים שאין להם ממשקי API מנוהלים. ב-Model Garden, אלה מודלים שלא מסומנים בתווית API available או Agent Platform Studio, למשל Llama 2.
כשפורסים מודל בנקודת קצה, Gemini Enterprise Agent Platform משייכת למודל משאבי מחשוב ו-URI כדי שהוא יוכל לשרת בקשות להנחיות.
פריסת מודל מכוונן
מודלים מכווננים מועלים באופן אוטומטי אל Model Registry ב-Gemini Enterprise Agent Platform, ונפרסים ב-endpoint ציבורי משותף של Agent Platform. מודלים שעברו כוונון לא מופיעים ב-Model Garden כי הם עברו כוונון באמצעות הנתונים שלכם.
מידע נוסף זמין במאמר סקירה כללית על כוונון מודלים.
כשהנקודה זמינה לשימוש (active), אפשר לשלוח בקשות הנחיה ל-URI שלה. הפורמט של הקריאה ל-API למודל מכוונן זהה לפורמט של מודל הבסיס שממנו הוא כוונן. לדוגמה, אם המודל שלכם מכוונן ב-Gemini, בקשת ההנחיה צריכה לפעול לפי Gemini API.
חשוב לשלוח בקשות של הנחיות לנקודת הקצה (endpoint) של המודל המכוונן, ולא ל-API המנוהל. נקודת הקצה של המודל המכוונן היא בפורמט:
https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID
כדי לקבל את מזהה נקודת הקצה, קראו את המאמר הצגה או ניהול של נקודת קצה.
פריסת מודל גנרטיבי שאין לו API מנוהל
כדי להשתמש במודל מ-Model Garden שאין לו API מנוהל, צריך להעלות את המודל ל-Model Registry ולפרוס אותו בנקודת קצה (endpoint) לפני שאפשר לשלוח בקשות להנחיות. התהליך הזה דומה להעלאה ופריסה של מודל מאומן בהתאמה אישית לחיזוי אונליין ב-Agent Platform.
כדי לפרוס אחד מהמודלים האלה, נכנסים ל-Model Garden ובוחרים את המודל שרוצים לפרוס.
בכל כרטיס מודל מוצגת אחת או יותר מאפשרויות הפריסה הבאות:
הכפתור Deploy: לרוב המודלים הגנרטיביים ב-Model Garden יש כפתור Deploy שמאפשר לפרוס אותם ב-Agent Platform. אם הלחצן Deploy לא מופיע, עוברים לסעיף הבא.
כדי לפרוס ב-Agent Platform, אתם יכולים להשתמש בהגדרות המוצעות או לשנות אותן. אתם יכולים גם להגדיר הגדרות פריסה מתקדמות, למשל לבחור הזמנה של Compute Engine.
הכפתור Open Notebook: האפשרות הזו פותחת Jupyter Notebook. האפשרות הזו מופיעה בכל כרטיס מודל. ה-Jupyter notebook כולל הוראות וקוד לדוגמה להעלאת המודל ל-מרשם המודלים, לפריסת המודל בנקודת קצה (endpoint) ולשליחת בקשה לפרומפט.
אחרי שהפריסה מסתיימת ונקודת הקצה פעילה, היא מוכנה לקבל בקשות להנחיות ב-URI שלה. הפורמט של ה-API הוא predict, והפורמט של כל instance בגוף הבקשה תלוי במודל. למידע נוסף, תוכלו לקרוא את המאמרים הבאים:
חשוב לוודא שיש לכם מספיק מכסות מכונה כדי לפרוס את המודל. כדי לראות את המכסה הנוכחית או לבקש להגדיל אותה, נכנסים לדף Quotas במסוף Cloud de Confiance .
אחר כך מסננים לפי שם המכסה Custom Model Serving כדי לראות את המכסות לחיזוי אונליין. איך רואים ומנהלים את המכסות?
איך להבטיח קיבולת למודלים שנפרסו באמצעות מקומות שמורים ב-Compute Engine
אתם יכולים לפרוס מודלים של Model Garden במשאבים של מכונות וירטואליות שהוקצו באמצעות הקצאות מקום ב-Compute Engine. הזמנות עוזרות לוודא שהקיבולת זמינה כשצריך אותה לבקשות לחיזוי מודלים. מידע נוסף מופיע במאמר איך שומרים מקום בעזרת תחזיות.
איך רואים או מנהלים מודל
במודלים שעברו כוונון, אפשר לראות את המודל ואת משימת הכוונון שלו בדף Tune and Distill במסוף Cloud de Confiance .
אתם יכולים גם לראות ולנהל את כל המודלים שהעליתם ב-Model Registry.
במרשם המודלים, מודל מכוונן מסווג כ-Large Model, ויש לו תוויות שמציינות את מודל הבסיס ואת הפייפליין או משימת הכוונון ששימשו לכוונון.
במודלים שנפרסו באמצעות הלחצן Deploy, הערך של Source יהיה Model Garden.
שימו לב שאם המודל מתעדכן ב-Model Garden, המודל שהעליתם ל-Model Registry לא מתעדכן.
מידע נוסף זמין במאמר מבוא למרשם המודלים של Gemini Enterprise Agent Platform.
הצגה או ניהול של נקודת קצה (endpoint)
כדי לראות ולנהל את נקודת הקצה, נכנסים לדף Online prediction ב-Agent Platform. כברירת מחדל, שם נקודת הקצה זהה לשם המודל.
מידע נוסף זמין במאמר פריסת מודל בנקודת קצה (endpoint).
מעקב אחרי התנועה בנקודת הקצה של המודל
במאמר מעקב אחרי מודלים מוסבר איך עוקבים אחרי התנועה בנקודת הקצה של המודל.
מגבלות
- אפשר לפרוס מודל Gemini מכוונן רק בנקודת קצה ציבורית משותפת. אי אפשר לפרוס בנקודות קצה ציבוריות ייעודיות, בנקודות קצה של Private Service Connect ובנקודות קצה פרטיות.
תמחור
במודלים מכווננים, החיוב הוא לכל טוקן באותו תעריף כמו המודל הבסיסי שממנו כוונן המודל. אין עלות לנקודת הקצה כי הכוונון מיושם כמתאם קטן מעל למודל הבסיס.
במודלים בלי ממשקי API מנוהלים, החיוב הוא על שעות המכונה שמשמשות את נקודת הקצה, באותו תעריף כמו החיזויים אונליין של Agent Platform. החיוב הוא לא לפי אסימון. מידע נוסף על התמחור של חיזויים ב-Agent Platform