בדיקת יכולות של מודלים ב-Model Garden

ב-Model Garden יש כמה אפשרויות לצפייה מהירה ביכולות של המודלים ולבדיקה שלהן. במודלים נתמכים, אתם יכולים לנסות סביבות הדגמה או להפעיל אפליקציות הדגמה שנקראות "מרחבים של Model Garden", שאפשר לשתף עם אחרים כדי להציג את היכולות של המודל.

סביבות הפיתוח מבוססות על נקודות קצה (endpoints) לחיזוי אונליין של Gemini Enterprise Agent Platform שנפרסו מראש, והשימוש בהן לא כרוך בתשלום. כשפותחים את כרטיס המודל של מודל נתמך, אפשר להשתמש בחלונית Try out כדי לבדוק במהירות את היכולות של המודל על ידי שליחת פרומפט טקסטואלי. אפשר גם להגדיר כמה מהפרמטרים הנפוצים ביותר, כמו טמפרטורה ומספר הטוקנים של הפלט. ב-Playground אפשר להזין ולקבל רק טקסט.

כשמפעילים את Spaces, מקבלים אפליקציית אינטרנט שמוכנה לשימוש, וצריך להשקיע הרבה פחות מאמץ ידני מאשר בפריסת מודל ובניית אפליקציה לשימוש בנקודת הקצה של המודל. ‫Model Garden פורס את המודל שבחרתם ב-Gemini Enterprise Agent Platform, ופורס את האפליקציה לדוגמה במכונה של Cloud Run שמשתמשת בנקודת הקצה של המודל שנפרס. האפליקציה יכולה גם להשתמש בנקודות קצה קיימות או בנקודת קצה של MaaS.

לפני שמתחילים

במדריך הזה צריך להגדיר פרויקט ב- Cloud de Confiance by S3NS ולהפעיל את Agent Platform API.

  1. In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

  3. Verify that billing is enabled for your Cloud de Confiance project.

  4. Enable the Gemini Enterprise Agent Platform, Artifact Registry, Cloud Build, Cloud Logging, and Cloud Run Admin APIs, if any are not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

  5. אם אתם רוצים לנסות את Model Garden Spaces, ודאו שלחשבון השירות שמשמש כברירת מחדל ב-Compute Engine יש את ההרשאות הנדרשות להפעלת Spaces.

התפקידים הנדרשים

כדי לבדוק את יכולות המודל ב-Model Garden, ודאו שגם לכם וגם לחשבון השירות שמשמש כברירת המחדל של Compute Engine יש את תפקידי ה-IAM הנדרשים.

התפקידים הנדרשים למשתמשים

כדי לקבל את ההרשאות שדרושות לבדיקת יכולות המודל ב-Model Garden, בקשו מהאדמין להקצות לכם את התפקידים הבאים ב-IAM בפרויקט Cloud de Confiance :

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

התפקידים הנדרשים לחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine

חשבון השירות שמוגדר כברירת מחדל ב-Compute Engine משמש להפעלת מרחבים משותפים.

כדי לוודא שלחשבון השירות שמשמש כברירת מחדל ב-Compute Engine יש את ההרשאות שנדרשות להפעלת סביבות עבודה, צריך לבקש מהאדמין לתת לחשבון השירות את תפקידי ה-IAM הבאים בפרויקט ב- Cloud de Confiance :

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שהאדמין גם יוכל לתת לחשבון השירות שמשמש כברירת מחדל ב-Compute Engine את ההרשאות שנדרשות באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

רוצה לנסות את Playground?

  1. במסוף Cloud de Confiance , נכנסים לכרטיס המודל של מודל נתמך, כמו כרטיס המודל של Gemma 2.

    מעבר אל Gemma 2

  2. אם תתבקשו, קראו ואשרו את הסכם הרישיון של המודל כדי לגשת לכרטיס המודל ולתכונות הבדיקה.

  3. בחלונית Try out, מגדירים את ההנחיה ואת הפרמטרים לבדיקה:

    1. בשדה Region, מאשרים את ברירת המחדל או בוחרים את האזור שלכם.

    2. בשדה Endpoint, בוחרים באפשרות Demo playground.

    3. בתיבה Prompt, מזינים Why is the sky blue?.

    4. מרחיבים את הקטע אפשרויות מתקדמות וצופים בפרמטרים שמוגדרים כברירת מחדל.

    חלונית ההתנסות של Gemma 2b-it

  4. לוחצים על שליחה. הפלט מופיע מתחת לכפתור Submit.

רוצה לנסות את Spaces?

כדי להפעיל מודל, פותחים את כרטיס המודל של המודל הנתמך, ובחלונית Try out Spaces לוחצים על Space כדי להפעיל אותו. אתם מחויבים על המכונות שמשמשות לפריסה ועל המכונה של Cloud Run שמארחת את האפליקציה.

אתם יכולים להפעיל Spaces עם מודלים כמו Gemini,‏ Gemma,‏ Llama ו-Stable Diffusion.

הפעלת Spaces

להפעיל את Spaces כדי לבדוק מודל מאפליקציית Gradio לדוגמה ולהתנסות בו.

  1. במסוף Cloud de Confiance , נכנסים ל-Model Garden כדי לראות את כרטיס המודל.

    כניסה ל-Model Garden

  2. בוחרים את המודל שרוצים להשתמש בו. במודלים נתמכים יש חלונית Try out Spaces, כמו בכרטיס המודל Gemma 3.

    מעבר אל Gemma 3

  3. לוחצים על rocket_launch Run כדי להפעיל את המרחב.

    1. אפשר לבחור באפשרות Require authentication (באמצעות Identity Aware Proxy) או באפשרות Allow public access. למידע נוסף, קראו את המאמר הפעלת ממשקי API לפריסה הראשונה והענקת הרשאות.
    1. לוחצים על Create new service כדי להתחיל את הפריסה. אפשר לעקוב אחרי סטטוס הפריסה בכרטיס המודל.

  4. אחרי שהסטטוס של Spaces משתנה ל-Ready, לוחצים עליו כדי לראות פרטים על הפריסה.

    כדי להגן על אפליקציית האינטרנט, צריך להוסיף לכתובת ה-URL מפתח סודי כששולחים הנחיות. המפתח הסודי הזה מופיע בשדה Secret key.

    1. לוחצים על Open כדי להתחיל להשתמש באפליקציה. אפשר לשלוח הנחיות למודל ולראות את התשובות שלו מתוך האפליקציה.

    אתם יכולים לשתף את כתובת ה-URL כדי שגם אחרים יוכלו לנסות את האפליקציה.

    1. כדי לסגור את הגישה לאפליקציה, לוחצים על עריכה בשדה בקרת גישה.

    בכרטיסייה Security של אפליקציית Cloud Run, בוחרים באפשרות Require authentication ולוחצים על Save. האפליקציה לא זמינה יותר דרך כתובת ה-URL. ביקורים בכתובת ה-URL מובילים לשגיאה 403 (אסור).

הסרת המשאבים

כדי לא לצבור חיובים בחשבון Cloud de Confiance by S3NS על המשאבים שבהם השתמשתם בדף הזה, מבצעים את הפעולות הבאות.

מחיקת מרחבים משותפים

כדי לנקות את Spaces, צריך למחוק גם את המשאבים של המודל וגם את המשאבים של האפליקציה לדוגמה ב-Cloud Run.

מחיקת משאבי המודל

באפליקציית Gradio, אתם יכולים למחוק נקודות קצה של מודלים כדי לפנות משאבים ב-Gemini Enterprise Agent Platform. לאחר מכן, צריך למחוק את שירות Cloud Run כדי לעצור ולמחוק את אפליקציית Gradio.

כדי למחוק ידנית משאבים של Gemini Enterprise Agent Platform, קראו את המאמר ביטול פריסה של מודלים ומחיקת משאבים.

מחיקת שירות Cloud Run

למחוק משאבים שקשורים לשירות, כולל כל הגרסאות של השירות. מחיקת שירות לא כוללת פריטים כמו קובצי אימג' של קונטיינרים מ-Artifact Registry. מידע נוסף זמין במאמר ניהול שירותים במסמכי התיעוד של Cloud Run.

  1. במסוף Cloud de Confiance , פותחים את רשימת השירותים של Cloud Run:

    כניסה ל-Cloud Run

  2. מאתרים את השירות שרוצים למחוק ובוחרים אותו.

  3. לוחצים על סמל המחיקה מחיקה. הפעולה הזו מוחקת את כל הגרסאות של השירות.

מחיקת הפרויקט

הדרך הקלה ביותר לבטל את החיוב היא למחוק את הפרויקט שיצרתם בשביל המדריך הזה.

כדי למחוק את הפרויקט:

  1. במסוף Cloud de Confiance , נכנסים לדף Manage resources.

    כניסה לדף Manage resources

  2. ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.
  3. כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.

המאמרים הבאים

סקירה כללית של Model Garden