מודלים של שותפים ב-Gemini Enterprise Agent Platform ל-MaaS

‫Gemini Enterprise Agent Platform תומכת ברשימה נבחרת של מודלים שפותחו על ידי Google Partners. אפשר להשתמש במודלים של שותפים ב-Gemini Enterprise Agent Platform בתור מודל כשירות (MaaS), והם מוצעים בתור ממשק API מנוהל. כשאתם משתמשים במודל של שותף, אתם ממשיכים לשלוח את הבקשות שלכם לנקודות הקצה של Gemini Enterprise Agent Platform. המודלים של השותפים הם ללא שרת (serverless), כך שאין צורך להקצות או לנהל תשתית.

אפשר למצוא מודלים של שותפים באמצעות Model Garden. אפשר גם לפרוס מודלים באמצעות Model Garden. מידע נוסף זמין במאמר סקירת מודלים של AI ב-Model Garden. במדריך הזה מתועדים רק מודלים של צד שלישי שפועלים כ-MaaS עם Gemini Enterprise Agent Platform, אבל אפשר למצוא מידע על כל מודל זמין של שותף בכרטיס המודל שלו ב-Model Garden.

מודלים של צד שלישי שמנוהלים על ידי Gemini Enterprise Agent Platform הם, למשל, Claude של Anthropic ו-Mistral.

מודלים של השותפים

המודלים הבאים של שותפים מוצעים כממשקי API מנוהלים ב-Model Garden (MaaS) של Gemini Enterprise Agent Platform:

איך מעריכים מודלים של שותפים באמצעות שירות ההערכה של AI גנרטיבי

שירות ההערכה של AI גנרטיבי תומך בהערכת מודלים של שותפים, כמו מודלים של Anthropic ו-Llama. אפשר להעריך מודלים של שותפים באמצעות Model Garden, לכן צריך להפעיל את המודל לפני שמריצים הערכות על מודל של שותף.

מידע נוסף מופיע במאמר ביצוע הערכה באמצעות המסוף.

תמחור מודל שותף של Gemini Enterprise Agent Platform עם הבטחת קיבולת

‫Google מציעה הקצאת משאבים לפי התפוקה שנקבעה לחלק מהמודלים של השותפים, ששומרת את קיבולת התפוקה למודלים שלכם תמורת תשלום קבוע. אתם מחליטים מה יהיה קצב הנתונים ובאילו אזורים לשמור את הקיבולת הזו. מכיוון שבקשות להקצאת משאבים לפי התפוקה שנקבעה מקבלות עדיפות על פני בקשות רגילות בתשלום לפי שימוש, הקצאת משאבים לפי התפוקה שנקבעה מספקת זמינות גבוהה יותר. כשהמערכת עמוסה, הבקשות שלכם עדיין יכולות להתבצע כל עוד קצב העברת הנתונים נמוך מקיבולת קצב העברת הנתונים שהוקצתה לכם. למידע נוסף או להרשמה לשירות, פנו למחלקת המכירות.

נקודות קצה אזוריות, גלובליות ועם מספר אזורים

בנקודות קצה אזוריות, הבקשות מטופלות באזור שציינתם. אם יש לכם דרישות לגבי מיקום אחסון הנתונים, או אם המודל לא תומך בנקודת הקצה הגלובלית, השתמשו בנקודות הקצה האזוריות.

כשמשתמשים בנקודת הקצה הגלובלית, Google יכולה לעבד את הבקשות ולשלוח את התשובות מכל אזור שנתמך במודל שבו משתמשים, ובמקרים מסוימים זה עלול לגרום לזמן אחזור ארוך יותר. נקודת הקצה הגלובלית עוזרת לשפר את הזמינות הכוללת ולצמצם את השגיאות.

נקודות קצה במספר אזורים מאפשרות גישה בזמינות גבוהה למודלים של שותפים, תוך שמירה על מיקום אחסון הנתונים באזור גיאוגרפי רחב יותר, כמו ארצות הברית.

יש הבדל במחיר בהתאם לסוג נקודת הקצה שבחרתם. למידע נוסף על מכסות ויכולות, אפשר לעיין בדף של המודל הרלוונטי של הצד השלישי.

נקודת קצה גלובלית

כדי להשתמש בנקודת הקצה הגלובלית, מגדירים את האזור בתור global.

לדוגמה, כתובת ה-URL של הבקשה לפקודת curl משתמשת בפורמט הבא: https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/PUBLISHER_NAME/models/MODEL_NAME

ב-Agent Platform SDK, נקודת קצה אזורית היא ברירת המחדל. כדי להשתמש בנקודת הקצה הגלובלית, מגדירים את האזור ל-GLOBAL.

מודלים נתמכים לנקודת הקצה הגלובלית

נקודת הקצה הגלובלית זמינה במודלים הבאים:

• קלוד סונטה 5.5 של אנתרופיק ב-Google Cloud
• קלוד פייבל 5.1 של אנתרופיק בגוגל קלאוד
• ‫Claude Sonnet 5 של Anthropic ב-Google Cloud
• ‫Claude Opus 5.5 של Anthropic ב-Google Cloud
• ‫Claude Opus 5 של Anthropic ב-Google Cloud
• ‫Claude Fable 5 של Anthropic ב-Google Cloud
• ‫Claude Opus 4.8 של Anthropic ב-Google Cloud
• ‫Claude Opus 4.7 של Anthropic ב-Google Cloud
• ‫Claude Opus 4.6 של Anthropic ב-Google Cloud
• ‫Claude Sonnet 4.6 של Anthropic ב-Google Cloud
• ‫Claude Opus 4.5 של Anthropic ב-Google Cloud
• ‫Claude Sonnet 4.5 של Anthropic ב-Google Cloud
• קלוד 3.7 סונטה בגוגל קלאוד
• ‫Claude 3.5 Sonnet v2 ב-Google Cloud
• ‫Claude Haiku 5.5 של Anthropic ב-Google Cloud
• ‫Claude Haiku 4.5 של Anthropic ב-Google Cloud
• Grok 4.20
• Grok 4.3
• Grok 4.6
• Grok 4.7
• ‫Muse Spark 1.3 של Meta

הגבלת השימוש בנקודת קצה גלובלית ל-API

כדי לאכוף את השימוש בנקודות קצה אזוריות, אתם יכולים להשתמש באילוץ מדיניות הארגון constraints/gcp.restrictEndpointUsage כדי לחסום בקשות לנקודת הקצה הגלובלית של ה-API. מידע נוסף מופיע במאמר הגבלת השימוש בנקודות קצה (endpoints).

נקודת קצה עם מספר אזורים

נקודות קצה (endpoints) במספר אזורים מאפשרות גישה בזמינות גבוהה למודלים של שותפים, תוך שמירה על מיקום אחסון הנתונים באזור גיאוגרפי רחב יותר, כמו ארצות הברית או האיחוד האירופי.

בוחרים את הכרטיסייה המתאימה לאזור שבו רוצים להשתמש:

מידע נוסף על הפורמט MODEL_NAME זמין במאמרי העזרה של Anthropic.

מודלים נתמכים לנקודת הקצה עם מספר אזורים:

נקודות קצה בכמה אזורים תומכות בכל המודלים של Claude בגרסאות 4.7 ואילך (לדוגמה, claude-opus-4-7,‏ claude-opus-4-8 ו-claude-fable-5). צריך להשתמש במזהה המודל המלא, כולל תאריך הגרסה, אם רלוונטי.

‫Grok 4.6‏ (grok-4.6) ו-Grok 4.7‏ (grok-4.7) זמינים בנקודת הקצה (endpoint) של ארה"ב במספר אזורים. מודלים של Grok משתמשים ב-API של Responses וב-API של השלמות צ'אט שתואם ל-OpenAI, כך שנתיב הבקשה משתמש ב-endpoints/openapi. לדוגמה: https://aiplatform.us.rep.googleapis.com/v1/projects/PROJECT_ID/locations/us/endpoints/openapi/responses.

דוגמה לבקשה:

כך אפשר לקרוא לנקודת הקצה במספר אזורים באמצעות curl:

export PROJECT_ID="YOUR_PROJECT_ID"
# Example using claude-opus-4-7

# Option 1: US Region
export LOCATION="us"
export ENDPOINT="aiplatform.us.rep.googleapis.com"

# Option 2: EU Region
# export LOCATION="eu"
# export ENDPOINT="aiplatform.eu.rep.googleapis.com"

export MODEL_ID="claude-opus-4-7"

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
  -H "Content-Type: application/json" \
  "https://${ENDPOINT}/v1/projects/${PROJECT_ID}/locations/${LOCATION}/publishers/anthropic/models/${MODEL_ID}:rawPredict" \
  -d '{
    "max_tokens": 300,
    "messages": [
      {
        "role": "user",
        "content": [
          {
            "type": "text",
            "text": "Why is the sky blue?"
          }
        ]
      }
    ],
    "anthropic_version": "vertex-2023-10-16"
  }'

מכסות במספר אזורים:

המערכת אוכפת מכסות ייעודיות במספר אזורים. במסוף Cloud de Confiance אפשר לראות את ערכי ברירת המחדל של המכסות ולבקש להגדיל אותם.

• דוגמאות למכסות בארה"ב:

  • UsOnlinePredictionInputTokensPerMinutePerBaseModel
  • UsOnlinePredictionOutputTokensPerMinutePerBaseModel
  • UsOnlinePredictionRequestsPerMinPerProjectPerBaseModel
  • UsOnlinePredictionWebSearchRequestsPerProjectPerPublisher

• דוגמאות למכסות באיחוד האירופי:

  • EuOnlinePredictionInputTokensPerMinutePerBaseModel
  • EuOnlinePredictionOutputTokensPerMinutePerBaseModel
  • EuOnlinePredictionRequestsPerMinPerProjectPerBaseModel
  • EuOnlinePredictionWebSearchRequestsPerProjectPerPublisher

איך נותנים למשתמשים גישה למודלים של השותפים

כדי להפעיל מודלים של שותפים ולשלוח בקשה להנחיה, אדמין ב- Cloud de Confianceצריך להגדיר את ההרשאות הנדרשות ולוודא שמדיניות הארגון מאפשרת להשתמש בממשקי ה-API הנדרשים.

הגדרת ההרשאות הנדרשות לשימוש במודלים של השותפים

כדי להשתמש במודלים של שותפים, נדרשים התפקידים וההרשאות הבאים:

• אתם צריכים את התפקיד "מנהל הרשאות רכש לצרכן" בממשק לניהול זהויות והרשאות גישה (IAM). כל מי שקיבל את התפקיד הזה יכול להפעיל מודלים של שותפים ב-Model Garden.

• צריכה להיות לכם ההרשאה aiplatform.endpoints.predict. ההרשאה הזו כלולה בתפקיד "משתמש בפלטפורמת הנציגים" ב-IAM. מידע נוסף זמין במאמרים משתמש ב-Gemini Enterprise Agent Platform ובקרת גישה.

הגדרת מדיניות הארגון לגישה למודלים של שותפים

כדי להפעיל מודלים של שותפים, מדיניות הארגון צריכה לאפשר את ה-API הבא: Cloud Commerce Consumer Procurement API – cloudcommerceconsumerprocurement.googleapis.com

אם הארגון שלכם מגדיר מדיניות להגבלת השימוש בשירות, מנהל חשבון ארגוני צריך לוודא ש-cloudcommerceconsumerprocurement.googleapis.com מותר על ידי הגדרת מדיניות הארגון.

בנוסף, אם יש לכם מדיניות ארגונית שמגבילה את השימוש במודלים ב-Model Garden, המדיניות צריכה לאפשר גישה למודלים של שותפים. מידע נוסף מופיע במאמר שליטה בגישה למודלים.

עמידה בתקנות של מודלים של שותפים

האישורים של AI גנרטיבי ב-Agent Platform ממשיכים לחול כשמשתמשים במודלים של שותפים בתור ממשק API מנוהל באמצעות Gemini Enterprise Agent Platform. אם אתם צריכים פרטים על המודלים עצמם, תוכלו למצוא מידע נוסף בכרטיס המודל המתאים, או לפנות למפיץ של המודל הרלוונטי.

הנתונים שלכם מאוחסנים באזור או במספר האזורים שנבחרו למודלים של שותפים ב-Gemini Enterprise Agent Platform, אבל יכול להיות שהאזור שבו הנתונים מעובדים יהיה שונה. רשימה מפורטת של ההתחייבויות לעיבוד נתונים של מודלים של שותפים מופיעה במאמר מיקום אחסון הנתונים של מודלים של שותפים.

ההנחיות של הלקוחות והתשובות של המודל לא משותפות עם צדדים שלישיים כשמשתמשים ב-Gemini Enterprise API, כולל מודלים של שותפים. ‫Google מעבדת את נתוני הלקוחות רק לפי ההוראות של הלקוח, כפי שמתואר בפירוט בנספח לעיבוד נתונים ב-Cloud.