AI Inference SMT

ההמרה של שיטה יחידה (SMT) של היסק מ-AI מאפשרת לקבל היסקים בהודעות Pub/Sub ממודלים של Gemini Enterprise Agent Platform. אתם יכולים להשתמש במודלים מותאמים אישית משלכם שפרוסים בנקודות קצה של Agent Platform, או להשתמש בכל אחד מהמודלים של Google ושל השותפים שזמינים דרך Agent Platform. המסקנות של המודל מתווספות לכל הודעה, כך שהן זמינות לעיבוד בהמשך יחד עם נתוני ההודעה המקוריים.

תרחישי שימוש ב-AI Inference SMT כוללים את הדוגמאות הבאות:

• העשרה בזמן אמת: הוספה של הקשר, סיווגים, תחזיות, סנטימנטים או הטמעות לנתוני אירועים בזמן שהם עוברים דרך Pub/Sub.

• צינורות AI פשוטים יותר: אין יותר צורך בשירותי ביניים כדי לקבל מסקנות ממודלים של AI. ‫Pub/Sub מטפל בקריאה למודל ה-AI ובהוספת ההסקה להודעה.

• הפחתת זמן האחזור בצינורות AI: כדי להשיג זמן אחזור נמוך יותר מקצה לקצה, צריך להסיר קפיצות רשת מיותרות בארכיטקטורה.

• שליטה משופרת בזרימה: כדי למנוע עומס יתר על נקודות הקצה של המודל, Pub/Sub מבצע אופטימיזציה של קצב הבקשות למודל ה-AI. מידע נוסף זמין בקטע זרימת ההודעות במאמר הזה.

הכלי AI Inference SMT תומך בסוגי המודלים הבאים:

• מודלים שנפרסו באופן עצמאי. מודלים פתוחים, מודלים של שותפים ומודלים בהתאמה אישית שפרוסים בנקודת קצה של Agent Platform ציבורית משותפת או ייעודית.

• מודלים של Model-as-a-Service‏ (MaaS). מודלים שמוצעים כשירות דרך Model Garden, כמו Gemini ו-Claude, שלא דורשים ניהול של הפריסה. רשימה של מודלים של MaaS שתואמים ל-SMT של הסקת מסקנות מ-AI מופיעה במאמר בנושא מודלים תואמים של MaaS.

התפקידים וההרשאות הנדרשים

כדי לקבל את ההרשאות שנדרשות ליצירת נושא או מינוי עם SMT, צריך לבקש מהאדמין להקצות לכם ב-IAM את התפקיד עריכת Pub/Sub (roles/pubsub.editor) בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקיד המוגדר מראש הזה כולל את ההרשאות שנדרשות ליצירת נושא או מינוי עם SMT. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

הרשאות של חשבון שירות

ה-SMT של הסקת מסקנות מ-AI משתמש בחשבון שירות של IAM כדי לקרוא לנקודת הקצה של Agent Platform. כברירת מחדל, הוא משתמש בחשבון סוכן השירות של Cloud Pub/Sub (service-PROJECT_NUMBER@gcp-sa-pubsub.s3ns-system.iam.gserviceaccount.com). אפשר גם לספק חשבון שירות משלכם.

לחשבון השירות צריכות להיות ההרשאות הבאות בפרויקט Cloud de Confianceשמכיל את נקודת הקצה של Agent Platform:

• aiplatform.endpoints.get
• aiplatform.endpoints.predict

כדי לתת את ההרשאות האלה, צריך להקצות לחשבון השירות את תפקיד ה-IAM הבא:

• אם אתם משתמשים בחשבון השירות Cloud Pub/Sub Service Agent, צריך להעניק את התפקיד Vertex AI Service Agent.

• אם משתמשים בחשבון שירות אחר, צריך להעניק לו את התפקיד Vertex AI User.

עיבוד הודעות

בקטע הזה מוסבר איך כלי ה-SMT של AI Inference מעבד הודעות Pub/Sub.

קלט

נתוני ההודעה ב-Pub/Sub צריכים להיות בקשה לשליחה למודל ה-AI, כמחרוזת JSON. אפשר גם לציין פרמטרים נוספים של המודל שיישלחו עם כל בקשה. ה-SMT ממזג את הפרמטרים האלה עם נתוני ההודעה ושולח את ה-JSON הממוזג לנקודת הקצה של המודל.

לדוגמה, אם יש לכם:

• נתוני הודעות קלט: {"messages": [{"role": "user", "content": "Explain photosynthesis"}]}
• פרמטרים של SMT: {"temperature": 0.2}

המטען הייעודי (payload) שיישלח למודל הוא:

{
  "messages": [
    {
      "role": "user",
      "content": "Explain photosynthesis"
    }
  ],
  "temperature": 0.2
}

אם לפרמטר שצוין בהגדרת ה-SMT יש שם זהה לשם של שדה בנתוני ההודעה, הערך בנתוני ההודעה מקבל עדיפות.

בטבלה הבאה אפשר לראות לאיזה API קורא SMT כדי לקבל את ההסקה, בהתאם לסוג המודל.

כדי לעצב את נתוני ההודעה ואת פרמטרי המודל בצורה נכונה, צריך לעיין במסמכי התיעוד של המודל. לדוגמה, במודלים בסיסיים של Gemini, אפשר לעיין בדוגמאות לשימוש ב-Chat Completions API.

אם אפליקציית בעל התוכן הדיגיטלי לא יכולה לעצב הודעות במבנה JSON הספציפי שנדרש על ידי המודל (כמו פורמט ה-API של השלמת צ'אט), אפשר לשרשר פונקציית UDF של JavaScript SMT לפני ה-SMT של מסקנת ה-AI כדי לבצע עיבוד מקדים ולעצב את מטען הבקשה. דוגמה מופיעה במאמר בנושא עיבוד מוקדם של מטען ייעודי (payload) באמצעות פונקציית UDF ב-JavaScript.

תשובה

אם הקריאה לנקודת הקצה של המודל מצליחה, ה-SMT מעשיר את הודעת Pub/Sub המקורית בתשובת המודל. ההודעה המועשרת היא מחרוזת JSON כמו זו שבהמשך, כאשר ORIGINAL_MESSAGE הוא נתוני ההודעה המקורית ו-INFERENCE_RESULT היא התגובה מהמודל:

{
  "original_message": { ORIGINAL_MESSAGE },
  "model_output": { INFERENCE_RESULT }
}

זרימת ההודעות

נושאים של SMT: כשמגדירים SMT של הסקת מסקנות מ-AI בנושא, מערכת Pub/Sub מטפלת בהודעות נכנסות באופן הבא:

1. אפליקציה של בעל תוכן דיגיטלי שולחת הודעה לנושא ב-Pub/Sub.

2. ההודעה נשלחת לנקודת הקצה של המודל שהוגדרה לצורך הסקת מסקנות. ההודעה המועשרת, שמכילה את הנתונים המקוריים ואת ההסקה של המודל, נכתבת באחסון הפנימי של Pub/Sub.

3. מערכת Pub/Sub מעבירה את ההודעה המועשרת לכל המינויים המצורפים.

נושאי SMT במינוי: כשמגדירים נושא SMT של הסקת מסקנות מ-AI במינוי, Pub/Sub מטפל בהודעות נכנסות באופן הבא:

1. אפליקציה של בעל תוכן דיגיטלי שולחת הודעה לנושא ב-Pub/Sub.

2. ההודעה מועברת למינוי ב-Pub/Sub.

3. ההודעה נשלחת לנקודת הקצה של המודל שהוגדרה לצורך הסקת מסקנות.

4. המינוי שולח את ההודעה המועשרת לאפליקציה של המנוי.

5. ‫Pub/Sub מבצע אופטימיזציה של קצב הבקשות למודל ה-AI כדי למקסם את התפוקה, על סמך זמן האחזור והמכסה של הפריסה. הערה: היכולת הזו לא נתמכת כשמשתמשים ב-unary pull API.

אפשר לשרשר SMT של הסקת מסקנות מ-AI עם SMT אחד או יותר של JavaScript UDF. אפשר להשתמש בדפוס הזה כדי לבצע עיבוד מקדים של הודעה כך שתתאים לפורמט הקלט הצפוי של המודל, או כדי לבצע עיבוד פוסט של פלט המודל לפני שהוא מועבר למנויים.

שיטה מומלצת: מומלץ מאוד להשתמש בטרנספורמציות SMT של מינויים ולא בטרנספורמציות SMT של נושאים להסקת מסקנות מ-AI. אם נקודת הקצה של מודל ה-AI מוגבלת, אם יש קפיצות בנתוני ההשהיה או אם היא לא זמינה, ההשפעה הפוטנציאלית על צינור הנתונים גדולה יותר עם SMT של נושא:

• אם משתמשים ב-SMT של נושא, בקשת הפרסום נכשלת, וזה משפיע ישירות על הזמינות של בקשת הפרסום.

• ב-SMT של מינוי, ‏ Pub/Sub מנסה לשלוח שוב, כולל הפעלת ה-SMT, בהתאם למדיניות הניסיון החוזר של המינוי. אפשר גם להגדיר נושא להודעות ללא מוצא כדי לטפל בכשלים מתמשכים בלי להשפיע על הזמינות של ההטמעה.

יצירת SMT להסקת מסקנות על ידי AI

אפשר להגדיר SMT בנושאים או במינויים ב-Pub/Sub.

• ה-SMT של הנושא מופעל לפני שההודעה מאוחסנת ב-Pub/Sub, והתוצאות זמינות לכל המנויים.

• הפעולות של כללי התנועה של המינוי מבוצעות לפני שההודעה נמסרת, והתוצאות זמינות רק למינוי הזה.

- aiInference:
    endpoint: "ENDPOINT_RESOURCE"
    unstructuredInference: {
        parameters:
          MODEL_PARAMETERS
    }
    service_account_email: SERVICE_ACCOUNT

{
  "aiInference": {
    "endpoint": "ENDPOINT_RESOURCE",
    "unstructuredInference": {
        "parameters": {
          MODEL_PARAMETERS
        }
    }
    "service_account_email": SERVICE_ACCOUNT
  }
}

gcloud pubsub topics create TOPIC_ID \
  --message-transforms-file=TRANSFORMS_FILE

gcloud pubsub subscriptions create SUBSCRIPTION_ID \
  --topic=projects/PROJECT_ID/topics/TOPIC_ID \
  --message-transforms-file=TRANSFORMS_FILE

אימות ובדיקה

אתם יכולים גם לאמת ולבדוק את ה-SMT שהגדרתם לפני שאתם יוצרים את הנושא או המינוי. מידע נוסף זמין במאמרים הבאים:

• יצירת נושא באמצעות SMT
• יצירת מינוי עם SMT

דוגמאות

שימוש ב-SMT של הסקת מסקנות מ-AI

בדוגמה הבאה מוצג איך ליצור מינוי עם SMT של הסקת מסקנות מ-AI, ואז להשתמש בו כדי לשלוח הנחיה ל-Gemini.

עיבוד מראש של מטען ייעודי (payload) באמצעות פונקציה מוגדרת על ידי המשתמש (UDF) ב-JavaScript

אם אפליקציית בעל התוכן הדיגיטלי פולטת טקסט גולמי, יומנים או מטען ייעודי (payload) של אירועים במקום JSON מובנה שנדרש על ידי מודלים של AI (כמו פורמט השלמת הצ'אט שתואם ל-OpenAI), אפשר לשרשר פונקציית UDF של JavaScript SMT לפני ה-SMT של הסקת מסקנות מ-AI. ה-UDF פועל כשכבת תרגום, וממיר את ההודעה הגולמית לפורמט שהמודל מצפה לו.

הדוגמה הבאה של פונקציית UDF ב-JavaScript מראה איך לבצע עיבוד מקדים של הודעה שמכילה פרומפט טקסטואלי לבקשת API של Gemini 3.6 Flash להשלמת צ'אט:

/**
 * Pre-processes a message containing a text prompt into a
 * Chat Completions API request compatible with Gemini 3.6 Flash.
 */
function prepareGeminiRequest(message, metadata) {
  // Assuming the incoming message data is a raw text prompt
  const promptText = message.data;

  const chatRequest = {
    "model": "google/gemini-3.6-flash",
    "messages": [
      {
        "role": "user",
        "content": promptText
      }
    ]
  };

  // Replace the message data with the stringified JSON request
  message.data = JSON.stringify(chatRequest);
  return message;
}

אפשר גם לשרשר פונקציית UDF של JavaScript לעיבוד אחרי ההסקה של ה-AI SMT כדי לחלץ שדות ספציפיים מהתשובה של המודל לפני שהיא מועברת למנויים.

מודלים תואמים של MaaS

בטבלה הבאה מפורטים המודלים של Model-as-a-Service ‏ (MaaS) ש-Google בדקה באמצעות SMT של הסקת מסקנות מ-AI, וידוע שהם תואמים. הרשימה הזו עשויה להשתנות, כי יכול להיות שדגמים מסוימים יוצאו משימוש או שיוספו דגמים חדשים של MaaS.

מגבלות

• אפשר להשתמש רק ב-SMT אחד של הסקת מסקנות מ-AI לכל נושא או מינוי.

• אין תמיכה בנקודות קצה פרטיות. מודלים שמוטמעים באופן עצמאי צריכים להתארח בנקודות קצה ציבוריות של Agent Platform.

• נקודת הקצה הגלובלית נתמכת רק במודלים בסיסיים של Gemini. במודלים אחרים, חובה להשתמש בנקודת קצה אזורית.

• שירות Pub/Sub לא מאמת את נתוני ההודעה שמוזנים. באחריותכם לוודא שפורמט הנתונים נכון.

• הטרנספורמציה שולחת בקשת הסקה אחת לכל הודעת Pub/Sub. לא מתבצעת העברה של נתונים בקבוצות בצד הלקוח.

• הסקת מסקנות אסינכרונית באצווה לא אפשרית.

• ההסקה לא יכולה להימשך יותר מ-60 שניות. אם הוא חורג מ-60 שניות, ניסיון המסירה נכשל ו-Pub/Sub מנסה שוב, עד משך השמירה של ההודעה שהוגדר וההגדרות של מדיניות הניסיון החוזר. אם הניסיון נכשל, ההודעה מועברת אל נושא ההודעות שלא נמסרו, אם הוא מוגדר.

מודלים לא נתמכים

הכלי AI Inference SMT לא תומך במודלים הבאים של MaaS. יש הרבה מודלים כאלה עם גרסאות שניתן לפרוס באופן עצמאי, ואפשר להשתמש בהן במקום זאת.

• deepseek-ai/deepseek-ocr-maas
• deepseek-ai/deepseek-v3.2-maas
• google/gemini-embedding-2-preview
• google/lyria-002
• google/lyria-3-clip-preview
• google/lyria-3-pro-preview
• google/veo-3.1-fast-generate-001
• google/veo-3.1-generate-001
• intfloat/multilingual-e5-large-instruct-maas
• intfloat/multilingual-e5-small-instruct-maas
• minimaxai/minimax-m2-maas
• moonshotai/kimi-k2-thinking-maas
• qwen/qwen3-next-80b-a3b-instruct-maas
• qwen/qwen3-next-80b-a3b-thinking-maas
• zai-org/glm-4.7-maas
• zai-org/glm-5-maas

הגבלות אזוריות

המגבלות הבאות חלות על SMTs של הסקת מסקנות מ-AI, בהתאם לאזור של נקודת הקצה של Agent Platform.

• אם מוגדר SMT של הסקת מסקנות מ-AI בנושא, אז האזור של נקודת הקצה חייב להיות אחד מהאזורים שמותרים על פי מדיניות אחסון ההודעות של הנושא.

  המגבלה הזו חלה גם על נושאי SMT של מינויים אם הגבלת מדיניות הארגון בנושא אכיפת אזורים למעבר הודעות ב-Pub/Sub בתוקף.

• אם מוגדר SMT של הסקת מסקנות מ-AI במינוי לייצוא, אז אזור נקודת הקצה חייב להיות באזור של המשאב המשויך:

  • במקרה של מינוי ל-BigQuery, האזור של טבלת היעד.
  • במקרה של מינוי לנפח אחסון ב-Cloud Storage, האזור של קטגוריה של Cloud Storage.

• אם נשלחת בקשת פרסום לאזור שאינו אזור נקודת הקצה, Pub/Sub מפנה אוטומטית את הבקשה לאזור נקודת הקצה.

• אם אתם שולפים ממינוי עם SMT של הסקת מסקנות מ-AI, ובקשת השליפה מוגשת לאזור שאינו אזור נקודת הקצה, Pub/Sub דוחה את הבקשה. מומלץ להשתמש בנקודת קצה לפי מיקום עבור מינויים מסוג pull. ההגבלה הזו חלה גם על משיכת נתונים בסטרימינג וגם על משיכת נתונים חד-פעמית.

• אם למינוי דחיפה יש SMT של הסקת מסקנות מ-AI, המינוי שולח הודעות מאזור נקודת הקצה. אם מתרחשת הפרה של מגבלה אזורית, Pub/Sub מפסיק לדחוף הודעות מהמינוי הזה.

פתרון בעיות

בקטע הזה מפורטים טיפים לפתרון בעיות שקשורות ל-SMT של הסקת מסקנות מ-AI.

• שגיאות בנושא SMT. אם ההסקה נכשלת כשמפרסמים את ההודעה, כל בקשת הפרסום נכשלת. פרטי השגיאה מוחזרים ללקוח של בעל התוכן הדיגיטלי.

• שגיאות SMTP במינוי. אם ההסקה נכשלת כשההודעה נמסרת (למשל, בגלל חוסר זמינות ממושך של המודל, ניצול מלא של המכסה או שגיאות של ארגומנט לא תקין), ההודעה המקורית שלא שונתה מועברת אל נושא ההודעות שלא נמסרו שהוגדר. כך לא יאבדו נתונים. ההודעה המועברת כוללת מאפיין CloudPubSubDeadLetterSourceSMTErrorMessage שמכיל את פרטי הכשל ב-SMTP. מומלץ להגדיר נושא להודעות ללא מוצא כשמשתמשים ב-SMT במנוי.

• שגיאות בהסקת מסקנות של מודל. אם ההסקה נכשלת ומוחזרת שגיאה, צריך לבדוק את הדברים הבאים:

  • מוודאים שנקודת הקצה שהוגדרה נכונה.

  • מוודאים שנתוני ההודעה ב-Pub/Sub מכילים בקשת הסקה תקינה עבור המודל.

  • מוודאים שכל הפרמטרים של המודל תקינים.

  יכול להיות שההסקה תיכשל מסיבות אחרות, כמו בעיות בקישוריות.

• שגיאות הרשאה או שגיאות בנקודת הקצה. אם לחשבון השירות המוגדר אין יותר הרשאה לנקודת הקצה, או אם נקודת הקצה נמחקת, ה-SMT נכשל.

מכסות ומגבלות

• בנוסף למכסות והגבלות של Pub/Sub, ה-SMT של הסקת מסקנות מ-AI כפוף למכסות ולמגבלות הקצב של נקודת הקצה של Agent Platform. הבקרה על זרימת נתונים המובנית של Pub/Sub מתאימה אוטומטית את קצב הבקשות כדי למנוע עומס יתר על נקודת הקצה, אבל הקצב לא יכול לחרוג מהמכסה של המודל.

• הגודל של ההודעה הסופית אחרי השינוי, כולל ההודעה המקורית והפלט של ההסקה, צריך להיות קטן ממגבלת הגודל של הודעות ב-Pub/Sub. אם ההודעה אחרי השינוי חורגת מהמגבלה, השינוי נכשל.

המאמרים הבאים

• מידע נוסף על SMT
• בחירת נושא או מינוי של SMT
• יצירת נושא באמצעות SMT
• יצירת מינוי עם SMT