סקירה כללית של ניהול נקודות קצה של מודלים

בדף הזה מוסבר איך לרשום נקודת קצה של מודל AI ולהפעיל חיזויים באמצעות ניהול נקודות הקצה של המודל ב-Cloud SQL. כדי להשתמש במודלים של AI בסביבות ייצור, קראו את המאמר יצירה וניהול של הטמעות וקטורים.

סקירה כללית

ניהול נקודות קצה של מודלים מאפשר לכם לרשום נקודת קצה של מודל, לנהל את המטא-נתונים של נקודת הקצה של המודל במכונה של Cloud SQL, ואז להשתמש במודלים באמצעות שאילתות SQL. אתם יכולים להשתמש במודלים האלה כדי ליצור הטמעות וקטורים או להפעיל חיזויים.

אתם יכולים לרשום את סוגי המודלים הבאים באמצעות ניהול נקודות קצה של מודלים:

  • מודלים של הטמעת טקסט ב-Vertex AI.
  • מודלים של הטמעת טקסט באירוח בצד הלקוח שמתארחים ברשתות בתוך Cloud de Confiance by S3NS.
  • מודלים גנריים עם API מבוסס-JSON. דוגמאות למודלים כאלה:

    • המודל gemini-flash מ-Vertex AI Model Garden
    • המודל open_ai למודלים של OpenAI
    • מודלים שמתארחים ברשתות בתוך Cloud de Confiance by S3NS

איך זה עובד

אתם יכולים להשתמש בניהול נקודות קצה של מודלים כדי לרשום נקודת קצה של מודל שעומדת בדרישות הבאות:

  • הקלט והפלט של המודל תומכים בפורמט JSON.
  • אתם יכולים להשתמש בפרוטוקול REST כדי להפעיל את המודל.

כשאתם רושמים נקודת קצה של מודל באמצעות הכלי לניהול נקודות קצה של מודלים, הכלי רושם כל נקודת קצה עם מזהה מודל ייחודי כהפניה למודל. אתם יכולים להשתמש במזהה המודל הזה כדי לשלוח שאילתות למודלים, באופן הבא:

  • יוצרים הטמעות כדי לתרגם פרומפטים טקסטואליים לווקטורים מספריים. אפשר לאחסן הטמעות שנוצרו כנתוני וקטורים כשמפעילים תמיכה בהטמעת וקטורים במכונה. מידע נוסף מופיע במאמר הפעלה והשבתה של הטמעות וקטורים במכונה.

  • להפעיל חיזויים כדי לקרוא למודל באמצעות SQL בתוך טרנזקציה.

כדי לרשום מודלים של AI מרוחק ולקרוא להם באמצעות מכונה של Cloud SQL, צריך להתקין במכונה את גרסת התחזוקה MYSQL_VERSION.R20250531.01_14 ואילך. אם במכונה פועלת גרסת תחזוקה שקודמת ל-MYSQL_VERSION.R20250531.01_14, אפשר להשתמש רק בפונקציות הבאות, כפי שמתועד בשילוב של Cloud SQL ו-Vertex AI.

כדי לשדרג את המכונה לגרסת התחזוקה MYSQL_VERSION.R20250531.01_14 או לגרסה מאוחרת יותר, קראו את המאמר תחזוקה בשירות עצמי. אחרי שדרוג המכונה, אפשר להשתמש בפונקציות הבאות:

בנוסף, אתם יכולים להשתמש בפונקציות הבאות עם ספק המודלים הרשום:

  • ‫mysql.ml_embedding(): יוצרת הטמעות טקסט
  • ‫mysql.ml_predict_row(): יוצרת חיזויים כשקוראים למודלים גנריים שתומכים בפורמטים של קלט ופלט מסוג JSON

הרשאות משתמש נדרשות במסד הנתונים

כדי לרשום מודלים של AI מרוחקים ולקרוא להם, אתם צריכים להתחבר כמשתמשים במסד הנתונים של MySQL עם הרשאות SELECT ו-EXECUTE ב-mysql.*.

כברירת מחדל, לכל משתמש עם התפקיד cloudsqlsuperuser יש את ההרשאות האלה, או שהוא יכול ליצור משתמש ולהעניק לו את ההרשאות הנדרשות.

מידע נוסף על התפקיד cloudsqlsuperuser ב-Cloud SQL זמין במאמרים הרשאות משתמש ב-MySQL 8.0 והרשאות משתמש ב-MySQL 8.4.

מושגים מרכזיים

לפני שמתחילים להשתמש בניהול נקודות קצה של מודלים, חשוב להבין את המושגים שנדרשים כדי להתחבר למודלים ולהשתמש בהם.

ספק המודל

ספק המודל הוא ספק האירוח של המודל הנתמך. בטבלה הבאה מפורטים הערכים שצריך להגדיר בהתאם לספק המודל שבו אתם משתמשים:

ספק המודל הגדרה בפונקציה בתור…
‫Vertex AI (כולל Gemini) google
Anthropic anthropic
Hugging Face hugging_face
OpenAI open_ai
מודלים אחרים שמתארחים מחוץ ל-Vertex AI,
Anthropic,‏ Hugging Face ו-OpenAI
custom

ספק המודל שמוגדר כברירת מחדל הוא custom.

סוגי המודלים

סוגי המודלים הם הסוגים של מודל ה-AI. כשרושמים נקודת קצה של מודל, אפשר להגדיר את סוגי המודלים text_embedding או generic לנקודת הקצה.

אם אתם משתמשים ב-Vertex AI כספק המודל, אתם לא צריכים לרשום נקודת קצה של מודל כי נקודות הקצה נתמכות באופן אוטומטי. כברירת מחדל, ב-Vertex AI משתמשים במודל text-embedding-005.

מודלים אחרים להטמעת טקסט
במודלים אחרים של הטמעת טקסט, צריך ליצור פונקציות טרנספורמציה כדי לטפל בפורמטים של הקלט והפלט שהמודל תומך בהם. אפשר גם להשתמש בפונקציה ליצירת שורות כותרת ב-HTTP, שיוצרת כותרות בהתאמה אישית שהמודל צריך.

סוג המודל של המודלים האלה הוא text_embedding.

מודלים גנריים
בניהול נקודות קצה של מודלים אפשר גם לרשום את כל סוגי המודלים האחרים, חוץ ממודלים של הטמעת טקסט. כדי להפעיל חיזויים למודלים גנריים, משתמשים בפונקציה mysql.ml_predict_row(). אתם יכולים להגדיר מטא-נתונים של נקודת קצה של מודל, כמו נקודת קצה של בקשה וכותרות HTTP שספציפיות למודל שלכם.
אי אפשר להעביר פונקציות טרנספורמציה כשרושמים נקודת קצה כללית של מודל. כשמפעילים חיזויים, צריך לוודא שהקלט לפונקציה הוא בפורמט JSON, ושהפלט של JSON מנותח כדי להפיק את הפלט הסופי.
סוג המודל של המודלים האלה הוא generic. מכיוון ש-generic הוא סוג המודל שמוגדר כברירת מחדל, אם אתם רושמים נקודות קצה (endpoints) של מודלים מהסוג הזה, הגדרת סוג המודל היא אופציונלית.
ב-Vertex AI, ניהול נקודות הקצה של המודלים כולל תמיכה רשומה מראש במודל gemini-2.5-flash.

שיטות אימות

אתם יכולים להפעיל תמיכה בהטמעות וקטורים במכונה של Cloud SQL ל-MySQL, ואז לציין שיטות אימות שונות כדי לגשת למודל. הגדרת השיטות האלה היא אופציונלית ונדרשת רק אם אתם צריכים לבצע אימות כדי לגשת למודל שלכם.

במודלים של Vertex AI, חשבון השירות של Cloud SQL משמש לאימות. במודלים אחרים, אפשר להשתמש במפתח ה-API או בטוקן למוכ"ז שמאוחסנים כסוד ב-Secret Manager עם הפונקציה mysql.ml_create_sm_secret_registration() ב-SQL.

בטבלה הבאה מוצגות שיטות האימות שאפשר להגדיר:

שיטת אימות הגדרה בפונקציה בתור… ספק המודל
סוכן שירות של Cloud SQL auth_type_cloudsql_service_agent_iam ספק Vertex AI
Secret Manager auth_type_secret_manager מודלים שמתארחים מחוץ ל-Vertex AI

פונקציות חיזוי

mysql.ml_embedding()
מפעיל נקודת קצה רשומה של מודל הטמעת טקסט כדי ליצור הטמעות. הוא כולל תמיכה מובנית בכל מודלי ההטמעה של Vertex AI.
במודלים של הטמעת טקסט בלי תמיכה מובנית, הפרמטרים של הקלט והפלט ייחודיים למודל וצריך להמיר אותם כדי שהפונקציה תוכל לקרוא למודל. יוצרים פונקציית טרנספורמציה של קלט כדי להמיר את הקלט של פונקציית החיזוי לקלט הספציפי של המודל, ופונקציית טרנספורמציה של פלט כדי להמיר את הפלט הספציפי של המודל לפלט של פונקציית החיזוי.
mysql.ml_predict_row()
‫
מפעילה נקודת קצה רשומה של מודל גנרי, אם נקודת הקצה תומכת בממשקי API מבוססי-JSON כדי להפעיל חיזויים.

פונקציות טרנספורמציה

פונקציות טרנספורמציה משנות את הקלט לפורמט שהמודל מבין, וממירות את התשובה של המודל לפורמט שפונקציית החיזוי מצפה לו. פונקציות הטרנספורמציה משמשות לרישום נקודת הקצה של המודל text-embedding ללא תמיכה מובנית. החתימה של פונקציות הטרנספורמציה תלויה בפונקציית החיזוי של סוג המודל.

אי אפשר להשתמש בפונקציות טרנספורמציה כשרושמים נקודת קצה של מודל generic.

כאן מוצגות החתימות של פונקציית החיזוי למודלים של הטמעת טקסט:

// define custom model specific input/output transform functions.
CREATE FUNCTION IF NOT EXISTS input_transform_function(model_id VARCHAR(100), input_text TEXT) RETURNS JSON DETERMINISTIC;

// the returned BLOB should be of type VECTOR
CREATE FUNCTION IF NOT EXISTS output_transform_function(model_id VARCHAR(100), response_json JSON) RETURNS BLOB DETERMINISTIC;

מידע נוסף על יצירת פונקציות טרנספורמציה זמין במאמר דוגמה לפונקציות טרנספורמציה.

פונקציה ליצירת שורות כותרת HTTP

הפונקציה ליצירת שורות כותרת ב-HTTP יוצרת את הפלט בזוגות של מפתח/ערך ב-JSON, שמשמשים ככותרות HTTP. החתימה של פונקציית החיזוי מגדירה את החתימות של הפונקציה ליצירת שורות כותרת.

הדוגמה הבאה מראה את החתימה של פונקציית החיזוי mysql.ml_embedding():

CREATE FUNCTION IF NOT EXISTS generate_headers(model_id VARCHAR(100), input TEXT) RETURNS JSON DETERMINISTIC;

לפונקציית החיזוי mysql.ml_predict_row(), החתימה היא:

CREATE FUNCTION IF NOT EXISTS generate_headers(model_id VARCHAR(100), input JSON) RETURNS JSON DETERMINISTIC;

דוגמה לפונקציה ליצירת שורות כותרת

מגבלות

  • כשמריצים פונקציות של רישום מודלים או ניהול סודות, כל הטרנזקציות הפתוחות בסשן נשמרות באופן משתמע. פונקציות החיזוי לא מבצעות טרנזקציות באופן משתמע.

  • אם מייצאים או מייבאים את מסד הנתונים באמצעות mysqldump, קטלוג נקודות הקצה של המודל לא מיוצא.

  • מסד נתונים של משתמשים שמכיל פונקציות טרנספורמציה לא יכול להכיל נקודה ('.') בשם שלו. לדוגמה, מסד נתונים בשם my.sql לא נתמך.

  • אפשר לנהל נקודות קצה של מודלים רק ב-Cloud SQL ל-MySQL בגרסה 8.0.36 ואילך.

המאמרים הבאים