בדף הזה מוסבר איך לרשום נקודת קצה של מודל AI ולהפעיל חיזויים באמצעות ניהול נקודות הקצה של המודל ב-Cloud SQL. כדי להשתמש במודלים של AI בסביבות ייצור, קראו את המאמר יצירה וניהול של הטמעות וקטורים.
סקירה כללית
ניהול נקודות קצה של מודלים מאפשר לכם לרשום נקודת קצה של מודל, לנהל את המטא-נתונים של נקודת הקצה של המודל במכונה של Cloud SQL, ואז להשתמש במודלים באמצעות שאילתות SQL. אתם יכולים להשתמש במודלים האלה כדי ליצור הטמעות וקטורים או להפעיל חיזויים.
אתם יכולים לרשום את סוגי המודלים הבאים באמצעות ניהול נקודות קצה של מודלים:
- מודלים של הטמעת טקסט ב-Vertex AI.
- מודלים של הטמעת טקסט באירוח בצד הלקוח שמתארחים ברשתות בתוך Cloud de Confiance by S3NS.
מודלים גנריים עם API מבוסס-JSON. דוגמאות למודלים כאלה:
- המודל
gemini-flashמ-Vertex AI Model Garden - המודל
open_aiלמודלים של OpenAI - מודלים שמתארחים ברשתות בתוך Cloud de Confiance by S3NS
- המודל
איך זה עובד
אתם יכולים להשתמש בניהול נקודות קצה של מודלים כדי לרשום נקודת קצה של מודל שעומדת בדרישות הבאות:
- הקלט והפלט של המודל תומכים בפורמט JSON.
- אתם יכולים להשתמש בפרוטוקול REST כדי להפעיל את המודל.
כשאתם רושמים נקודת קצה של מודל באמצעות הכלי לניהול נקודות קצה של מודלים, הכלי רושם כל נקודת קצה עם מזהה מודל ייחודי כהפניה למודל. אתם יכולים להשתמש במזהה המודל הזה כדי לשלוח שאילתות למודלים, באופן הבא:
יוצרים הטמעות כדי לתרגם פרומפטים טקסטואליים לווקטורים מספריים. אפשר לאחסן הטמעות שנוצרו כנתוני וקטורים כשמפעילים תמיכה בהטמעת וקטורים במכונה. מידע נוסף מופיע במאמר הפעלה והשבתה של הטמעות וקטורים במכונה.
להפעיל חיזויים כדי לקרוא למודל באמצעות SQL בתוך טרנזקציה.
כדי לרשום מודלים של AI מרוחק ולקרוא להם באמצעות מכונה של Cloud SQL, צריך להתקין במכונה את גרסת התחזוקה MYSQL_VERSION.R20250531.01_14 ואילך.
אם במכונה פועלת גרסת תחזוקה שקודמת ל-MYSQL_VERSION.R20250531.01_14, אפשר להשתמש רק בפונקציות הבאות, כפי שמתועד בשילוב של Cloud SQL ו-Vertex AI.
כדי לשדרג את המכונה לגרסת התחזוקה MYSQL_VERSION.R20250531.01_14 או לגרסה מאוחרת יותר, קראו את המאמר תחזוקה בשירות עצמי.
אחרי שדרוג המכונה, אפשר להשתמש בפונקציות הבאות:
-
mysql.ml_create_model_registration(): רושמת את נקודת הקצה של המודל שמשמשת בפונקציית החיזוי או ההטמעה -
mysql.ml_create_sm_secret_registration(): משתמש בסודות ב- Cloud de Confiance by S3NS Secret Manager, שבו מאוחסנים מפתחות ה-API
בנוסף, אתם יכולים להשתמש בפונקציות הבאות עם ספק המודלים הרשום:
-
mysql.ml_embedding(): יוצרת הטמעות טקסט -
mysql.ml_predict_row(): יוצרת חיזויים כשקוראים למודלים גנריים שתומכים בפורמטים של קלט ופלט מסוג JSON
הרשאות משתמש נדרשות במסד הנתונים
כדי לרשום מודלים של AI מרוחקים ולקרוא להם, אתם צריכים להתחבר כמשתמשים במסד הנתונים של MySQL עם הרשאות SELECT ו-EXECUTE ב-mysql.*.
כברירת מחדל, לכל משתמש עם התפקיד cloudsqlsuperuser יש את ההרשאות האלה, או שהוא יכול ליצור משתמש ולהעניק לו את ההרשאות הנדרשות.
מידע נוסף על התפקיד cloudsqlsuperuser ב-Cloud SQL זמין במאמרים הרשאות משתמש ב-MySQL 8.0 והרשאות משתמש ב-MySQL 8.4.
מושגים מרכזיים
לפני שמתחילים להשתמש בניהול נקודות קצה של מודלים, חשוב להבין את המושגים שנדרשים כדי להתחבר למודלים ולהשתמש בהם.
ספק המודל
ספק המודל הוא ספק האירוח של המודל הנתמך. בטבלה הבאה מפורטים הערכים שצריך להגדיר בהתאם לספק המודל שבו אתם משתמשים:
| ספק המודל | הגדרה בפונקציה בתור… |
|---|---|
| Vertex AI (כולל Gemini) | google |
| Anthropic | anthropic |
| Hugging Face | hugging_face |
| OpenAI | open_ai |
| מודלים אחרים שמתארחים מחוץ ל-Vertex AI, Anthropic, Hugging Face ו-OpenAI |
custom |
ספק המודל שמוגדר כברירת מחדל הוא custom.
סוגי המודלים
סוגי המודלים הם הסוגים של מודל ה-AI. כשרושמים נקודת קצה של מודל, אפשר להגדיר את סוגי המודלים text_embedding או generic לנקודת הקצה.
אם אתם משתמשים ב-Vertex AI כספק המודל, אתם לא צריכים לרשום נקודת קצה של מודל כי נקודות הקצה נתמכות באופן אוטומטי.
כברירת מחדל, ב-Vertex AI משתמשים במודל text-embedding-005.
text_embedding.mysql.ml_predict_row().
אתם יכולים להגדיר מטא-נתונים של נקודת קצה של מודל, כמו נקודת קצה של בקשה וכותרות HTTP שספציפיות למודל שלכם.generic. מכיוון ש-generic הוא סוג המודל שמוגדר כברירת מחדל, אם אתם רושמים נקודות קצה (endpoints) של מודלים מהסוג הזה, הגדרת סוג המודל היא אופציונלית.gemini-2.5-flash.שיטות אימות
אתם יכולים להפעיל תמיכה בהטמעות וקטורים במכונה של Cloud SQL ל-MySQL, ואז לציין שיטות אימות שונות כדי לגשת למודל. הגדרת השיטות האלה היא אופציונלית ונדרשת רק אם אתם צריכים לבצע אימות כדי לגשת למודל שלכם.במודלים של Vertex AI, חשבון השירות של Cloud SQL משמש לאימות. במודלים אחרים, אפשר להשתמש במפתח ה-API או בטוקן למוכ"ז שמאוחסנים כסוד ב-Secret Manager עם הפונקציה mysql.ml_create_sm_secret_registration() ב-SQL.
בטבלה הבאה מוצגות שיטות האימות שאפשר להגדיר:
| שיטת אימות | הגדרה בפונקציה בתור… | ספק המודל |
|---|---|---|
| סוכן שירות של Cloud SQL | auth_type_cloudsql_service_agent_iam |
ספק Vertex AI |
| Secret Manager | auth_type_secret_manager |
מודלים שמתארחים מחוץ ל-Vertex AI |
פונקציות חיזוי
mysql.ml_embedding()- מפעיל נקודת קצה רשומה של מודל הטמעת טקסט כדי ליצור הטמעות. הוא כולל תמיכה מובנית בכל מודלי ההטמעה של Vertex AI.
- במודלים של הטמעת טקסט בלי תמיכה מובנית, הפרמטרים של הקלט והפלט ייחודיים למודל וצריך להמיר אותם כדי שהפונקציה תוכל לקרוא למודל. יוצרים פונקציית טרנספורמציה של קלט כדי להמיר את הקלט של פונקציית החיזוי לקלט הספציפי של המודל, ופונקציית טרנספורמציה של פלט כדי להמיר את הפלט הספציפי של המודל לפלט של פונקציית החיזוי.
mysql.ml_predict_row()
- מפעילה נקודת קצה רשומה של מודל גנרי, אם נקודת הקצה תומכת בממשקי API מבוססי-JSON כדי להפעיל חיזויים.
פונקציות טרנספורמציה
פונקציות טרנספורמציה משנות את הקלט לפורמט שהמודל מבין, וממירות את התשובה של המודל לפורמט שפונקציית החיזוי מצפה לו. פונקציות הטרנספורמציה משמשות לרישום נקודת הקצה של המודל text-embedding ללא תמיכה מובנית. החתימה של פונקציות הטרנספורמציה תלויה בפונקציית החיזוי של סוג המודל.
אי אפשר להשתמש בפונקציות טרנספורמציה כשרושמים נקודת קצה של מודל generic.
כאן מוצגות החתימות של פונקציית החיזוי למודלים של הטמעת טקסט:
// define custom model specific input/output transform functions.
CREATE FUNCTION IF NOT EXISTS input_transform_function(model_id VARCHAR(100), input_text TEXT) RETURNS JSON DETERMINISTIC;
// the returned BLOB should be of type VECTOR
CREATE FUNCTION IF NOT EXISTS output_transform_function(model_id VARCHAR(100), response_json JSON) RETURNS BLOB DETERMINISTIC;
מידע נוסף על יצירת פונקציות טרנספורמציה זמין במאמר דוגמה לפונקציות טרנספורמציה.
פונקציה ליצירת שורות כותרת HTTP
הפונקציה ליצירת שורות כותרת ב-HTTP יוצרת את הפלט בזוגות של מפתח/ערך ב-JSON, שמשמשים ככותרות HTTP. החתימה של פונקציית החיזוי מגדירה את החתימות של הפונקציה ליצירת שורות כותרת.
הדוגמה הבאה מראה את החתימה של פונקציית החיזוי mysql.ml_embedding():
CREATE FUNCTION IF NOT EXISTS generate_headers(model_id VARCHAR(100), input TEXT) RETURNS JSON DETERMINISTIC;
לפונקציית החיזוי mysql.ml_predict_row(), החתימה היא:
CREATE FUNCTION IF NOT EXISTS generate_headers(model_id VARCHAR(100), input JSON) RETURNS JSON DETERMINISTIC;
דוגמה לפונקציה ליצירת שורות כותרת
מגבלות
כשמריצים פונקציות של רישום מודלים או ניהול סודות, כל הטרנזקציות הפתוחות בסשן נשמרות באופן משתמע. פונקציות החיזוי לא מבצעות טרנזקציות באופן משתמע.
אם מייצאים או מייבאים את מסד הנתונים באמצעות
mysqldump, קטלוג נקודות הקצה של המודל לא מיוצא.מסד נתונים של משתמשים שמכיל פונקציות טרנספורמציה לא יכול להכיל נקודה (
'.') בשם שלו. לדוגמה, מסד נתונים בשםmy.sqlלא נתמך.אפשר לנהל נקודות קצה של מודלים רק ב-Cloud SQL ל-MySQL בגרסה 8.0.36 ואילך.