רישום של מודלים של AI מרוחקים והפעלתם באמצעות ניהול נקודות קצה של מודלים

בדף הזה מוסבר איך להפעיל חיזויים או ליצור הטמעות באמצעות מודל, ואז לרשום את נקודת הקצה של המודל באמצעות ניהול נקודות הקצה של המודלים.

מידע נוסף על הפונקציה mysql.ml_create_model_registration() זמין במאמר הסבר על ניהול נקודות קצה של מודלים.

לפני שמתחילים

• מגדירים אימות בהתאם לספק המודל.

• מתחברים למכונה הראשית באמצעות לקוח mysql או Cloud SQL Studio.

• חשוב לוודא שאתם מתחברים למסד הנתונים כמשתמש במסד נתונים של MySQL, עם הרשאות למסד הנתונים כמו שמתואר בקטע הרשאות נדרשות למשתמשים במסד הנתונים.

מגדירים אימות

בקטעים הבאים מוסבר איך להגדיר אימות לפני שמוסיפים נקודת קצה של מודל AI של Vertex AI או נקודות קצה של מודלי AI שמתארחים ב- Cloud de Confiance by S3NS.

הגדרת אימות ל-Vertex AI

כדי להשתמש בנקודות הקצה של מודל ה-AI של Google Vertex, צריך להוסיף הרשאות של Vertex AI לחשבון השירות של Cloud SQL שמבוסס על IAM, שבו אתם משתמשים כדי להתחבר למסד הנתונים. מידע נוסף על שילוב עם Vertex AI זמין במאמר שילוב של Cloud SQL עם Vertex AI.

הגדרת אימות למודלים באירוח מותאם אישית

בקטע הזה מוסבר איך להגדיר אימות אם אתם משתמשים ב-Secret Manager. בכל המודלים, חוץ מנקודות הקצה של מודלים ב-Vertex AI, אתם יכולים לאחסן את מפתחות ה-API או הטוקנים למוכ"ז ב-Secret Manager.

אם נקודת הקצה של המודל לא מטפלת באימות דרך Secret Manager, אפשר לדלג על הקטע הזה. לדוגמה, אם נקודת הקצה של המודל משתמשת בכותרות HTTP כדי להעביר פרטי אימות, או לא משתמשת באימות בכלל, אל תבצעו את השלבים בקטע הזה.

כדי ליצור מפתח API או טוקן למוכ"ז ולהשתמש בהם:

1. יוצרים סוד ב-Secret Manager. למידע נוסף, קראו את המאמר יצירת סוד וגישה לגרסת סוד.

   השם והנתיב של הסוד משמשים בפונקציית ה-SQL‏ mysql.ml_create_sm_secret_registration().

2. נותנים למכונה של Cloud SQL הרשאות גישה לסוד.

     gcloud secrets add-iam-policy-binding SECRET_ID \
         --member="serviceAccount:SERVICE_ACCOUNT_EMAIL" \
         --role="roles/secretmanager.secretAccessor"
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫SECRET_ID: מזהה הסוד ב-Secret Manager.
   • ‫SERVICE_ACCOUNT_EMAIL: כתובת האימייל של חשבון השירות ב-Cloud SQL שמבוסס על IAM. כדי למצוא את כתובת האימייל הזו, משתמשים בפקודה gcloud sql instances describe INSTANCE_NAME ומחליפים את INSTANCE_NAME בשם המכונה. הערך שמופיע לצד הפרמטר serviceAccountEmailAddress הוא כתובת האימייל.

מודלים של הטמעת טקסט עם תמיכה מובנית

בקטע הזה מוסבר איך לרשום נקודות קצה של מודלים לניהול נקודות קצה של מודלים.

מודלים להטמעה של Vertex AI

הכלי לניהול נקודות קצה של מודלים מספק תמיכה מובנית בכל הגרסאות של המודלים text-embedding-gecko,‏ text-embedding ו-gemini-embedding של Vertex AI. משתמשים בשם המלא כדי להגדיר את גרסת המודל ל-textembedding-gecko@001 או ל-textembedding-gecko@002.

מזהי נקודות הקצה של מודל ההטמעה של Vertex AI נתמכים כברירת מחדל בניהול נקודות הקצה של המודלים, לכן אתם יכולים להשתמש בכל אחד מהם ישירות כמזהה המודל. במודלים האלה, פונקציית ההטמעה מבצעת באופן אוטומטי טרנספורמציה של הקלט והפלט.

חשוב לוודא שהמכונה של Cloud SQL והמודל של Vertex AI שאתם שולחים אליו שאילתות נמצאים באותו אזור.

כדי לרשום את נקודת הקצה של המודל gemini-embedding-001, מפעילים את הפונקציה ml_create_model_registration:

  CALL
    mysql.ml_create_model_registration(
      'gemini-embedding-001',
      'publishers/google/models/gemini-embedding-001',
      'google','text_embedding', 'gemini-embedding-001',
      'AUTH_TYPE_CLOUDSQL_SERVICE_AGENT_IAM',
       NULL,
      'mysql.cloudsql_ml_text_embedding_input_transform',
      'mysql.cloudsql_ml_text_embedding_output_transform', NULL);

מודלים להטמעת טקסט שמתארחים בצד הלקוח

בקטע הזה מוסבר איך לרשום נקודות קצה (endpoints) של מודלים בהתאמה אישית שמתארחים ברשתות ב- Cloud de Confiance by S3NS.

כדי להוסיף נקודות קצה של מודלים להטמעת טקסט באירוח מותאם אישית, צריך ליצור פונקציות טרנספורמציה, ואם רוצים, גם כותרות HTTP מותאמות אישית. לעומת זאת, הוספת נקודות קצה (endpoints) של מודלים גנריים באירוח בצד הלקוח כוללת יצירה אופציונלית של כותרות HTTP בהתאמה אישית והגדרה של כתובת ה-URL לבקשת המודל.

בדוגמה הבאה מוסיפים את נקודת הקצה של מודל הטמעת הטקסט custom-embedding-model שמתארח ב-Cymbal, שמתארח ב- Cloud de Confiance by S3NS. פונקציות הטרנספורמציה cymbal_text_input_transform ו-cymbal_text_output_transform משמשות להמרת פורמט הקלט והפלט של המודל לפורמט הקלט והפלט של פונקציית החיזוי.

כדי לרשום נקודות קצה של מודלים להטמעת טקסט באירוח בצד הלקוח, השלם את השלבים הבאים:

1. קוראים לסוד ששמור ב-Secret Manager:

   CALL
     mysql.ml_create_sm_secret_registration(
       'SECRET_ID',
       'projects/project-id/secrets/SECRET_MANAGER_SECRET_ID/versions/VERSION_NUMBER');
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫SECRET_ID: מזהה הסוד שהגדרתם, שמשמש לאחר מכן לרישום נקודת קצה של מודל. לדוגמה, key1.
   • ‫SECRET_MANAGER_SECRET_ID: מזהה הסוד שהוגדר ב-Secret Manager כשיצרתם את הסוד.
   • ‫PROJECT_ID: מזהה הפרויקט ב- Cloud de Confiance by S3NS .
   • ‫VERSION_NUMBER: מספר הגרסה של מזהה הסוד.

2. יוצרים את פונקציות הטרנספורמציה של הקלט והפלט על סמך החתימה הבאה של פונקציית החיזוי לנקודות קצה של מודל הטמעת טקסט. מידע נוסף על יצירת פונקציות טרנספורמציה זמין במאמר דוגמה לפונקציות טרנספורמציה.

   הנה דוגמאות לפונקציות טרנספורמציה שספציפיות לנקודת הקצה של מודל הטמעת הטקסט custom-embedding-model:

   -- Input Transform Function corresponding to the custom model endpoint
   DELIMITER $$
   CREATE FUNCTION IF NOT EXISTS cymbal_text_input_transform(model_id VARCHAR(100), input_text TEXT)
   RETURNS JSON
   DETERMINISTIC
   
   BEGIN
     RETURN JSON_OBJECT('prompt', JSON_ARRAY(input_text));
   END $$
   
   -- Output Transform Function corresponding to the custom model endpoint
   CREATE FUNCTION IF NOT EXISTS cymbal_text_output_transform(model_id VARCHAR(100), response_json JSON)
   RETURNS BLOB
   DETERMINISTIC
   
   BEGIN
     RETURN STRING_TO_VECTOR(
            JSON_EXTRACT(JSON_UNQUOTE(
                 content,
                 '$.predictions[0].embeddings.values'
               ))
        );
   
   END $$
   DELIMITER ;
   

3. קוראים לפונקציה create model כדי לרשום את נקודת הקצה של מודל ההטמעה בהתאמה אישית:

   CALL
      mysql.ml_create_model_registration(
        'MODEL_ID',
        'REQUEST_URL',
        'custom',
        'text_embedding',
        'MODEL_QUALIFIED_NAME',
        'auth_type_secret_manager',
        'SECRET_ID'
        'database_name.cymbal_text_input_transform',
        'database_name.cymbal_text_output_transform', NULL);

מחליפים את מה שכתוב בשדות הבאים:

• ‫MODEL_ID: חובה. מזהה ייחודי לנקודת הקצה של המודל שאתם מגדירים (לדוגמה, custom-embedding-model). מזהה המודל הזה משמש כהפניה למטא-נתונים שנקודת הקצה של המודל צריכה כדי ליצור הטמעות או להפעיל חיזויים.
• ‫REQUEST_URL: חובה. נקודת הקצה הספציפית למודל כשמוסיפים הטמעת טקסט בהתאמה אישית ונקודות קצה של מודל גנרי – לדוגמה, https://cymbal.com/models/text/embeddings/v1. מוודאים שאפשר לגשת לנקודת הקצה של המודל דרך כתובת IP פנימית. בניהול נקודות קצה של מודלים אין תמיכה בכתובות IP חיצוניות.
• ‫MODEL_QUALIFIED_NAME: נדרש אם נקודת הקצה של המודל משתמשת בשם מלא. השם המלא, אם לנקודת הקצה של המודל יש כמה גרסאות.
• ‫SECRET_ID: מזהה הסוד שבו השתמשתם קודם בתהליך mysql.ml_create_sm_secret_registration().

מודלים גנריים

‫Cloud SQL תומך רק בנקודות קצה של מודלים שזמינות דרך Vertex AI Model Garden, ובנקודות קצה של מודלים שמתארחות ברשתות ב- Cloud de Confiance by S3NS.

מודל Gemini

בדוגמה הבאה נעשה שימוש בנקודת הקצה של המודל gemini-2.5-flash מ-Vertex AI Model Garden.

כדי לרשום את נקודת הקצה של המודל gemini-2.5-flash, מפעילים את הפונקציה mysql.ml_create_model_registration:

    CALL
      mysql.ml_create_model_registration(
        'MODEL_ID',
        'https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/gemini-2.5-flash:streamGenerateContent',
        'google',
        'auth_type_cloudsql_service_agent_iam',
        NULL, NULL, NULL, NULL);

מחליפים את מה שכתוב בשדות הבאים:

• ‫MODEL_ID: מזהה ייחודי לנקודת הקצה של המודל שאתם מגדירים (לדוגמה,
  gemini-1). מזהה המודל הזה משמש כהפניה למטא-נתונים שנקודת הקצה של המודל צריכה כדי ליצור הטמעות או להפעיל חיזויים.
• ‫PROJECT_ID: מזהה הפרויקט ב- Cloud de Confiance by S3NS .

מידע נוסף זמין במאמר הפעלת חיזויים לנקודות קצה של מודלים גנריים.

המאמרים הבאים

• מידע נוסף על ניהול נקודות קצה של מודלים