הפעלת חיזויים באמצעות ניהול נקודות קצה של מודלים

בדף הזה מוסבר איך לנהל נקודות קצה של מודלים. הכלי לניהול נקודות קצה של מודלים מאפשר לכם להתנסות ברישום של נקודת קצה של מודל AI ובהפעלת חיזויים. כדי להשתמש במודלים של AI בסביבות ייצור, קראו את המאמרים פיתוח אפליקציות של AI גנרטיבי באמצעות Cloud SQL והפעלת חיזויים אונליין ממכונות של Cloud SQL.

אחרי שמוסיפים ורושמים את נקודות הקצה של המודל בכלי לניהול נקודות קצה של מודלים, אפשר להפנות אליהן באמצעות מזהה המודל כדי להפעיל חיזויים.

לפני שמתחילים

חשוב לוודא שאתם מבצעים את הפעולות הבאות:

• רושמים את נקודת הקצה של המודל באמצעות ניהול נקודות הקצה של המודל. מידע נוסף זמין במאמר רישום וקריאה למודלי AI מרוחקים באמצעות ניהול נקודות קצה של מודלים.
• יוצרים או מעדכנים את המכונה של Cloud SQL כדי שאפשר יהיה לשלב אותה עם Vertex AI. מידע נוסף זמין במאמר הפעלת שילוב של מסד נתונים עם Vertex AI.

הפעלת חיזויים למודלים כלליים

משתמשים בפונקציית ה-SQL‏ google_ml.predict_row() כדי לקרוא לנקודת קצה רשומה של מודל גנרי, וכך להפעיל חיזויים. אפשר להשתמש בפונקציה google_ml.predict_row() עם כל סוג של מודל.

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

מחליפים את מה שכתוב בשדות הבאים:

• ‫MODEL_ID: מזהה המודל שהגדרתם כשביצעתם רישום של נקודת הקצה של המודל
• ‫REQUEST_BODY: הפרמטרים של פונקציית החיזוי, בפורמט JSON

דוגמאות

כדי ליצור חיזויים לנקודת קצה רשומה של מודל gemini-pro, מריצים את ההצהרה הבאה:

    SELECT
        json_array_elements(
        google_ml.predict_row(
            model_id => 'gemini-pro',
            request_body => '{
        "contents": [
            {
                "role": "user",
                "parts": [
                    {
                        "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation."
                    }
                ]
            }
        ]
        }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';