סקירה כללית על AI גנרטיבי

במאמר הזה מתוארות הפונקציות של בינה מלאכותית (AI) גנרטיבית שנתמכות ב-BigQuery. הפונקציות האלה מקבלות קלט בשפה טבעית ומשתמשות במודלים של Gemini Enterprise Agent Platform שעברו אימון מראש ובמודלים מובְנים של BigQuery.

ב-BigQuery יש מגוון פונקציות AI שיכולות לעזור במשימות כמו:

  • ליצור תוכן יצירתי.
  • לנתח, לזהות סנטימנטים ולענות על שאלות לגבי טקסט או נתונים לא מובנים, כמו תמונות.
  • סכם את הרעיונות או הרושם העיקריים שהתוכן מעביר.
  • חילוץ נתונים מובְנים מטקסט.
  • סיווג טקסט או נתונים לא מובְנים לקטגוריות שהמשתמשים מגדירים.
  • ליצור הטמעות כדי לחפש טקסט, תמונות וסרטונים דומים.
  • לדרג קלטים כדי לדרג אותם לפי איכות, דמיון או קריטריונים אחרים.

פונקציות ה-AI מחולקות לקטגוריות הבאות כדי לעזור לכם לבצע את המשימות האלה:

  • פונקציות AI למטרות כלליות: הפונקציות האלה נותנות לכם שליטה מלאה ושקיפות בבחירת המודל, ההנחיה והפרמטרים שבהם תשתמשו.

    • להסיק מסקנות באמצעות LLM, למשל כדי לענות על שאלות לגבי הנתונים שלכם

      • ‫AI.GENERATE היא פונקציית ההסקה הכי גמישה, שמאפשרת לנתח כל נתון מובנה או לא מובנה.
      • ‫AI.GENERATE_TEXT היא גרסה של AI.GENERATE עם ערך טבלה, שתומכת גם במודלים של שותפים ובמודלים פתוחים.
    • ליצור פלט מובנה, כמו חילוץ שמות, כתובות או תיאורי אובייקטים מטקסט, ממסמכים או מתמונות.

      • ‫AI.GENERATE, כשמציינים סכימת פלט.
      • ‫AI.GENERATE_TABLE היא גרסה של AI.GENERATE עם ערך טבלה, שקוראת למודל מרוחק ומאפשרת לציין סכימת פלט מותאמת אישית.
      • אם בסכימת הפלט יש שדה אחד, אתם יכולים להשתמש באחת מהפונקציות הייעודיות: AI.GENERATE_BOOL,‏ AI.GENERATE_DOUBLE או AI.GENERATE_INT.
    • ליצור הטמעות לחיפוש סמנטי ולסידור באשכולות

      • ‫AI.EMBED: יצירת הטמעה מנתוני טקסט או תמונה.
      • ‫AI.GENERATE_EMBEDDING: פונקציה עם ערך טבלה שמוסיפה לטבלה עמודה של נתוני טקסט, תמונה, אודיו, וידאו או מסמך מוטמעים.
  • פונקציות AI מנוהלות: לפונקציות האלה יש תחביר פשוט והן מותאמות לעלות ולאיכות. במצב אופטימיזציה (גרסת טרום-השקה), הפונקציות האלה יכולות לפעול על מיליוני או מיליארדי שורות.

    • ‫AI.IF: סינון הנתונים באמצעות תנאים בשפה טבעית.

    • ‫AI.SCORE: דירוג הקלט, למשל לפי איכות או סנטימנט.

    • ‫AI.CLASSIFY: סיווג קלט לקטגוריות שהמשתמש הגדיר.

    • ‫AI.AGG: קלט מצטבר לסיכום או לניתוח הנתונים.

  • פונקציות בסיסיות: משתמשים בפונקציה AI.COUNT_TOKENS כדי להעריך את מספר האסימונים בהנחיית הקלט לפני שמריצים שאילתה.

  • פונקציות ספציפיות למשימות: הפונקציות האלה משתמשות בממשקי API של AI ב-Cloud כדי לעזור לכם לבצע משימות כמו עיבוד שפה טבעית, תרגום אוטומטי, עיבוד מסמכים, תמלול אודיו וראייה ממוחשבת.

פונקציות AI למטרות כלליות

פונקציות AI לשימוש כללי נותנות לכם שליטה מלאה ושקיפות בבחירת המודל, ההנחיה והפרמטרים שבהם אתם רוצים להשתמש. הפלט שלהם כולל מידע מפורט על הקריאה למודל, כולל הסטטוס והתשובה המלאה של המודל, שעשויה לכלול מידע על דירוג הבטיחות או הציטוטים.

הסקת מסקנות באמצעות LLM

הפונקציה AI.GENERATE היא פונקציית הסקה גמישה ששולחת בקשות למודל Gemini ב-Gemini Enterprise Agent Platform ומחזירה את התשובה של המודל. אתם יכולים להשתמש בפונקציה הזו כדי לנתח נתונים של טקסט, תמונה, אודיו, וידאו או PDF. לדוגמה, אתם יכולים לנתח תמונות של ריהוט לבית כדי ליצור טקסט דינמי מבוסס-AI לעמודה design_type, כך שלמק"ט של הריהוט יהיה תיאור משויך, כמו mid-century modern או farmhouse.

אתם יכולים לבצע משימות AI גנרטיבי באמצעות מודלים מרוחקים ב-BigQuery ML, כדי להפנות למודלים שנפרסו או מתארחים ב-Agent Platform עם הפונקציה AI.GENERATE_TEXT שמחזירה ערך טבלה. אתם יכולים להשתמש בסוגים הבאים של מודלים מרוחקים:

כדי לנסות ליצור טקסט ב-BigQuery ML, אתם יכולים להיעזר בנושאים הבאים:

בחלק מהמודלים אפשר להגדיר כוונון מפוקח, שמאפשר לאמן את המודל על הנתונים שלכם כדי להתאים אותו לתרחיש לדוגמה. כל תהליך ההסקה מתרחש ב-Agent Platform. התוצאות נשמרות ב-BigQuery.

יצירת נתונים מובְנים

יצירת נתונים מובְנים דומה מאוד ליצירת טקסט, אבל אתם יכולים לעצב את התשובה מהמודל על ידי ציון סכימת SQL. לדוגמה, אתם יכולים ליצור טבלה שמכילה את השם, מספר הטלפון, הכתובת, הבקשה והצעת המחיר של הלקוח, על סמך תמליל של שיחת טלפון.

אפשר ליצור נתונים מובְנים בדרכים הבאות:

יצירת הטמעות

הטמעה היא וקטור מספרי רב-ממדי שמייצג ישות נתונה, כמו קטע טקסט או קובץ אודיו. יצירת הטמעות מאפשרת לתעד את הסמנטיקה של הנתונים באופן שקל יותר להבין ולהשוות אותם.

הנה כמה תרחישים נפוצים ליצירת הטמעות:

  • שימוש ב-RAG (יצירה משולבת-אחזור) כדי לשפר את התשובות של המודל לשאילתות של משתמשים על ידי הפניה לנתונים נוספים ממקור מהימן. ‫RAG מספק דיוק עובדתי טוב יותר ועקביות בתשובות, וגם מספק גישה לנתונים חדשים יותר מנתוני האימון של המודל.
  • מתבצע חיפוש מרובה מצבים. לדוגמה, שימוש בקלט טקסט כדי לחפש תמונות.
  • ביצוע חיפוש סמנטי כדי למצוא פריטים דומים להמלצות, להחלפה ולביטול כפילויות של רשומות.
  • יצירת הטמעות לשימוש עם מודל k-means לאשכולות.

במאמר מבוא להטמעות ולחיפוש וקטורי מוסבר איך ליצור הטמעות ולהשתמש בהן כדי לבצע את המשימות האלה.

פונקציות AI מנוהלות

פונקציות AI מנוהלות מפשטות משימות שגרתיות, כמו סינון, סיווג או צבירה. הפונקציות האלה יכולות לנתח נתונים של טקסט, תמונה, אודיו, וידאו או PDF. הפונקציות האלה משתמשות ב-Gemini ולא דורשות התאמה אישית. ‫BigQuery משתמש בהנדסת פרומפטים ויכול לבחור את המודל והפרמטרים המתאימים למשימה הספציפית, כדי לשפר את האיכות והעקביות של התוצאות. כל פונקציה מחזירה ערך סקלרי, כמו BOOL,‏ FLOAT64 או STRING, ולא כוללת מידע נוסף על הסטטוס מהמודל. אלה פונקציות ה-AI המנוהלות שזמינות:

  • ‫AI.IF: סינון טקסט או נתונים מולטי-מודאליים, כמו בסעיף WHERE או JOIN, על סמך הנחיה. לדוגמה, אפשר לסנן תיאורי מוצרים לפי אלה שמתארים פריט שיכול להיות מתנה טובה.
  • ‫AI.SCORE: דירוג קלט על סמך הנחיה כדי לדרג שורות לפי איכות, דמיון או קריטריונים אחרים. אפשר להשתמש בפונקציה הזו בסעיף ORDER BY כדי לחלץ את K הפריטים המובילים לפי הניקוד. לדוגמה, אתם יכולים למצוא את 10 הביקורות החיוביות או השליליות ביותר של משתמשים על מוצר מסוים.
  • ‫AI.CLASSIFY: סיווג טקסט לקטגוריות שהמשתמשים מגדירים. אפשר להשתמש בפונקציה הזו בסעיף GROUP BY כדי לקבץ קלטים לפי הקטגוריות שאתם מגדירים. לדוגמה, אתם יכולים לסווג כרטיסי תמיכה לפי הנושא שלהם: חיוב, משלוח, איכות המוצר או נושא אחר.
  • ‫AI.AGG: צבירת קלט על סמך הוראות בשפה טבעית כדי לסכם או לנתח את הנתונים. לדוגמה, אתם יכולים לסרוק יומנים של סשנים של משתמשים באפליקציה כדי לזהות איפה הלקוחות נתקלים בקשיים, או לסכם את התוכן של קבוצה גדולה של תמונות.

במדריך ביצוע ניתוח סמנטי באמצעות פונקציות AI מנוהלות מופיעות דוגמאות לשימוש בפונקציות האלה.

במדריך ניתוח סמנטי באמצעות פונקציות AI מוסבר איך משתמשים בפונקציות AI מנוהלות ולמטרות כלליות.

פונקציות ספציפיות למשימות

בנוסף לפונקציות הכלליות יותר שמתוארות בקטעים הקודמים, אתם יכולים לפתח פתרונות ספציפיים למשימות ב-BigQuery ML באמצעות ממשקי AI ב-Cloud API. המשימות הנתמכות כוללות:

מידע נוסף זמין במאמר סקירה כללית של פתרונות ספציפיים למשימות.

מיקומים

המיקומים שנתמכים במודלים ליצירת טקסט ולהטמעת נתונים משתנים בהתאם לסוג ולגרסה של המודל שבו משתמשים. מידע נוסף זמין במאמר מיקומים.

ב-BigQuery יש תמיכה במודלים הבאים:

  • gemini-4-hydrogen
  • gemini-4-carbon
  • gemini-4-argon
  • gemini-3.8-flash
  • gemini-3.7-flash
  • gemini-3.6-flash
  • gemini-3.5-flash-lite
  • gemini-3.5-flash
  • gemini-3.1-flash-lite
פלטפורמת Agent תומכת רק בנקודות קצה בכמה אזורים בשביל המודלים האלה. אין תמיכה בנקודות קצה אזוריות. אם מציינים שם קצר של נקודת קצה (endpoint) שמשמיט את האזור, כמו gemini-3.5-flash, אז BigQuery בוחר נקודת קצה לפי הכללים הבאים:
  • אם השאילתה מופעלת באזור us או בכל אזור אחר בארה"ב, BigQuery משתמש בנקודת הקצה us.
  • אם השאילתה מופעלת באזור eu, או בכל אזור אחר באיחוד האירופי חוץ מ-europe-west2 או europe-west6, אז BigQuery משתמש בנקודת הקצה eu.
  • בכל שאר המיקומים, כולל europe-west2 ו-europe-west6, BigQuery משתמש בנקודת הקצה global.
כדי לציין נקודת קצה ספציפית, צריך להשתמש בשם מלא של נקודת קצה בכמה אזורים באחד מהפורמטים הבאים:
  • https://aiplatform.us.rep.googleapis.com/v1/projects/PROJECT_ID/locations/us/publishers/google/models/MODEL_ID
  • https://aiplatform.eu.rep.googleapis.com/v1/projects/PROJECT_ID/locations/eu/publishers/google/models/MODEL_ID
  • https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/MODEL_ID
אם השאילתה פועלת באזור asia-south1, צריך להשתמש בשם המלא של נקודת הקצה הגלובלית.

מגבלות

בתוך היקף של VPC Service Controls, פונקציות AI לא יכולות לעבד ערכי ObjectRef שמשתמשים בגישה שהוקצתה. גישה מואצלת יוצרת כתובת URL חתומה מסוג HTTPS לאובייקט, ו-Agent Platform חוסמת אחזורים מסוג HTTP ו-HTTPS לפרויקטים בתוך היקף ההרשאות. הפונקציה כותבת את השגיאה הבאה בשדה status של הפלט שלה:

INVALID_ARGUMENT: HTTP links are not supported for requests restricted by VPCSC.

מכיוון שהעמודה ref של טבלת אובייקטים תמיד משתמשת בחיבור של טבלת האובייקטים כגורם המאשר, העברת ref לפונקציית AI בתוך היקף תמיד מחזירה את השגיאה הזו. כדי לנתח את האובייקט, צריך להעביר ערך OBJ.MAKE_REF(uri) עם ארגומנט יחיד, שמשתמש בגישה ישירה ושולח את ה-URI של Cloud Storage למודל בלי ליצור כתובת URL חתומה.

תמחור

אתם מחויבים על משאבי המחשוב שבהם אתם משתמשים כדי להריץ שאילתות במודלים. מודלים מרוחקים שולחים קריאות למודלים של Agent Platform, ולכן שאילתות למודלים מרוחקים כרוכות גם בחיובים מ-Agent Platform.

למידע נוסף, קראו את המאמר תמחור ב-BigQuery ML.

מעקב אחרי השימוש בטוקנים

כשמפעילים פונקציית AI גנרטיבי שמשתמשת במודל Gemini שהוא לא מודל הטמעה, אפשר לראות את המספר הכולל של כל סוג טוקן שעובד בשאילתה. בחלונית Query results, לוחצים על Job information. המספרים הבאים מופיעים, בחלוקה לפי אופן הטיפול, אם רלוונטי:

  • ‫Input token count: המספר הכולל של טוקנים של קלט לכל הפונקציות של ה-AI הגנרטיבי שנקראו בשאילתה.
  • מספר הטוקנים בפלט. המספר הכולל של האסימונים בכל התשובות האפשריות שנוצרו על ידי השאילתה.
  • כמות הטוקנים של החשיבה. המספר הכולל של הטוקנים שהיו חלק מהמחשבות שהמודל יצר, אם רלוונטי.
  • כמות הטוקנים במטמון. המספר הכולל של טוקנים של קלט שנשמרו במטמון באופן משתמע על ידי השאילתה.

מעקב אחרי העלויות

פונקציות ה-AI הגנרטיבי ב-BigQuery פועלות על ידי שליחת בקשות אל Gemini Enterprise Agent Platform, וזה יכול להיות כרוך בעלויות. כדי להעריך את מספר אסימוני הקלט לפני שמריצים שאילתה, משתמשים בפונקציה AI.COUNT_TOKENS. כדי לעקוב אחרי העלויות של Agent Platform שנוצרו בעקבות משימה שהרצתם ב-BigQuery, בצעו את הפעולות הבאות:

  1. צפייה בדוחות החיוב בחיוב ב-Cloud.
  2. להשתמש במסננים כדי לצמצם את התוצאות.

    בקטע Services, בוחרים באפשרות Vertex AI.

  3. כדי לראות את החיובים של משימה ספציפית, מסננים לפי תווית.

    מגדירים את המפתח בתור bigquery_job_id_prefix ואת הערך בתור מזהה המשימה. אם מזהה המשימה ארוך מ-63 תווים, משתמשים רק ב-63 התווים הראשונים. אם מזהה המשימה מכיל אותיות רישיות, צריך לשנות אותן לאותיות קטנות. לחלופין, אתם יכולים לשייך משימות לתווית בהתאמה אישית כדי שתוכלו לחפש אותן בקלות בהמשך.

יכול להיות שיעברו עד 24 שעות עד שחלק מהחיובים יופיעו בחיוב ב-Cloud.

מעקב

כדי להבין טוב יותר את ההתנהגות של פונקציות ה-AI שאתם מפעילים ב-BigQuery, אתם יכולים להפעיל רישום ביומן של בקשות ותגובות. כדי לתעד את כל הבקשות והתגובות שנשלחות אל Agent Platform ומתקבלות ממנה, פועלים לפי השלבים הבאים:

  1. מפעילים את יומני הבקשות והתשובות ב-Gemini Enterprise Agent Platform. היומנים מאוחסנים ב-BigQuery. צריך להפעיל את הרישום ביומן בנפרד לכל מודל בסיס ואזור. כדי לתעד שאילתות שפועלות באזור us, צריך לציין את האזור us-central1 בבקשה. כדי לתעד שאילתות שפועלות באזור eu, צריך לציין את האזור europe-west4 בבקשה.

  2. מריצים שאילתה באמצעות פונקציית AI ששולחת קריאה ל-Agent Platform באמצעות המודל שהפעלתם בשבילו את הרישום ביומן בשלב הקודם.

  3. כדי לראות את הבקשה והתגובה המלאות של Agent Platform, שולחים שאילתה לטבלת הרישום ביומן כדי למצוא שורות שבהן השדה labels.bigquery_job_id_prefix בעמודה full_request תואם ל-63 התווים הראשונים של מזהה המשימה. אם רוצים, אפשר להשתמש בתווית שאילתה בהתאמה אישית כדי לחפש את השאילתה ביומנים.

    לדוגמה, אפשר להשתמש בשאילתה דומה לזו:

    SELECT *
    FROM `my_project.my_dataset.request_response_logging`
    WHERE JSON_VALUE(full_request, '$.labels.bigquery_job_id_prefix') = 'bquxjob_123456...';
    

ניהול שגיאות

שגיאות ברמת השורה, כמו RESOURCE_EXHAUSTED, יכולות להתרחש אם פונקציית AI חורגת מהמכסה או מהמגבלות של השירות המרוחק. אם מתרחשת שגיאה ברמת השורה, הפונקציה מחזירה את הערך NULL בשורה הזו, מה שעלול לגרום לתוצאות שאילתה חלקיות.

השגיאות האלה יכולות להופיע בכל פונקציות ה-AI. עם זאת, פונקציות ה-AI המנוהלות (AI.IF,‏ AI.CLASSIFY ו-AI.SCORE) תומכות בארגומנט max_error_ratio כדי לעזור לכם לנהל אותן. אפשר להשתמש בארגומנט הזה כדי להגדיר סף כשלים שמאפשר לשאילתה להצליח למרות כשלים ברמת השורה.

ערך ברירת המחדל של max_error_ratio הוא 1.0. כדי להקטין את סבילות השגיאות, מגדירים ערך קטן יותר (לדוגמה, 0.2) כך שהשאילתה תיכשל במקום להצליח עם כשלים חלקיים. לפרטים על התחביר, עיינו במאמרי העזרה של AI.IF,‏ AI.CLASSIFY או AI.SCORE.

אם השאילתה מצליחה עם כשלים חלקיים, BigQuery מחזיר אזהרה. כדי לקבל מידע נוסף על השגיאות בפונקציות, אפשר לעיין בשדה Gen AI function errors בכרטיסייה Job information של תוצאות השאילתה במסוף Cloud de Confiance .

אם השאילתה כוללת משפט LIMIT, המגבלה חלה אחרי שהמודל מעבד קבוצת שורות. לכן, יכול להיות שהשיעור של ערכי NULL בקבוצת התוצאות הסופית יהיה גבוה יותר מהערך שצוין ב-max_error_ratio.

לדוגמה, נניח שבשאילתה יש סעיף LIMIT 10 ו-max_error_ratio של 0.2. יכול להיות שהמודל יעבד 20 שורות לפני שהמגבלה תופעל. אם 3 מתוך 20 השורות האלה נכשלות, יחס השגיאות הוא 0.15 (15%), וזה בטווח של הסף של 20%. עם זאת, אם קבוצת המשנה של השורות שנבחרו על ידי משפט ה-LIMIT כוללת את כל 3 השורות שנכשלו, הפלט הגלוי יכיל 30% ערכי NULL.

המאמרים הבאים