סקירה כללית על AI גנרטיבי
במאמר הזה מתוארות הפונקציות של בינה מלאכותית (AI) גנרטיבית שנתמכות ב-BigQuery. הפונקציות האלה מקבלות קלט בשפה טבעית ומשתמשות במודלים של Gemini Enterprise Agent Platform שעברו אימון מראש ובמודלים מובְנים של BigQuery.
ב-BigQuery יש מגוון פונקציות AI שיכולות לעזור במשימות כמו:
- ליצור תוכן יצירתי.
- לנתח, לזהות סנטימנטים ולענות על שאלות לגבי טקסט או נתונים לא מובנים, כמו תמונות.
- סכם את הרעיונות או הרושם העיקריים שהתוכן מעביר.
- חילוץ נתונים מובְנים מטקסט.
- סיווג טקסט או נתונים לא מובְנים לקטגוריות שהמשתמשים מגדירים.
- ליצור הטמעות כדי לחפש טקסט, תמונות וסרטונים דומים.
- לדרג קלטים כדי לדרג אותם לפי איכות, דמיון או קריטריונים אחרים.
פונקציות ה-AI מחולקות לקטגוריות הבאות כדי לעזור לכם לבצע את המשימות האלה:
פונקציות AI למטרות כלליות: הפונקציות האלה נותנות לכם שליטה מלאה ושקיפות בבחירת המודל, ההנחיה והפרמטרים שבהם תשתמשו.
להסיק מסקנות באמצעות LLM, למשל כדי לענות על שאלות לגבי הנתונים שלכם
-
AI.GENERATEהיא פונקציית ההסקה הכי גמישה, שמאפשרת לנתח כל נתון מובנה או לא מובנה. -
AI.GENERATE_TEXTהיא גרסה שלAI.GENERATEעם ערך טבלה, שתומכת גם במודלים של שותפים ובמודלים פתוחים.
-
ליצור פלט מובנה, כמו חילוץ שמות, כתובות או תיאורי אובייקטים מטקסט, ממסמכים או מתמונות.
-
AI.GENERATE, כשמציינים סכימת פלט. -
AI.GENERATE_TABLEהיא גרסה שלAI.GENERATEעם ערך טבלה, שקוראת למודל מרוחק ומאפשרת לציין סכימת פלט מותאמת אישית. - אם בסכימת הפלט יש שדה אחד, אתם יכולים להשתמש באחת מהפונקציות הייעודיות:
AI.GENERATE_BOOL,AI.GENERATE_DOUBLEאוAI.GENERATE_INT.
-
ליצור הטמעות לחיפוש סמנטי ולסידור באשכולות
-
AI.EMBED: יצירת הטמעה מנתוני טקסט או תמונה. -
AI.GENERATE_EMBEDDING: פונקציה עם ערך טבלה שמוסיפה לטבלה עמודה של נתוני טקסט, תמונה, אודיו, וידאו או מסמך מוטמעים.
-
פונקציות AI מנוהלות: לפונקציות האלה יש תחביר פשוט והן מותאמות לעלות ולאיכות. במצב אופטימיזציה (גרסת טרום-השקה), הפונקציות האלה יכולות לפעול על מיליוני או מיליארדי שורות.
AI.IF: סינון הנתונים באמצעות תנאים בשפה טבעית.
AI.SCORE: דירוג הקלט, למשל לפי איכות או סנטימנט.
AI.CLASSIFY: סיווג קלט לקטגוריות שהמשתמש הגדיר.
AI.AGG: קלט מצטבר לסיכום או לניתוח הנתונים.
פונקציות בסיסיות: משתמשים בפונקציה
AI.COUNT_TOKENSכדי להעריך את מספר האסימונים בהנחיית הקלט לפני שמריצים שאילתה.פונקציות ספציפיות למשימות: הפונקציות האלה משתמשות בממשקי API של AI ב-Cloud כדי לעזור לכם לבצע משימות כמו עיבוד שפה טבעית, תרגום אוטומטי, עיבוד מסמכים, תמלול אודיו וראייה ממוחשבת.
פונקציות AI למטרות כלליות
פונקציות AI לשימוש כללי נותנות לכם שליטה מלאה ושקיפות בבחירת המודל, ההנחיה והפרמטרים שבהם אתם רוצים להשתמש. הפלט שלהם כולל מידע מפורט על הקריאה למודל, כולל הסטטוס והתשובה המלאה של המודל, שעשויה לכלול מידע על דירוג הבטיחות או הציטוטים.
הסקת מסקנות באמצעות LLM
הפונקציה AI.GENERATE היא פונקציית הסקה גמישה ששולחת בקשות למודל Gemini ב-Gemini Enterprise Agent Platform ומחזירה את התשובה של המודל. אתם יכולים להשתמש בפונקציה הזו כדי לנתח נתונים של טקסט, תמונה, אודיו, וידאו או PDF. לדוגמה, אתם יכולים לנתח תמונות של ריהוט לבית כדי ליצור טקסט דינמי מבוסס-AI לעמודה design_type, כך שלמק"ט של הריהוט יהיה תיאור משויך, כמו mid-century modern או farmhouse.
אתם יכולים לבצע משימות AI גנרטיבי באמצעות מודלים מרוחקים ב-BigQuery ML, כדי להפנות למודלים שנפרסו או מתארחים ב-Agent Platform עם הפונקציה AI.GENERATE_TEXT שמחזירה ערך טבלה.
אתם יכולים להשתמש בסוגים הבאים של מודלים מרוחקים:
מודלים מרוחקים בכל אחד ממודלי Gemini הזמינים לכלל המשתמשים או בגרסת טרום-השקה (Preview), כדי לנתח טקסט, תמונות, אודיו, וידאו או תוכן PDF מטבלאות רגילות או מטבלאות אובייקטים, באמצעות הנחיה שאתם מספקים כארגומנט של פונקציה.
מודלים מרוחקים של מודלים של שותפים ב-Anthropic Claude, ב-Mistral AI או ב-Llama, או מודלים פתוחים נתמכים, כדי לנתח הנחיה שאתם מספקים בשאילתה או מעמודה בטבלה רגילה.
כדי לנסות ליצור טקסט ב-BigQuery ML, אתם יכולים להיעזר בנושאים הבאים:
- ליצור טקסט באמצעות מודל Gemini והפונקציה
AI.GENERATE_TEXT. - יצירת טקסט דינמי מבוסס-AI באמצעות מודל Gemma והפונקציה
AI.GENERATE_TEXT. - ניתוח תמונות באמצעות מודל Gemini.
- יצירת טקסט באמצעות הפונקציה
AI.GENERATE_TEXTעם הנתונים שלכם. - כוונון מודל באמצעות הנתונים שלכם.
בחלק מהמודלים אפשר להגדיר כוונון מפוקח, שמאפשר לאמן את המודל על הנתונים שלכם כדי להתאים אותו לתרחיש לדוגמה. כל תהליך ההסקה מתרחש ב-Agent Platform. התוצאות נשמרות ב-BigQuery.
יצירת נתונים מובְנים
יצירת נתונים מובְנים דומה מאוד ליצירת טקסט, אבל אתם יכולים לעצב את התשובה מהמודל על ידי ציון סכימת SQL. לדוגמה, אתם יכולים ליצור טבלה שמכילה את השם, מספר הטלפון, הכתובת, הבקשה והצעת המחיר של הלקוח, על סמך תמליל של שיחת טלפון.
אפשר ליצור נתונים מובְנים בדרכים הבאות:
הפונקציה
AI.GENERATEקוראת לנקודת קצה (endpoint) של Agent Platform ויכולה ליצור ערךSTRUCTעם הסכימה בהתאמה אישית.כדי לנסות את זה, אתם יכולים לקרוא איך להשתמש בפלט מובנה כשאתם מפעילים את הפונקציה
AI.GENERATE.הפונקציה
AI.GENERATE_TABLEקוראת למודל מרוחק, והיא פונקציה עם ערך טבלה שיוצרת טבלה עם הסכימה המותאמת אישית שלכם.כדי לנסות ליצור נתונים מובְנים, עיינו במאמר יצירת נתונים מובְנים באמצעות הפונקציה
AI.GENERATE_TABLE.בשדה פלט יחיד, אפשר להשתמש באחת מפונקציות ההסקה הייעודיות הבאות:
יצירת הטמעות
הטמעה היא וקטור מספרי רב-ממדי שמייצג ישות נתונה, כמו קטע טקסט או קובץ אודיו. יצירת הטמעות מאפשרת לתעד את הסמנטיקה של הנתונים באופן שקל יותר להבין ולהשוות אותם.
הנה כמה תרחישים נפוצים ליצירת הטמעות:
- שימוש ב-RAG (יצירה משולבת-אחזור) כדי לשפר את התשובות של המודל לשאילתות של משתמשים על ידי הפניה לנתונים נוספים ממקור מהימן. RAG מספק דיוק עובדתי טוב יותר ועקביות בתשובות, וגם מספק גישה לנתונים חדשים יותר מנתוני האימון של המודל.
- מתבצע חיפוש מרובה מצבים. לדוגמה, שימוש בקלט טקסט כדי לחפש תמונות.
- ביצוע חיפוש סמנטי כדי למצוא פריטים דומים להמלצות, להחלפה ולביטול כפילויות של רשומות.
- יצירת הטמעות לשימוש עם מודל k-means לאשכולות.
במאמר מבוא להטמעות ולחיפוש וקטורי מוסבר איך ליצור הטמעות ולהשתמש בהן כדי לבצע את המשימות האלה.
פונקציות AI מנוהלות
פונקציות AI מנוהלות מפשטות משימות שגרתיות, כמו סינון, סיווג או צבירה. הפונקציות האלה יכולות לנתח נתונים של טקסט, תמונה, אודיו, וידאו או PDF. הפונקציות האלה משתמשות ב-Gemini ולא דורשות התאמה אישית. BigQuery משתמש בהנדסת פרומפטים ויכול לבחור את המודל והפרמטרים המתאימים למשימה הספציפית, כדי לשפר את האיכות והעקביות של התוצאות. כל פונקציה מחזירה ערך סקלרי, כמו BOOL, FLOAT64 או STRING, ולא כוללת מידע נוסף על הסטטוס מהמודל. אלה פונקציות ה-AI המנוהלות שזמינות:
-
AI.IF: סינון טקסט או נתונים מולטי-מודאליים, כמו בסעיףWHEREאוJOIN, על סמך הנחיה. לדוגמה, אפשר לסנן תיאורי מוצרים לפי אלה שמתארים פריט שיכול להיות מתנה טובה. -
AI.SCORE: דירוג קלט על סמך הנחיה כדי לדרג שורות לפי איכות, דמיון או קריטריונים אחרים. אפשר להשתמש בפונקציה הזו בסעיףORDER BYכדי לחלץ את K הפריטים המובילים לפי הניקוד. לדוגמה, אתם יכולים למצוא את 10 הביקורות החיוביות או השליליות ביותר של משתמשים על מוצר מסוים. -
AI.CLASSIFY: סיווג טקסט לקטגוריות שהמשתמשים מגדירים. אפשר להשתמש בפונקציה הזו בסעיףGROUP BYכדי לקבץ קלטים לפי הקטגוריות שאתם מגדירים. לדוגמה, אתם יכולים לסווג כרטיסי תמיכה לפי הנושא שלהם: חיוב, משלוח, איכות המוצר או נושא אחר. -
AI.AGG: צבירת קלט על סמך הוראות בשפה טבעית כדי לסכם או לנתח את הנתונים. לדוגמה, אתם יכולים לסרוק יומנים של סשנים של משתמשים באפליקציה כדי לזהות איפה הלקוחות נתקלים בקשיים, או לסכם את התוכן של קבוצה גדולה של תמונות.
במדריך ביצוע ניתוח סמנטי באמצעות פונקציות AI מנוהלות מופיעות דוגמאות לשימוש בפונקציות האלה.
במדריך ניתוח סמנטי באמצעות פונקציות AI מוסבר איך משתמשים בפונקציות AI מנוהלות ולמטרות כלליות.
פונקציות ספציפיות למשימות
בנוסף לפונקציות הכלליות יותר שמתוארות בקטעים הקודמים, אתם יכולים לפתח פתרונות ספציפיים למשימות ב-BigQuery ML באמצעות ממשקי AI ב-Cloud API. המשימות הנתמכות כוללות:
מידע נוסף זמין במאמר סקירה כללית של פתרונות ספציפיים למשימות.
מיקומים
המיקומים שנתמכים במודלים ליצירת טקסט ולהטמעת נתונים משתנים בהתאם לסוג ולגרסה של המודל שבו משתמשים. מידע נוסף זמין במאמר מיקומים.
ב-BigQuery יש תמיכה במודלים הבאים:
gemini-4-hydrogengemini-4-carbongemini-4-argongemini-3.8-flashgemini-3.7-flashgemini-3.6-flashgemini-3.5-flash-litegemini-3.5-flashgemini-3.1-flash-lite
gemini-3.5-flash, אז BigQuery בוחר נקודת קצה לפי הכללים הבאים:
- אם השאילתה מופעלת באזור
usאו בכל אזור אחר בארה"ב, BigQuery משתמש בנקודת הקצהus. - אם השאילתה מופעלת באזור
eu, או בכל אזור אחר באיחוד האירופי חוץ מ-europe-west2אוeurope-west6, אז BigQuery משתמש בנקודת הקצהeu. - בכל שאר המיקומים, כולל
europe-west2ו-europe-west6, BigQuery משתמש בנקודת הקצהglobal.
https://aiplatform.us.rep.googleapis.com/v1/projects/PROJECT_ID/locations/us/publishers/google/models/MODEL_IDhttps://aiplatform.eu.rep.googleapis.com/v1/projects/PROJECT_ID/locations/eu/publishers/google/models/MODEL_IDhttps://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/MODEL_ID
asia-south1, צריך להשתמש בשם המלא של נקודת הקצה הגלובלית.
מגבלות
בתוך היקף של VPC Service Controls, פונקציות AI לא יכולות לעבד ערכי ObjectRef שמשתמשים בגישה שהוקצתה.
גישה מואצלת יוצרת כתובת URL חתומה מסוג HTTPS לאובייקט, ו-Agent Platform חוסמת אחזורים מסוג HTTP ו-HTTPS לפרויקטים בתוך היקף ההרשאות. הפונקציה כותבת את השגיאה הבאה בשדה status של הפלט שלה:
INVALID_ARGUMENT: HTTP links are not supported for requests restricted by VPCSC.
מכיוון שהעמודה ref של טבלת אובייקטים תמיד משתמשת בחיבור של טבלת האובייקטים כגורם המאשר, העברת ref לפונקציית AI בתוך היקף תמיד מחזירה את השגיאה הזו. כדי לנתח את האובייקט, צריך להעביר ערך OBJ.MAKE_REF(uri) עם ארגומנט יחיד, שמשתמש בגישה ישירה ושולח את ה-URI של Cloud Storage למודל בלי ליצור כתובת URL חתומה.
תמחור
אתם מחויבים על משאבי המחשוב שבהם אתם משתמשים כדי להריץ שאילתות במודלים. מודלים מרוחקים שולחים קריאות למודלים של Agent Platform, ולכן שאילתות למודלים מרוחקים כרוכות גם בחיובים מ-Agent Platform.
למידע נוסף, קראו את המאמר תמחור ב-BigQuery ML.
מעקב אחרי השימוש בטוקנים
כשמפעילים פונקציית AI גנרטיבי שמשתמשת במודל Gemini שהוא לא מודל הטמעה, אפשר לראות את המספר הכולל של כל סוג טוקן שעובד בשאילתה. בחלונית Query results, לוחצים על Job information. המספרים הבאים מופיעים, בחלוקה לפי אופן הטיפול, אם רלוונטי:
- Input token count: המספר הכולל של טוקנים של קלט לכל הפונקציות של ה-AI הגנרטיבי שנקראו בשאילתה.
- מספר הטוקנים בפלט. המספר הכולל של האסימונים בכל התשובות האפשריות שנוצרו על ידי השאילתה.
- כמות הטוקנים של החשיבה. המספר הכולל של הטוקנים שהיו חלק מהמחשבות שהמודל יצר, אם רלוונטי.
- כמות הטוקנים במטמון. המספר הכולל של טוקנים של קלט שנשמרו במטמון באופן משתמע על ידי השאילתה.
מעקב אחרי העלויות
פונקציות ה-AI הגנרטיבי ב-BigQuery פועלות על ידי שליחת בקשות אל Gemini Enterprise Agent Platform, וזה יכול להיות כרוך בעלויות. כדי להעריך את מספר אסימוני הקלט לפני שמריצים שאילתה, משתמשים בפונקציה AI.COUNT_TOKENS.
כדי לעקוב אחרי העלויות של Agent Platform שנוצרו בעקבות משימה שהרצתם ב-BigQuery, בצעו את הפעולות הבאות:
- צפייה בדוחות החיוב בחיוב ב-Cloud.
להשתמש במסננים כדי לצמצם את התוצאות.
בקטע Services, בוחרים באפשרות Vertex AI.
כדי לראות את החיובים של משימה ספציפית, מסננים לפי תווית.
מגדירים את המפתח בתור
bigquery_job_id_prefixואת הערך בתור מזהה המשימה. אם מזהה המשימה ארוך מ-63 תווים, משתמשים רק ב-63 התווים הראשונים. אם מזהה המשימה מכיל אותיות רישיות, צריך לשנות אותן לאותיות קטנות. לחלופין, אתם יכולים לשייך משימות לתווית בהתאמה אישית כדי שתוכלו לחפש אותן בקלות בהמשך.
יכול להיות שיעברו עד 24 שעות עד שחלק מהחיובים יופיעו בחיוב ב-Cloud.
מעקב
כדי להבין טוב יותר את ההתנהגות של פונקציות ה-AI שאתם מפעילים ב-BigQuery, אתם יכולים להפעיל רישום ביומן של בקשות ותגובות. כדי לתעד את כל הבקשות והתגובות שנשלחות אל Agent Platform ומתקבלות ממנה, פועלים לפי השלבים הבאים:
מפעילים את יומני הבקשות והתשובות ב-Gemini Enterprise Agent Platform. היומנים מאוחסנים ב-BigQuery. צריך להפעיל את הרישום ביומן בנפרד לכל מודל בסיס ואזור. כדי לתעד שאילתות שפועלות באזור
us, צריך לציין את האזורus-central1בבקשה. כדי לתעד שאילתות שפועלות באזורeu, צריך לציין את האזורeurope-west4בבקשה.מריצים שאילתה באמצעות פונקציית AI ששולחת קריאה ל-Agent Platform באמצעות המודל שהפעלתם בשבילו את הרישום ביומן בשלב הקודם.
כדי לראות את הבקשה והתגובה המלאות של Agent Platform, שולחים שאילתה לטבלת הרישום ביומן כדי למצוא שורות שבהן השדה
labels.bigquery_job_id_prefixבעמודהfull_requestתואם ל-63 התווים הראשונים של מזהה המשימה. אם רוצים, אפשר להשתמש בתווית שאילתה בהתאמה אישית כדי לחפש את השאילתה ביומנים.לדוגמה, אפשר להשתמש בשאילתה דומה לזו:
SELECT * FROM `my_project.my_dataset.request_response_logging` WHERE JSON_VALUE(full_request, '$.labels.bigquery_job_id_prefix') = 'bquxjob_123456...';
ניהול שגיאות
שגיאות ברמת השורה, כמו RESOURCE_EXHAUSTED, יכולות להתרחש אם פונקציית AI חורגת מהמכסה או מהמגבלות של השירות המרוחק. אם מתרחשת שגיאה ברמת השורה, הפונקציה מחזירה את הערך NULL בשורה הזו, מה שעלול לגרום לתוצאות שאילתה חלקיות.
השגיאות האלה יכולות להופיע בכל פונקציות ה-AI. עם זאת, פונקציות ה-AI המנוהלות (AI.IF, AI.CLASSIFY ו-AI.SCORE) תומכות בארגומנט max_error_ratio כדי לעזור לכם לנהל אותן. אפשר להשתמש בארגומנט הזה כדי להגדיר סף כשלים שמאפשר לשאילתה להצליח למרות כשלים ברמת השורה.
ערך ברירת המחדל של max_error_ratio הוא 1.0. כדי להקטין את סבילות השגיאות, מגדירים ערך קטן יותר (לדוגמה, 0.2) כך שהשאילתה תיכשל במקום להצליח עם כשלים חלקיים. לפרטים על התחביר, עיינו במאמרי העזרה של AI.IF, AI.CLASSIFY או AI.SCORE.
אם השאילתה מצליחה עם כשלים חלקיים, BigQuery מחזיר אזהרה. כדי לקבל מידע נוסף על השגיאות בפונקציות, אפשר לעיין בשדה Gen AI function errors בכרטיסייה Job information של תוצאות השאילתה במסוף Cloud de Confiance .
אם השאילתה כוללת משפט LIMIT, המגבלה חלה אחרי שהמודל מעבד קבוצת שורות. לכן, יכול להיות שהשיעור של ערכי NULL בקבוצת התוצאות הסופית יהיה גבוה יותר מהערך שצוין ב-max_error_ratio.
לדוגמה, נניח שבשאילתה יש סעיף LIMIT 10 ו-max_error_ratio של 0.2. יכול להיות שהמודל יעבד 20 שורות לפני שהמגבלה תופעל. אם 3 מתוך 20 השורות האלה נכשלות, יחס השגיאות הוא 0.15 (15%), וזה בטווח של הסף של 20%. עם זאת, אם קבוצת המשנה של השורות שנבחרו על ידי משפט ה-LIMIT כוללת את כל 3 השורות שנכשלו, הפלט הגלוי יכיל 30% ערכי NULL.
המאמרים הבאים
- מבוא ל-AI ול-ML ב-BigQuery
- למידע נוסף על ביצוע הסקת מסקנות במודלים של למידת מכונה, קראו את המאמר סקירה כללית על הסקת מסקנות במודלים.
- למידע נוסף על פונקציות והצהרות SQL נתמכות למודלים של AI גנרטיבי, קראו את המאמר התהליכים שעוברים המשתמשים מקצה לקצה במודלים של AI גנרטיבי.