שימוש באינדקסים של AI
אתם יכולים להשתמש בפונקציה AI.SEARCH כדי לשלוח שאילתות על הנתונים, ו-BigQuery יטפל באופן אוטומטי בבחירת העמודות, באופטימיזציה של האינדקס ובתחזוקה השוטפת.
במאמר הזה מוסבר איך ליצור, למחוק ולעקוב אחרי אינדקסים של AI, ואיך לשלוח שאילתות לנתונים שנוספו לאינדקס.
תפקידים והרשאות
כדי לקבל את ההרשאות שדרושות לשימוש באינדקסים של AI, בקשו מהאדמין להקצות לכם את התפקידים הבאים ב-IAM ברמת הפרויקט:
-
יצירה או מחיקה של אינדקס AI:
בעלי הנתונים ב-BigQuery (
roles/bigquery.dataOwner) -
שליחת שאילתה לטבלה:
- BigQuery Data Viewer (
roles/bigquery.dataViewer) - BigQuery Job User (
roles/bigquery.jobUser)
- BigQuery Data Viewer (
-
צפייה במטא-נתונים של אינדקס AI:
BigQuery Data Viewer (
roles/bigquery.dataViewer)
להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.
יצירת אינדקס AI
כדי ליצור אינדקס AI בטבלה רגילה ב-BigQuery, משתמשים בהצהרה CREATE AI INDEX של שפת הגדרת נתונים (DDL). אתם יכולים לציין את העמודות שרוצים להוסיף לאינדקס, או להשתמש באפשרות AUTO COLUMNS כדי ש-BigQuery יבחר באופן אוטומטי את העמודות המועמדות.
מגבלות על יצירת אינדקסים של AI
כשיוצרים אינדקס AI, חלות המגבלות הבאות:
- יש תמיכה רק בעמודות STRING ברמה העליונה, ללא חזרות. אין תמיכה ב-
ARRAY<STRING>,STRUCT,JSON,ObjectRef, שדות בתצוגת עץ, עמודות שהן לאSTRINGועמודות פסאודו. - אפשר להוסיף לאינדקס עד 50 עמודות באינדקס AI אחד.
- אפשר ליצור אינדקס AI רק בטבלה רגילה ב-BigQuery. אין תמיכה בתצוגות, בתצוגות מהותיות, בטבלאות חיצוניות, בטבלאות BigLake, בטבלאות Apache Iceberg ובתמונות מצב של טבלאות.
- אי אפשר ליצור אינדקסים של AI במערכי נתונים שיש להם רפליקות באזורים שונים.
- כשמריצים את
CREATE AI INDEX, מסד הנתונים הטבלאי יכול להכיל עד 1,000,000 שורות לפרויקטים על פי דרישה, או עד 100,000,000 שורות אם לפרויקט שמכיל את הטבלה יש הקצאת הזמנה שלBACKGROUND. AUTO COLUMNSבוחר עמודות כשההצהרהCREATE AI INDEXפועלת. אם תוסיפו עמודות לטבלה מאוחר יותר, הן לא יתווספו לאינדקס באופן אוטומטי. כדי לכלול עמודות חדשות, צריך למחוק את אינדקס ה-AI וליצור אותו מחדש.- כל טבלה תומכת באינדקס AI אחד לכל היותר. טבלה עם אינדקס AI לא יכולה לכלול גם אינדקס וקטורי או עמודת הטמעה שנוצרה באופן אוטומטי.
לרשימה המלאה של המגבלות על אינדקסים מבוססי-AI
יצירת אינדקס AI באמצעות AUTO COLUMNS
כשיוצרים אינדקס AI באמצעות AUTO COLUMNS, המערכת של BigQuery סורקת באופן אוטומטי את הסכימה של הטבלה ובוחרת עד 50 עמודות שעומדות בדרישות.
כדי ליצור אינדקס AI באמצעות AUTO COLUMNS, משתמשים בהצהרת ה-DDL של CREATE AI INDEX:
נכנסים ל-BigQuery Studio במסוף Cloud de Confiance .
בעורך השאילתות, מריצים את הצהרת ה-SQL הבאה:
CREATE AI INDEX INDEX_NAME ON DATASET_NAME.TABLE_NAME(AUTO COLUMNS);
מחליפים את מה שכתוב בשדות הבאים:
-
INDEX_NAME: השם של אינדקס ה-AI שאתם יוצרים. האינדקס תמיד נוצר באותו פרויקט ובאותה קבוצת נתונים כמו מסד הנתונים הטבלאי, ולכן לא צריך לציין את הפרויקט או את קבוצת הנתונים בשם האינדקס. שם האינדקס חייב להיות ייחודי מבין כל האינדקסים בטבלה. -
DATASET_NAME: שם מערך הנתונים שמכיל את הטבלה. -
TABLE_NAME: שם הטבלה הרגילה שרוצים להוסיף לאינדקס.
-
בדוגמה הבאה, נוצר אינדקס AI עם AUTO COLUMNS ב-mydataset.products:
CREATE AI INDEX products_ai_index ON mydataset.products(AUTO COLUMNS);
יצירת אינדקס AI בעמודות ספציפיות
אפשר ליצור אינדקס AI בעמודה אחת או בקבוצת משנה ספציפית של עמודות. לדוגמה, כשיש בטבלה יותר מ-50 עמודות שעומדות בדרישות, או כשרוצים להחריג עמודות רגישות או עמודות עם הרבה רעש, כמו מזהים אטומים, מזהי UUID, גיבובים או יומנים גולמיים. אם מציינים כמה עמודות, צריך להציב את העמודות הכי אינפורמטיביות, כמו עמודת כותרת או שם, ראשונות ברשימת העמודות.
בדוגמה הבאה, אינדקס AI נוצר רק בעמודות name ו-description של mydataset.products:
CREATE AI INDEX products_ai_index ON mydataset.products(name, description);
בדוגמה הבאה, אינדקס AI נוצר רק בעמודה description של mydataset.products:
CREATE AI INDEX products_ai_index ON mydataset.products(description);
חיפוש בטבלה עם אינדקס AI
אפשר לשלוח שאילתה לטבלה שיש לה אינדקס AI באמצעות הפונקציה AI.SEARCH.
כשלטבלה יש אינדקס AI, נדרשים רק שני ארגומנטים: base_table או base_table_query, ו-query_value.
חיפוש בכל העמודות שנוספו לאינדקס
כדי לחפש בכל העמודות שכלולות באינדקס ה-AI, משמיטים את הארגומנט column_to_search ומעבירים את מסד הנתונים הטבלאי ואת מחרוזת השאילתה.
בדוגמה הבאה מתבצע חיפוש בכל העמודות ב-mydataset.products שכלולות באינדקס ה-AI:
SELECT base.id, base.name, base.description, distance FROM AI.SEARCH( TABLE mydataset.products, 'shoes that keep your feet dry in the rain', top_k => 5) ORDER BY distance;
מעקב אחרי הסטטוס של אינדקסי AI
כדי לעקוב אחרי הסטטוס, הכיסוי והעמודות שנוספו לאינדקס של אינדקסי ה-AI, אפשר לשלוח שאילתות לתצוגות הבאות של INFORMATION_SCHEMA:
-
INFORMATION_SCHEMA.AI_INDEXES: מכיל מטא-נתונים על כל אינדקס AI במערך נתונים. -
INFORMATION_SCHEMA.AI_INDEX_COLUMNS: מציגה את העמודות שכלולות בכל אינדקס AI בקבוצת נתונים, כדי שתוכלו לוודא אילו עמודות נבחרו כשמשתמשים ב-AUTO COLUMNS. -
INFORMATION_SCHEMA.JOBS: מכיל מידע על משימות ברקע, כולל המשימות ברקע שמשמשות ליצירה ולתחזוקה של אינדקסים של AI.
דוגמה לאינדקס AI
השאילתה הבאה מציגה את הכיסוי ואת גודל האחסון של כל אינדקסי ה-AI ב-my_project.my_dataset:
SELECT table_name, index_name, creation_time, coverage_percentage, unindexed_row_count, total_logical_bytes FROM my_project.my_dataset.INFORMATION_SCHEMA.AI_INDEXES;
התוצאה אמורה להיראות כך:
+------------+-------------------+---------------------+---------------------+---------------------------+-----------------------+
| table_name | index_name | creation_time | coverage_percentage | unindexed_row_count | total_logical_bytes |
+------------+-------------------+---------------------+---------------------+---------------------------+-----------------------+
| products | products_ai_index | 2026-10-01 18:02:11 | 100 | 0 | 25344 |
+------------+-------------------+---------------------+---------------------+---------------------------+-----------------------+
דוגמה לעמודות אינדקס של AI
השאילתה הבאה מציגה את העמודות שנוספו לאינדקסים של AI ב-my_project.my_dataset:
SELECT table_name, index_name, index_column_name FROM my_project.my_dataset.INFORMATION_SCHEMA.AI_INDEX_COLUMNS;
התוצאה אמורה להיראות כך:
+------------+-------------------+-------------------+
| table_name | index_name | index_column_name |
+------------+-------------------+-------------------+
| products | products_ai_index | name |
| products | products_ai_index | description |
| products | products_ai_index | category |
| products | products_ai_index | review |
+------------+-------------------+-------------------+
דוגמה למעקב אחרי עלויות של משימות ברקע
כדי לעקוב אחרי הערכים של total_slot_ms ו-total_bytes_billed במשימות עיבוד נתונים של אינדקס AI ברקע בטבלה, שולחים שאילתה לתצוגה INFORMATION_SCHEMA.JOBS כדי למצוא משימות עם הקידומת gc_ של job_id:
SELECT job_id, creation_time, reservation_id, total_slot_ms, total_bytes_processed, total_bytes_billed FROM `region-REGION`.INFORMATION_SCHEMA.JOBS j WHERE EXISTS ( SELECT 1 FROM UNNEST(j.referenced_tables) t WHERE j.project_id = 'PROJECT_ID' AND t.dataset_id = 'DATASET_ID' AND t.table_id = 'TABLE' ) AND STARTS_WITH(job_id, 'gc_') ORDER BY j.creation_time DESC;
מחליפים את מה שכתוב בשדות הבאים:
-
REGION: האזור של קבוצת הנתונים שמכיל את הטבלה, לדוגמה us. -
PROJECT_ID: מזהה הפרויקט שמכיל את הטבלה. -
DATASET_ID: שם מערך הנתונים שמכיל את הטבלה. -
TABLE: שם הטבלה שמכילה את אינדקס ה-AI.
מחיקת אינדקס AI
כשמוחקים טבלה שנוסף לה אינדקס, גם אינדקס ה-AI שלה נמחק. כדי למחוק אינדקס AI בלי למחוק את הטבלה, משתמשים בהצהרת ה-DDL DROP AI INDEX:
DROP AI INDEX IF EXISTS INDEX_NAME ON DATASET_NAME.TABLE_NAME;
מחליפים את מה שכתוב בשדות הבאים:
-
INDEX_NAME: שם האינדקס של ה-AI שמוחקים. -
DATASET_NAME: השם של קבוצת הנתונים שמכילה את הטבלה. -
TABLE_NAME: שם הטבלה שמכילה את אינדקס ה-AI.