使用 AI 索引
您可以使用 AI.SEARCH 函数查询数据,而 BigQuery 会自动处理列选择、索引优化和持续维护。
本文档介绍了如何创建、监控和删除 AI 索引,以及如何查询索引数据。
角色与权限
如需获得使用 AI 索引所需的权限,请让您的管理员向您授予项目的以下 IAM 角色:
-
创建或删除 AI 索引:BigQuery Data Owner (
roles/bigquery.dataOwner) -
查询表:
- BigQuery Data Viewer (
roles/bigquery.dataViewer) - BigQuery Job User (
roles/bigquery.jobUser)
- BigQuery Data Viewer (
-
查看 AI 索引元数据:
BigQuery 数据视图 (
roles/bigquery.dataViewer)
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
创建 AI 索引
您可以使用 CREATE AI INDEX 数据定义语言 (DDL) 语句在标准 BigQuery 表上创建 AI 索引。您可以指定要编入索引的列,也可以使用 AUTO COLUMNS 选项让 BigQuery 自动选择候选列。
创建 AI 索引时的限制
创建 AI 索引时,存在以下限制:
- 仅支持顶级非重复 STRING 列。不支持
ARRAY<STRING>、STRUCT、JSON、ObjectRef、嵌套字段、非STRING列和伪列。 - 在单个 AI 索引中,您最多可以为 50 列编制索引。
- 您只能在标准 BigQuery 表上创建 AI 索引。不支持视图、物化视图、外部表、BigLake 表、Apache Iceberg 表和表快照。
- 您无法在具有跨区域副本的数据集中创建 AI 索引。
- 运行
CREATE AI INDEX时,对于按需项目,基表最多可以有 1,000,000 行;如果包含该表的项目具有BACKGROUND预留分配,则基表最多可以有 100,000,000 行。 AUTO COLUMNS在CREATE AI INDEX语句运行时选择列。 如果您日后向表中添加列,这些列不会自动编入索引。如需添加新列,请删除 AI 索引并重新创建。- 每个表最多支持一个 AI 索引。具有 AI 索引的表不能同时具有向量索引或自动生成的嵌入列。
如需查看相关限制的完整列表,请参阅 AI 索引的限制。
使用 AUTO COLUMNS 创建 AI 索引
使用 AUTO COLUMNS 创建 AI 索引时,BigQuery 会自动扫描表架构,并选择最多 50 个符合条件的列。如需使用 AUTO COLUMNS 创建 AI 索引,请使用 CREATE AI INDEX DDL 语句:
前往 Cloud de Confiance 控制台中的 BigQuery Studio。
在查询编辑器中,运行以下 SQL 语句:
CREATE AI INDEX INDEX_NAME ON DATASET_NAME.TABLE_NAME(AUTO COLUMNS);
替换以下内容:
INDEX_NAME:您要创建的 AI 索引的名称。由于索引始终在基表所在的项目和数据集中创建,因此您无需在索引名称中指定项目或数据集。索引名称在表的所有索引中必须是唯一的。DATASET_NAME:包含该表的数据集的名称。TABLE_NAME:要编入索引的标准表的名称。
在以下示例中,系统会在 mydataset.products 上创建 AI 索引并指定 AUTO COLUMNS:
CREATE AI INDEX products_ai_index ON mydataset.products(AUTO COLUMNS);
为特定列创建 AI 索引
您可以在单个列或特定列子集上创建 AI 索引。例如,当您的表有超过 50 个符合条件的列时,或者当您想要排除敏感或高噪声列(例如不透明 ID、UUID、哈希或原始日志)时。如果您指定了多个列,请将信息最丰富的列(例如标题或名称列)放在列列表中的首位。
在以下示例中,仅在 mydataset.products 的 name 和 description 列上创建 AI 索引:
CREATE AI INDEX products_ai_index ON mydataset.products(name, description);
在以下示例中,仅在 mydataset.products 的 description 列上创建 AI 索引:
CREATE AI INDEX products_ai_index ON mydataset.products(description);
使用 AI 索引搜索表
您可以使用 AI.SEARCH 函数查询具有 AI 索引的表。如果表具有 AI 索引,则只需要两个实参:base_table 或 base_table_query,以及 query_value。
在所有已编入索引的列中搜索
如需搜索 AI 索引涵盖的所有列,请省略 column_to_search 实参,并传递基表和查询字符串。
以下示例搜索 mydataset.products 中 AI 索引涵盖的所有列:
SELECT base.id, base.name, base.description, distance FROM AI.SEARCH( TABLE mydataset.products, 'shoes that keep your feet dry in the rain', top_k => 5) ORDER BY distance;
监控 AI 索引的状态
您可以通过查询以下 INFORMATION_SCHEMA 视图来监控 AI 索引的状态、覆盖率和已编入索引的列:
INFORMATION_SCHEMA.AI_INDEXES:包含数据集中每个 AI 索引的元数据。INFORMATION_SCHEMA.AI_INDEX_COLUMNS:列出数据集中每个 AI 索引涵盖的列,以便您验证在使用AUTO COLUMNS时选择了哪些列。INFORMATION_SCHEMA.JOBS:包含有关后台作业的信息,包括用于创建和维护 AI 索引的后台作业。
AI 索引示例
以下查询显示了 my_project.my_dataset 中所有 AI 索引的覆盖率和存储空间大小:
SELECT table_name, index_name, creation_time, coverage_percentage, unindexed_row_count, total_logical_bytes FROM my_project.my_dataset.INFORMATION_SCHEMA.AI_INDEXES;
结果类似于以下内容:
+------------+-------------------+---------------------+---------------------+---------------------------+-----------------------+
| table_name | index_name | creation_time | coverage_percentage | unindexed_row_count | total_logical_bytes |
+------------+-------------------+---------------------+---------------------+---------------------------+-----------------------+
| products | products_ai_index | 2026-10-01 18:02:11 | 100 | 0 | 25344 |
+------------+-------------------+---------------------+---------------------+---------------------------+-----------------------+
AI 索引列示例
以下查询列出了 my_project.my_dataset 中 AI 索引的索引列:
SELECT table_name, index_name, index_column_name FROM my_project.my_dataset.INFORMATION_SCHEMA.AI_INDEX_COLUMNS;
结果类似于以下内容:
+------------+-------------------+-------------------+
| table_name | index_name | index_column_name |
+------------+-------------------+-------------------+
| products | products_ai_index | name |
| products | products_ai_index | description |
| products | products_ai_index | category |
| products | products_ai_index | review |
+------------+-------------------+-------------------+
跟踪后台作业费用示例
如需跟踪表中后台 AI 索引数据处理作业的 total_slot_ms 和 total_bytes_billed 值,请查询 INFORMATION_SCHEMA.JOBS 视图,查找 job_id 前缀为 gc_ 的作业:
SELECT job_id, creation_time, reservation_id, total_slot_ms, total_bytes_processed, total_bytes_billed FROM `region-REGION`.INFORMATION_SCHEMA.JOBS j WHERE EXISTS ( SELECT 1 FROM UNNEST(j.referenced_tables) t WHERE j.project_id = 'PROJECT_ID' AND t.dataset_id = 'DATASET_ID' AND t.table_id = 'TABLE' ) AND STARTS_WITH(job_id, 'gc_') ORDER BY j.creation_time DESC;
替换以下内容:
REGION:包含表的数据集区域,例如 us。PROJECT_ID:包含您的表的项目的 ID。DATASET_ID:包含表的数据集的名称。TABLE:包含 AI 索引的表的名称。
删除 AI 索引
删除已编入索引的表时,其 AI 索引也会一并删除。如需删除 AI 索引而不删除表,请使用 DROP AI INDEX DDL 语句:
DROP AI INDEX IF EXISTS INDEX_NAME ON DATASET_NAME.TABLE_NAME;
替换以下内容:
INDEX_NAME:要删除的 AI 索引的名称。DATASET_NAME:包含该表的数据集的名称。TABLE_NAME:包含 AI 索引的表的名称。
后续步骤
- 详细了解
AI.SEARCH函数。 - 了解 BigQuery 中的嵌入。