AI 索引總覽
AI 索引可讓您在資料表資料欄中執行自然語言搜尋,不必手動生成嵌入或管理模型。您可以使用 AI.SEARCH 函式查詢資料,BigQuery 會自動處理資料欄選取、索引最佳化和持續維護作業。
關於 AI 索引
AI 索引是代管、自我最佳化的索引抽象層,可讓您使用 AI.SEARCH 函式,在 BigQuery 資料表的一或多個資料欄中,使用自然語言搜尋。如要對一或多個文字資料欄執行自然語言搜尋,且不想管理嵌入模型、嵌入資料欄或向量索引,請使用 AI 索引。如需特定嵌入模型或自訂向量索引選項,請生成嵌入並建立向量索引。
BigQuery AI 索引可協助您更有效率地執行下列工作:
- 執行自然語言搜尋,無須管理模型:您可以使用自然語言查詢搜尋資料,不必生成嵌入或設定向量索引。
- 自動選取資料欄:使用
AUTO COLUMNS選項建立 AI 索引時,BigQuery 會自動識別並選取資料表中要建立索引的候選資料欄,或讓您指定要納入的資料欄清單。 - 自動調整索引:BigQuery 會自動判斷並套用最適合資料和查詢的索引和檢索策略。
- 全代管生命週期:資料表資料變更時,BigQuery 會自動管理索引建立、維護、更新和重新整理作業,您不必管理底層 AI 構件。
工作負載管理
根據預設,BigQuery 會使用隨選運算單元和共用運算單元集區,處理建構、重新整理及最佳化 AI 索引所需的背景程序。如要確保大型正式環境工作負載的索引效能可預測且一致,或在超過 1,000,000 列的資料表上建立 AI 索引,請按照下列步驟操作:
- 在資料表所在區域建立預留項目
- 將專案指派給預留項目,並將
job_type設為BACKGROUND。
如有 BACKGROUND 預留項目,BigQuery 會使用該項目執行維護 AI 索引的背景工作。
定價
AI 索引費用分為下列類別:
- DDL 陳述式:執行
CREATE AI INDEX和DROP AI INDEX陳述式不會產生額外費用。 - 背景索引資料處理 (
gc_工作):所有資料處理作業都會使用 BigQuery 運算單元,直接在 BigQuery 中執行。根據預設,BigQuery 會使用隨選運算單元處理這些工作,並按照 DML 隨選計費模式向資料表的專案收費。如果專案已指派BACKGROUND預留項目,BigQuery 會使用BACKGROUND預留項目執行這些背景 DML 工作,並依據運算單元時間用量向預留項目收費。詳情請參閱「追蹤背景工作費用」。 - 嵌入生成:AI 索引的嵌入生成作業 (包括對具有 AI 索引的資料表執行
AI.SEARCH查詢時生成的嵌入),會按照 AI 索引使用的基礎模型公開費率計費。Google 可能會不時更新 AI 索引使用的預設模型,以改善模型生命週期或效能,並依據公開的 BigQuery 定價收取模型費用。 - 索引訓練和最佳化:使用預設共用運算單元集區時,只要索引資料表資料總大小低於組織限制,訓練和最佳化索引結構所需的處理作業就不會產生額外費用。
- 儲存空間:AI 索引存在於資料表時,會產生儲存費用。您可以在
INFORMATION_SCHEMA.AI_INDEXES檢視畫面的total_logical_bytes欄中,查看 AI 索引的儲存空間大小。 - 查詢:使用
AI.SEARCH函式的查詢會按照標準 BigQuery 運算定價計費。查詢的嵌入生成費用則如本清單先前所述。
AI 索引限制
使用 AI 索引時,請注意下列限制:
- 如果資料列索引欄的合併文字非常長,例如完整文件或許多長
STRING欄,則只有部分文字會用於搜尋。為確保使用最實用的欄位,請在CREATE AI INDEX中指定明確的資料欄清單,並將信號最強的資料欄列在最前面。 - 不支援需要完全比對 ID 值,且不具自然語言意義的查詢,例如 ID、UUID、雜湊或系統代碼。根據預設,
AUTO COLUMNS會納入所有頂層 STRING 資料欄,不會篩除不透明 ID 資料欄。如要從 AI 索引中排除不透明 ID 欄,請在CREATE AI INDEX中指定明確的資料欄清單。 - 如果查詢包含嚴格的數字限制,或需要對非
STRING資料欄進行結構化篩選,則無法單靠自然語言搜尋文字完成。請改為在預先篩選子查詢中使用WHERE子句,套用結構化或數值篩選器。 - 如果 AI 索引包含的資料欄文字並非描述資料列,例如原始記錄、堆疊追蹤、網址或機器生成的字串,搜尋品質可能會降低。如要排除這些資料欄,請列出要建立索引的資料欄,不要使用
AUTO COLUMNS。 - 不支援
CREATE OR REPLACE AI INDEX和ALTER AI INDEX陳述式。您也無法捨棄、重新命名或變更 AI 索引中來源資料欄的資料類型。如要變更已建立索引的資料欄,請捨棄 AI 索引並重新建立。 含有 AI 索引的資料表不支援下列資料表作業。如要執行這些作業,請捨棄 AI 索引。
- 依據資料表的結構定義 (
CREATE TABLE ... LIKE) 建立資料表。 - 複製資料表 (
bq cp或CREATE TABLE ... COPY),包括跨區域複製,或將資料複製到含有 AI 索引的現有資料表。 - 複製資料表 (
CREATE TABLE ... CLONE)。 - 建立資料表快照 (
CREATE SNAPSHOT TABLE)。 - 重新命名表格 (
ALTER TABLE ... RENAME TO)。 - 還原資料表 (
RESTORE TABLE)。
- 依據資料表的結構定義 (
後續步驟
- 瞭解如何使用 AI 索引。
- 瞭解如何使用
AI.SEARCH函式搜尋表格。