AI 索引總覽

AI 索引可讓您在資料表資料欄中執行自然語言搜尋,不必手動生成嵌入或管理模型。您可以使用 AI.SEARCH 函式查詢資料,BigQuery 會自動處理資料欄選取、索引最佳化和持續維護作業。

關於 AI 索引

AI 索引是代管、自我最佳化的索引抽象層,可讓您使用 AI.SEARCH 函式,在 BigQuery 資料表的一或多個資料欄中,使用自然語言搜尋。如要對一或多個文字資料欄執行自然語言搜尋,且不想管理嵌入模型、嵌入資料欄或向量索引,請使用 AI 索引。如需特定嵌入模型或自訂向量索引選項,請生成嵌入並建立向量索引。

BigQuery AI 索引可協助您更有效率地執行下列工作:

  • 執行自然語言搜尋,無須管理模型:您可以使用自然語言查詢搜尋資料,不必生成嵌入或設定向量索引。
  • 自動選取資料欄:使用 AUTO COLUMNS 選項建立 AI 索引時,BigQuery 會自動識別並選取資料表中要建立索引的候選資料欄,或讓您指定要納入的資料欄清單。
  • 自動調整索引:BigQuery 會自動判斷並套用最適合資料和查詢的索引和檢索策略。
  • 全代管生命週期:資料表資料變更時,BigQuery 會自動管理索引建立、維護、更新和重新整理作業,您不必管理底層 AI 構件。

工作負載管理

根據預設,BigQuery 會使用隨選運算單元和共用運算單元集區,處理建構、重新整理及最佳化 AI 索引所需的背景程序。如要確保大型正式環境工作負載的索引效能可預測且一致,或在超過 1,000,000 列的資料表上建立 AI 索引,請按照下列步驟操作:

  • 在資料表所在區域建立預留項目
  • 將專案指派給預留項目,並將 job_type 設為 BACKGROUND。

如有 BACKGROUND 預留項目,BigQuery 會使用該項目執行維護 AI 索引的背景工作。

定價

AI 索引費用分為下列類別:

  • DDL 陳述式:執行 CREATE AI INDEX 和 DROP AI INDEX 陳述式不會產生額外費用。
  • 背景索引資料處理 (gc_ 工作):所有資料處理作業都會使用 BigQuery 運算單元,直接在 BigQuery 中執行。根據預設,BigQuery 會使用隨選運算單元處理這些工作,並按照 DML 隨選計費模式向資料表的專案收費。如果專案已指派 BACKGROUND 預留項目,BigQuery 會使用 BACKGROUND 預留項目執行這些背景 DML 工作,並依據運算單元時間用量向預留項目收費。詳情請參閱「追蹤背景工作費用」。
  • 嵌入生成:AI 索引的嵌入生成作業 (包括對具有 AI 索引的資料表執行 AI.SEARCH 查詢時生成的嵌入),會按照 AI 索引使用的基礎模型公開費率計費。Google 可能會不時更新 AI 索引使用的預設模型,以改善模型生命週期或效能,並依據公開的 BigQuery 定價收取模型費用。
  • 索引訓練和最佳化:使用預設共用運算單元集區時,只要索引資料表資料總大小低於組織限制,訓練和最佳化索引結構所需的處理作業就不會產生額外費用。
  • 儲存空間:AI 索引存在於資料表時,會產生儲存費用。您可以在 INFORMATION_SCHEMA.AI_INDEXES 檢視畫面的 total_logical_bytes 欄中,查看 AI 索引的儲存空間大小。
  • 查詢:使用 AI.SEARCH 函式的查詢會按照標準 BigQuery 運算定價計費。查詢的嵌入生成費用則如本清單先前所述。

AI 索引限制

使用 AI 索引時,請注意下列限制:

  • 如果資料列索引欄的合併文字非常長,例如完整文件或許多長 STRING 欄,則只有部分文字會用於搜尋。為確保使用最實用的欄位,請在 CREATE AI INDEX 中指定明確的資料欄清單,並將信號最強的資料欄列在最前面。
  • 不支援需要完全比對 ID 值,且不具自然語言意義的查詢,例如 ID、UUID、雜湊或系統代碼。根據預設,AUTO COLUMNS 會納入所有頂層 STRING 資料欄,不會篩除不透明 ID 資料欄。如要從 AI 索引中排除不透明 ID 欄,請在 CREATE AI INDEX 中指定明確的資料欄清單。
  • 如果查詢包含嚴格的數字限制,或需要對非 STRING 資料欄進行結構化篩選,則無法單靠自然語言搜尋文字完成。請改為在預先篩選子查詢中使用 WHERE 子句,套用結構化或數值篩選器。
  • 如果 AI 索引包含的資料欄文字並非描述資料列,例如原始記錄、堆疊追蹤、網址或機器生成的字串,搜尋品質可能會降低。如要排除這些資料欄,請列出要建立索引的資料欄,不要使用 AUTO COLUMNS。
  • 不支援 CREATE OR REPLACE AI INDEX 和 ALTER AI INDEX 陳述式。您也無法捨棄、重新命名或變更 AI 索引中來源資料欄的資料類型。如要變更已建立索引的資料欄,請捨棄 AI 索引並重新建立。
  • 含有 AI 索引的資料表不支援下列資料表作業。如要執行這些作業,請捨棄 AI 索引。

    • 依據資料表的結構定義 (CREATE TABLE ... LIKE) 建立資料表。
    • 複製資料表 (bq cp 或 CREATE TABLE ... COPY),包括跨區域複製,或將資料複製到含有 AI 索引的現有資料表。
    • 複製資料表 (CREATE TABLE ... CLONE)。
    • 建立資料表快照 (CREATE SNAPSHOT TABLE)。
    • 重新命名表格 (ALTER TABLE ... RENAME TO)。
    • 還原資料表 (RESTORE TABLE)。

後續步驟