AI インデックスの概要

AI インデックスを使用すると、エンベディングを手動で生成したり、モデルを管理したりすることなく、テーブル列全体で自然言語検索を実行できます。AI.SEARCH 関数を使用してデータをクエリできます。BigQuery は、列の選択、インデックスの最適化、継続的なメンテナンスを自動的に処理します。

AI インデックスについて

AI インデックスは、マネージド型の自己最適化インデックス抽象化です。これにより、AI.SEARCH 関数を使用して、BigQuery テーブルの 1 つ以上の列で自然言語検索を使用できます。エンベディング モデル、エンベディング列、ベクトル インデックスを管理せずに、1 つ以上のテキスト列で自然言語検索を行う場合は、AI インデックスを使用します。特定のエンベディング モデルまたはカスタム ベクトル インデックス オプションが必要な場合は、エンベディングを生成してベクトル インデックスを作成します。

BigQuery AI インデックスは、次のタスクをより効率的に実行するのに役立ちます。

  • モデルを管理せずに自然言語検索を実行する: エンベディングを生成したり、ベクトル インデックスを構成したりすることなく、自然言語クエリを使用してデータを検索できます。
  • 列の自動選択: AUTO COLUMNS オプションを使用して AI インデックスを作成すると、BigQuery はインデックスを作成するテーブル内の候補列を自動的に識別して選択します。また、含める列の明示的なリストを指定することもできます。
  • 適応型インデックス作成: BigQuery は、データとクエリに最適なインデックス作成と取得戦略を自動的に決定して適用します。
  • フルマネージド ライフサイクル: テーブルデータが変更されると、BigQuery はインデックスの作成、メンテナンス、更新、更新を自動的に管理します。基盤となる AI アーティファクトを管理する必要はありません。

ワークロード管理

デフォルトでは、BigQuery はオンデマンド スロットと共有スロットプールを使用して、AI インデックスの構築、更新、最適化に必要なバックグラウンド処理を行います。大規模な本番環境ワークロードで予測可能で一貫したインデックス作成パフォーマンスを確保する場合、または 1,000,000 行を超えるテーブルに AI インデックスを作成する場合は、次の操作を行います。

  • テーブルが配置されているリージョンに予約を作成する
  • job_type を BACKGROUND に設定して、プロジェクトを予約に割り当てます。

BACKGROUND 予約が存在する場合、BigQuery はそれを使用して、AI インデックスを維持するバックグラウンド ジョブを実行します。

料金

AI インデックスの費用は、次のカテゴリに分類されます。

  • DDL ステートメント: CREATE AI INDEX ステートメントと DROP AI INDEX ステートメントの実行に追加料金はかかりません。
  • バックグラウンド インデックス データ処理(gc_ ジョブ): すべてのデータ処理は、BigQuery スロットを使用して BigQuery 内で直接実行されます。デフォルトでは、BigQuery はオンデマンド スロットを使用してこれらのジョブを処理し、テーブルのプロジェクトは DML オンデマンド課金モデルに従って課金されます。BACKGROUND 予約がプロジェクトに割り当てられている場合、BigQuery は BACKGROUND 予約を使用してこれらのバックグラウンド DML ジョブを実行し、予約にはスロット時間の使用量に対して課金されます。詳細については、バックグラウンド ジョブの費用を追跡するをご覧ください。
  • エンベディングの生成: AI インデックスのエンベディング生成(AI インデックスを含むテーブルに対する AI.SEARCH クエリで生成されたエンベディングを含む)は、AI インデックスが使用する基盤モデルの公開料金で課金されます。Google は、モデルのライフサイクルやパフォーマンスの改善のために、AI インデックスで使用されるデフォルト モデルを更新することがあります。その場合、モデルの公開されている BigQuery の料金で課金されます。
  • インデックスのトレーニングと最適化: デフォルトの共有スロットプールを使用する場合、インデックス付きテーブルデータの合計サイズが組織の上限を下回っている限り、インデックス構造のトレーニングと最適化に必要な処理に追加料金は発生しません。
  • ストレージ: AI インデックスがテーブルに存在している間、ストレージの費用が発生します。AI インデックスのストレージ サイズは、INFORMATION_SCHEMA.AI_INDEXES ビューの total_logical_bytes 列で確認できます。
  • クエリ: AI.SEARCH 関数を使用するクエリには、BigQuery コンピューティングの標準料金が適用されます。クエリのエンベディング生成は、このリストで前述したように課金されます。

AI インデックスの制限事項

AI インデックスを使用する場合は、次の制限が適用されます。

  • 行のインデックス付き列の結合テキストが非常に長い場合(ドキュメント全体や、多くの長い STRING 列など)、テキストの一部のみが検索に使用されます。最も有益なフィールドが使用されるようにするには、CREATE AI INDEX で明示的な列リストを指定し、最もシグナルの高い列を最初にリストします。
  • ID、UUID、ハッシュ、システムコードなど、自然言語の意味を持たない識別子値の完全一致を必要とするクエリはサポートされていません。デフォルトでは、AUTO COLUMNS には、不透明な ID 列をフィルタリングせずに、すべての最上位 STRING 列が含まれます。不透明な ID 列を AI インデックスから除外するには、CREATE AI INDEX で明示的な列リストを指定します。
  • 厳密な数値制約を含むクエリや、STRING 以外の列に対する構造化フィルタリングを必要とするクエリは、自然言語検索テキストだけではサポートされません。代わりに、事前フィルタ サブクエリで WHERE 句を使用して、構造化フィルタまたは数値フィルタを適用します。
  • AI インデックスに、未加工のログ、スタック トレース、URL、マシン生成文字列など、行を記述していないテキストを含む列が含まれていると、検索品質が低下する可能性があります。これらの列を除外するには、AUTO COLUMNS を使用する代わりに、インデックスに登録する列を一覧表示します。
  • CREATE OR REPLACE AI INDEX ステートメントと ALTER AI INDEX ステートメントはサポートされていません。また、AI インデックスに含まれるソース列の削除、名前変更、データ型の変更もできません。インデックス登録された列を変更するには、AI インデックスを削除して再作成します。
  • AI インデックスを含むテーブルでは、次のテーブル オペレーションはサポートされていません。これらのオペレーションを実行するには、AI インデックスを削除します。

    • テーブルのスキーマ(CREATE TABLE ... LIKE)からテーブルを作成します。
    • テーブル(bq cp または CREATE TABLE ... COPY)をコピーします。これには、クロスリージョン コピーや、AI インデックスを持つ既存のテーブルへのデータのコピーが含まれます。
    • テーブル(CREATE TABLE ... CLONE)のクローンを作成します。
    • テーブル スナップショットを作成する(CREATE SNAPSHOT TABLE)。
    • テーブルの名前を変更します(ALTER TABLE ... RENAME TO)。
    • テーブル(RESTORE TABLE)を復元します。

次のステップ