Panoramica degli indici AI

Gli indici AI ti consentono di eseguire ricerche in linguaggio naturale nelle colonne delle tabelle senza generare manualmente embedding o gestire modelli. Puoi utilizzare la funzione AI.SEARCH per eseguire query sui dati, mentre BigQuery gestisce automaticamente la selezione delle colonne, l'ottimizzazione degli indici e la manutenzione continua.

Informazioni sugli indici AI

Un indice AI è un'astrazione di indicizzazione gestita e auto-ottimizzante che ti consente di utilizzare la ricerca in linguaggio naturale in una o più colonne delle tabelle BigQuery con la funzione AI.SEARCH. Utilizza un indice AI quando vuoi eseguire ricerche in linguaggio naturale in una o più colonne di testo senza gestire modelli di embedding, colonne di embedding o indici vettoriali. Se hai bisogno di un modello di embedding specifico o di opzioni di indice vettoriale personalizzate, genera gli embedding e crea un indice vettoriale.

Gli indici AI di BigQuery ti aiutano a eseguire le seguenti attività in modo più efficiente:

  • Esegui ricerche in linguaggio naturale senza gestire i modelli: puoi eseguire ricerche nei tuoi dati utilizzando query in linguaggio naturale senza generare embedding o configurare indici vettoriali.
  • Selezione automatica delle colonne: quando crei un indice AI con l'opzione AUTO COLUMNS, BigQuery identifica e seleziona automaticamente le colonne candidate nella tabella da indicizzare oppure ti consente di specificare un elenco esplicito di colonne da includere.
  • Indicizzazione adattiva: BigQuery determina e applica automaticamente le strategie di indicizzazione e recupero ottimali per i tuoi dati e le tue query.
  • Ciclo di vita completamente gestito: man mano che i dati della tabella cambiano, BigQuery gestisce automaticamente la creazione, la manutenzione, gli aggiornamenti e i refresh degli indici, senza richiedere la gestione degli artefatti AI sottostanti.

Gestione del workload

Per impostazione predefinita, BigQuery utilizza gli slot on demand e il pool di slot condivisi per gestire il processo in background richiesto per creare, aggiornare e ottimizzare un indice AI. Per garantire prestazioni di indicizzazione prevedibili e coerenti su workload di produzione più grandi o per creare un indice AI su una tabella con più di 1.000.000 di righe, segui questi passaggi:

  • Crea una prenotazione nella regione in cui si trova la tabella
  • Assegna il progetto alla prenotazione con job_type impostato su BACKGROUND.

Quando è presente una prenotazione BACKGROUND, BigQuery la utilizza per eseguire i job in background che gestiscono l'indice AI.

Prezzi

I costi dell'indice AI rientrano nelle seguenti categorie:

  • Istruzioni DDL: non sono previsti costi aggiuntivi per l'esecuzione delle istruzioni CREATE AI INDEX e DROP AI INDEX.
  • Trattamento dati dell'indice in background (job gc_): tutte le esecuzioni del trattamento dati avvengono direttamente all'interno di BigQuery utilizzando gli slot BigQuery. Per impostazione predefinita, BigQuery utilizza slot on demand per gestire questi job e il progetto della tabella viene fatturato in base al modello di fatturazione on demand di DML. Se al progetto è assegnata una prenotazione BACKGROUND, BigQuery utilizza la prenotazione BACKGROUND per eseguire questi job DML in background e la prenotazione viene fatturata in base all'utilizzo del tempo di slot. Per saperne di più, consulta Monitora i costi dei job in background.
  • Generazione di embedding: la generazione di embedding per gli indici AI, inclusi gli embedding generati per le query AI.SEARCH sulle tabelle con un indice AI, viene fatturata alla tariffa pubblicata del modello sottostante utilizzato dall'indice AI. Google potrebbe aggiornare nel tempo il modello predefinito utilizzato dagli indici AI per migliorare il ciclo di vita o le prestazioni del modello e fatturare in base ai prezzi di BigQuery pubblicati per il modello.
  • Addestramento e ottimizzazione dell'indice: non sono previsti costi aggiuntivi per l'elaborazione richiesta per addestrare e ottimizzare le strutture dell'indice quando utilizzi il pool di slot condivisi predefinito, a condizione che la dimensione totale dei dati della tabella indicizzata sia inferiore al limite della tua organizzazione.
  • Archiviazione: gli indici AI comportano costi di archiviazione finché esistono nella tabella. Puoi visualizzare le dimensioni di archiviazione di un indice AI nella colonna total_logical_bytes della vista INFORMATION_SCHEMA.AI_INDEXES.
  • Query: le query che utilizzano la funzione AI.SEARCH vengono fatturate in base ai prezzi di calcolo standard di BigQuery. La generazione di embedding per la query viene fatturata come descritto in precedenza in questo elenco.

Limitazioni sugli indici AI

Quando utilizzi gli indici AI, si applicano le seguenti limitazioni:

  • Se il testo combinato delle colonne indicizzate di una riga è molto lungo, ad esempio documenti completi o molte colonne STRING lunghe, per la ricerca viene utilizzata solo una parte del testo. Per assicurarti che vengano utilizzati i campi più informativi, specifica un elenco di colonne esplicito in CREATE AI INDEX con le colonne con il segnale più alto elencate per prime.
  • Le query che richiedono una corrispondenza esatta sui valori degli identificatori senza un significato in linguaggio naturale, come ID, UUID, hash o codici di sistema, non sono supportate. Per impostazione predefinita, AUTO COLUMNS include tutte le colonne STRING di primo livello senza filtrare le colonne ID opache. Per escludere le colonne ID opache dall'indice AI, specifica un elenco di colonne esplicito in CREATE AI INDEX.
  • Le query che contengono vincoli numerici rigidi o richiedono un filtro strutturato su colonne non STRING non sono supportate solo dal testo della ricerca in linguaggio naturale. Applica filtri strutturati o numerici utilizzando una clausola WHERE in una subquery di pre-filtraggio.
  • La qualità della ricerca potrebbe peggiorare se l'indice AI include colonne con testo che non descrive la riga, ad esempio log non elaborati, analisi dello stack, URL o stringhe generate automaticamente. Per escludere queste colonne, elenca le colonne da indicizzare anziché utilizzare AUTO COLUMNS.
  • Le istruzioni CREATE OR REPLACE AI INDEX e ALTER AI INDEX non sono supportate. Inoltre, non puoi eliminare, rinominare o modificare il tipo di dati di una colonna di origine inclusa in un indice AI. Per modificare le colonne indicizzate, elimina l'indice AI e crealo di nuovo.
  • Le seguenti operazioni non sono supportate sulle tabelle con indici AI. Per eseguire queste operazioni, elimina l'indice AI.

    • Crea una tabella dallo schema della tabella (CREATE TABLE ... LIKE).
    • Copia la tabella (bq cp o CREATE TABLE ... COPY), incluse le copie tra regioni, o copia i dati in una tabella esistente con un indice AI.
    • Clona la tabella (CREATE TABLE ... CLONE).
    • Crea uno snapshot della tabella (CREATE SNAPSHOT TABLE).
    • Rinomina la tabella (ALTER TABLE ... RENAME TO).
    • Ripristina la tabella (RESTORE TABLE).

Passaggi successivi