Descripción general de los índices de IA

Los índices de IA te permiten realizar búsquedas en lenguaje natural en las columnas de las tablas sin generar embeddings ni administrar modelos de forma manual. Puedes usar la función AI.SEARCH para consultar tus datos mientras BigQuery controla automáticamente la selección de columnas, la optimización de índices y el mantenimiento continuo.

Acerca de los índices de IA

Un índice de IA es una abstracción de indexación administrada y autooptimizada que te permite usar la búsqueda en lenguaje natural en una o más columnas de tus tablas de BigQuery con la función AI.SEARCH. Usa un índice de IA cuando quieras realizar una búsqueda en lenguaje natural en una o más columnas de texto sin administrar modelos de embeddings, columnas de embeddings ni índices de vectores. Si necesitas un modelo de embedding específico o las opciones de índice de vectores personalizado, genera embeddings y crea un índice de vectores.

Los índices de IA de BigQuery te ayudan a realizar las siguientes tareas de manera más eficiente:

  • Realiza búsquedas en lenguaje natural sin administrar modelos: Puedes buscar en tus datos con consultas en lenguaje natural sin generar incorporaciones ni configurar índices de vectores.
  • Selección automática de columnas: Cuando creas un índice de IA con la opción AUTO COLUMNS, BigQuery identifica y selecciona automáticamente las columnas candidatas en la tabla para indexar, o te permite especificar una lista explícita de columnas para incluir.
  • Indexación adaptable: BigQuery determina y aplica de forma automática las estrategias óptimas de indexación y recuperación para tus datos y consultas.
  • Ciclo de vida completamente administrado: A medida que cambian los datos de tu tabla, BigQuery administra automáticamente la creación, el mantenimiento, las actualizaciones y las actualizaciones de los índices, sin que tengas que administrar los artefactos de IA subyacentes.

Gestión de cargas de trabajo

De forma predeterminada, BigQuery usa ranuras según demanda y el grupo de ranuras compartidas para controlar el procesamiento en segundo plano necesario para compilar, actualizar y optimizar un índice de IA. Para garantizar un rendimiento de indexación predecible y coherente en cargas de trabajo de producción más grandes o para crear un índice de IA en una tabla con más de 1,000,000 de filas, haz lo siguiente:

  • Crea una reserva en la región en la que se encuentra tu tabla
  • Asigna tu proyecto a la reserva con job_type configurado como BACKGROUND.

Cuando hay una reserva de BACKGROUND, BigQuery la usa para ejecutar los trabajos en segundo plano que mantienen el índice de IA.

Precios

Los costos de los índices de IA se dividen en las siguientes categorías:

  • Sentencias DDL: No se aplican cargos adicionales por ejecutar las sentencias CREATE AI INDEX y DROP AI INDEX.
  • Procesamiento de datos de índices en segundo plano (trabajos de gc_): Todas las ejecuciones de procesamiento de datos se realizan directamente en BigQuery con ranuras de BigQuery. De forma predeterminada, BigQuery usa ranuras a pedido para controlar estos trabajos, y el proyecto de la tabla se factura según el modelo de facturación a pedido de DML. Si se asigna una reserva de BACKGROUND al proyecto, BigQuery usa la reserva de BACKGROUND para ejecutar estos trabajos de DML en segundo plano, y se factura la reserva por el uso del tiempo de ranura. Para obtener más información, consulta Realiza un seguimiento de los costos de los trabajos en segundo plano.
  • Generación de incorporaciones: La generación de incorporaciones para índices de IA, incluidas las incorporaciones generadas para las consultas de AI.SEARCH en tablas con un índice de IA, se factura según la tarifa publicada del modelo subyacente que usa el índice de IA. Es posible que Google actualice el modelo predeterminado que usan los índices de IA con el tiempo para mejorar el ciclo de vida o el rendimiento del modelo, y facturar según los precios de BigQuery publicados para el modelo.
  • Entrenamiento y optimización de índices: No se aplican cargos adicionales por el procesamiento necesario para entrenar y optimizar las estructuras de índices cuando usas el grupo de ranuras compartido predeterminado, siempre que el tamaño total de los datos de la tabla indexada esté por debajo del límite de tu organización.
  • Almacenamiento: Los índices de IA generan costos de almacenamiento mientras existen en la tabla. Puedes ver el tamaño de almacenamiento de un índice de IA en la columna total_logical_bytes de la vista INFORMATION_SCHEMA.AI_INDEXES.
  • Consultas: Las consultas que usan la función AI.SEARCH se facturan según los precios de procesamiento estándar de BigQuery. La generación de embeddings para la consulta se factura como se describió anteriormente en esta lista.

Limitaciones de los índices de IA

Cuando usas índices de IA, se aplican las siguientes limitaciones:

  • Si el texto combinado de las columnas indexadas de una fila es muy largo, como documentos completos o muchas columnas STRING largas, solo se usa una parte del texto para la búsqueda. Para asegurarte de que se usen los campos más informativos, especifica una lista de columnas explícita en CREATE AI INDEX con las columnas de mayor indicador enumeradas primero.
  • No se admiten las consultas que requieren una coincidencia exacta en los valores de identificador sin significado de lenguaje natural, como IDs, UUID, hashes o códigos del sistema. De forma predeterminada, AUTO COLUMNS incluye todas las columnas STRING de nivel superior sin filtrar las columnas de ID opacas. Para excluir las columnas de ID opaco del índice de IA, especifica una lista de columnas explícita en CREATE AI INDEX.
  • Las consultas que contienen restricciones numéricas estrictas o requieren un filtrado estructurado en columnas que no son de tipo STRING no se admiten solo con el texto de búsqueda en lenguaje natural. En su lugar, aplica filtros estructurados o numéricos con una cláusula WHERE en una subconsulta de prefiltrado.
  • La calidad de la búsqueda puede disminuir si el índice de IA incluye columnas con texto que no describe la fila, como registros sin procesar, seguimientos de pila, URLs o cadenas generadas por máquinas. Para excluir estas columnas, enumera las columnas que se indexarán en lugar de usar AUTO COLUMNS.
  • Las declaraciones CREATE OR REPLACE AI INDEX y ALTER AI INDEX no son compatibles. Tampoco puedes descartar, cambiar el nombre ni cambiar el tipo de datos de una columna de origen incluida en un índice de IA. Para cambiar las columnas indexadas, borra el índice de IA y vuelve a crearlo.
  • Las siguientes operaciones de tabla no se admiten en tablas con índices de IA. Para realizar estas operaciones, descarta el índice de IA.

    • Crea una tabla a partir del esquema de la tabla (CREATE TABLE ... LIKE).
    • Copiar la tabla (bq cp o CREATE TABLE ... COPY), incluidas las copias entre regiones, o copiar datos en una tabla existente que tenga un índice de IA
    • Clona la tabla (CREATE TABLE ... CLONE).
    • Crea una instantánea de tabla (CREATE SNAPSHOT TABLE).
    • Cambiar el nombre de la tabla (ALTER TABLE ... RENAME TO)
    • Restablece la tabla (RESTORE TABLE).

¿Qué sigue?