Enriquecimientos de objetos

Puedes usar los enriquecimientos de objetos para generar automáticamente metadatos estructurados sin crear canalizaciones de aprendizaje automático personalizadas. Los enriquecimientos de objetos aplican los modelos de aprendizaje automático previamente entrenados de Google directamente a tus objetos almacenados para ayudarte a buscar, seleccionar y administrar tus datos no estructurados a gran escala.

Para comenzar a generar metadatos para tus objetos, consulta Configura enriquecimientos de objetos.

Cómo funciona

Para usar los enriquecimientos de objetos, debes trabajar con las siguientes partes del sistema:

  • Configuración de atributos (FeatureConfig): Creas una configuración de atributos para especificar qué buckets o proyectos supervisa Cloud Storage.
  • Modelos de aprendizaje automático: En tu configuración, eliges los modelos que deseas aplicar, como los que detectan objetos, etiquetan imágenes, analizan rostros o clasifican documentos PDF.
  • Enriquecimientos de objetos (metadatos): Cloud Storage analiza tus objetos de forma asíncrona y evalúa los objetos aptos con los modelos que seleccionaste. Luego, Cloud Storage adjunta los metadatos resultantes directamente a tus objetos como contextos de objetos.

Después de que Cloud Storage adjunte los metadatos de enriquecimiento a tus objetos, los metadatos estarán listos para usarse. Puedes inspeccionar los enriquecimientos de objetos individuales o usar conjuntos de datos de Storage Insights para analizar metadatos en millones de objetos con SQL en BigQuery.

En el siguiente diagrama, se muestra cómo Cloud Storage usa los enriquecimientos de objetos para extraer el contexto de los datos no estructurados y almacenarlo como contextos de objetos para los flujos de trabajo de IA y análisis downstream:

Figura 1. Flujo de trabajo de enriquecimiento de objetos, desde los datos sin procesar hasta los contextos de objetos y los agentes de IA.
Figura 1. Cómo los enriquecimientos de objetos extraen metadatos y los almacenan como contextos de objetos.

Modelos compatibles

Cuando creas una configuración de atributos, seleccionas los modelos de aprendizaje automático que mejor se adapten a tus datos y objetivos de análisis. Cloud Storage evalúa los objetos aptos con los modelos que elegiste y genera metadatos estructurados en contexts.custom.

En la tabla de modelos admitidos, se muestra cada modelo, lo que detecta y los datos de salida de ejemplo. Para obtener definiciones de esquemas y claves de contexto detalladas, consulta Modelos y esquemas compatibles.

Modelo Descripción Datos de salida de muestra
Object Detection Detecta varios objetos en una imagen y proporciona sus posiciones y límites rectangulares. Producto, animal, persona
Etiquetado de imágenes Detecta y extrae información sobre las entidades de una imagen en un amplio grupo de categorías, como objetos, ubicaciones y actividades. Paisaje, urbano, noche
Detección de rostro Detecta rostros en imágenes, incluidos polígonos de límite, puntos de referencia faciales (ojos, nariz, boca), ángulos de orientación y probabilidades de expresión. Recuento de rostros, ángulo de giro y de inclinación
Detección de contenido explícito Evalúa las imágenes en busca de contenido sensible o inapropiado, incluido el material para adultos o violento. Clasificaciones de probabilidad de contenido violento y para adultos
Clasificación de PDF Clasifica documentos PDF en categorías estándar de empresas y sectores según su contenido. Finanzas, impuestos y facturas (categorías y puntuaciones)

Casos de uso

Puedes usar los enriquecimientos de objetos para optimizar la administración de datos no estructurados y preparar objetos para los siguientes flujos de trabajo de IA y análisis downstream:

  • Organiza y cataloga objetos no organizados: Clasifica automáticamente colecciones de documentos PDF (como facturas, resúmenes de cuenta bancaria y formularios fiscales) y de imágenes. Puedes usar estas clasificaciones para crear catálogos de datos en los que se puedan realizar búsquedas en tus buckets sin escribir código personalizado.
  • Fundamenta los agentes de IA y mejora la búsqueda: Convierte los repositorios de documentos desorganizados en bases de conocimiento estructuradas. Puedes usar las categorías de documentos y las etiquetas de imágenes para mejorar la recuperación durante la generación mejorada por recuperación (RAG) y fundamentar tus aplicaciones de IA generativa.
  • Muestrea y prepara datos para la IA generativa: Diferencia entre los tipos de documentos para realizar un muestreo estratificado antes de enrutar el contenido a modelos de lenguaje grandes (LLM) o a la revisión humana.
  • Organiza conjuntos de datos de entrenamiento de aprendizaje automático: Filtra y segmenta imágenes y documentos por taxonomía o etiquetas visuales para ensamblar conjuntos de datos de entrenamiento específicos del dominio para el ajuste de modelos.
  • Analiza en busca de contenido sensible o explícito: Inspecciona automáticamente las imágenes subidas en busca de material inapropiado para respaldar tus políticas de seguridad y moderación de contenido.
  • Mejora las instrucciones multimodales: Pasa metadatos estructurados, como cuadros delimitadores y categorías de documentos, como contexto cuando envíes instrucciones a modelos multimodales, como Gemini.
  • Simplifica las arquitecturas de datos: Elimina las canalizaciones de transferencia personalizadas y la infraestructura de procesamiento generando metadatos directamente en Cloud Storage.

Consulta y analiza tus metadatos

Cloud Storage adjunta enriquecimientos de objetos directamente a tus objetos como contextos de objetos. Según tu escala y flujo de trabajo, puedes acceder a estos metadatos y analizarlos de las siguientes maneras:

  • Inspecciona objetos individuales: Usa la consola de Cloud de Confiance o las APIs de Cloud Storage para inspeccionar los enriquecimientos de objetos específicos. Para obtener instrucciones, consulta Administra los enriquecimientos de objetos.
  • Analiza a gran escala con SQL: Usa los conjuntos de datos de Storage Insights para exportar metadatos de millones o miles de millones de objetos directamente a BigQuery. Después de que Storage Insights exporte los metadatos, puedes consultar la vista object_contexts_catalog_view con SQL estándar. Por ejemplo, puedes buscar etiquetas, filtrar por categoría o encontrar objetos que tengan puntuaciones de confianza altas.

Para comenzar a usar las consultas en SQL y las recetas de muestra, consulta Analiza los enriquecimientos de objetos en BigQuery.

Consideraciones y limitaciones

Antes de configurar los enriquecimientos de objetos, revisa las siguientes consideraciones operativas:

Ubicación de procesamiento

Los enriquecimientos de objetos procesan datos en tres ubicaciones geográficas: us, eu y asia. Cuando selecciones una ubicación de procesamiento, ten en cuenta las siguientes consideraciones:

  • Cumplimiento: Asegúrate de que la ubicación de procesamiento que elijas cumpla con tus requisitos reglamentarios y de soberanía de los datos.
  • Rendimiento: Elige la ubicación de procesamiento más cercana a la región de almacenamiento de tu bucket.
  • Costo: Para evitar cargos duplicados, configura solo una ubicación de procesamiento para cada bucket y modelo. Si configuras varias ubicaciones para el mismo bucket y modelo, Cloud Storage procesa tus objetos en cada ubicación y te cobra por cada ejecución.

Procesamiento y rendimiento

Revisa las siguientes restricciones sobre los tipos de contenido, los tamaños de los objetos y los plazos de procesamiento:

  • Procesamiento asíncrono: Cloud Storage procesa objetos de forma asíncrona.

  • Límite de tamaño de los objetos: Los objetos (tanto imágenes como archivos PDF) deben tener un tamaño de 20 MiB o menos.

  • Tipos de contenido admitidos: Cloud Storage usa el campo de metadatos Content-Type establecido en un objeto para determinar si se debe evaluar. Si un objeto tiene un Content-Type no válido o faltante, Cloud Storage no lo procesa, incluso si los datos subyacentes son una imagen o un PDF válidos. Para asegurarte de que Cloud Storage procese el objeto, actualiza los metadatos Content-Type a uno de los siguientes tipos admitidos:

    • Imágenes: BMP, GIF, ICO, JPEG, PNG, TIFF y WEBP.
    • Documentos: PDF (application/pdf).

Características no compatibles

Los enriquecimientos de objetos no son compatibles con los siguientes tipos de bucket y operaciones:

  • Reubicación de buckets: Los enriquecimientos de objetos no son compatibles con la reubicación de buckets. Quita el bucket de la configuración de tus funciones antes de reubicarlo.
  • Tipos de bucket no admitidos: No puedes habilitar los enriquecimientos de objetos en buckets rápidos ni en buckets que tengan habilitado el espacio de nombres jerárquico.

Administración de la configuración y el alcance

Cuando defines y mantienes buckets de segmentación en tus parámetros de configuración de funciones, se aplican los siguientes requisitos:

  • Alcance del bucket: Especifica los nombres exactos de los buckets en la configuración de la función. Cloud Storage no admite expresiones regulares ni patrones de comodines.
  • Ciclo de vida del bucket: Cloud Storage no agrega automáticamente buckets recién creados, recreados o reubicados a las configuraciones existentes. Debes actualizar la configuración de tu función para incluir estos buckets.

Costos y seguridad

Revisa los siguientes detalles operativos relacionados con las claves de encriptación y los cargos de acceso a los datos:

  • Claves proporcionadas por el cliente (CSEK): Los enriquecimientos de objetos no admiten objetos encriptados con claves de encriptación proporcionadas por el cliente.
  • Acceso al almacenamiento y Autoclass: Para generar metadatos, los enriquecimientos de objetos leen los datos de tus objetos. Estas operaciones de lectura generan cargos estándar por acceso a los datos. Además, si tu bucket tiene Autoclass habilitado, estas lecturas activan transiciones de clases de almacenamiento.

Precios

El uso de enriquecimientos de objetos genera cargos por la inferencia de modelos, el almacenamiento de metadatos, las operaciones de acceso a los datos y las herramientas de redes. Para obtener más información, consulta Precios.

Supervisa y soluciona problemas

Para hacer un seguimiento del progreso de la generación de metadatos y resolver problemas cuando configures los enriquecimientos de objetos, usa los siguientes recursos:

¿Qué sigue?