Analiza imágenes con un modelo de Gemini

En este instructivo, se muestra cómo crear un modelo remoto de BigQuery ML que se base en el modelo gemini-2.5-flash y, luego, usar ese modelo con la función AI.GENERATE_TEXT para analizar un conjunto de imágenes de pósteres de películas.

En este instructivo, se abarcan las siguientes tareas:

  • Crear una tabla de objetos de BigQuery sobre datos de imágenes en un bucket de Cloud Storage.
  • Crear un modelo remoto de BigQuery ML que se oriente al modelo gemini-2.5-flash de Vertex AI
  • Usar el modelo remoto con la función AI.GENERATE_TEXT para identificar las películas asociadas con un conjunto de pósteres de películas.

Los datos de pósteres de películas están disponibles en el bucket de Cloud Storage público gs://cloud-samples-data/vertex-ai/dataset-management/datasets/classic-movie-posters.

Roles obligatorios

Para ejecutar este instructivo, necesitas los siguientes roles de Identity and Access Management (IAM):

  • Crear y usar conjuntos de datos, conexiones y modelos de BigQuery: Administrador de BigQuery (roles/bigquery.admin)
  • Otorga permisos a la cuenta de servicio de la conexión: Administrador de IAM del proyecto (roles/resourcemanager.projectIamAdmin).

Estos roles predefinidos contienen los permisos necesarios para realizar las tareas de este documento. Para ver los permisos exactos que son necesarios, expande la sección Permisos necesarios:

Permisos necesarios

  • Crea un conjunto de datos: bigquery.datasets.create
  • Crea, delega y usa una conexión: bigquery.connections.*
  • Establece la conexión predeterminada: bigquery.config.*
  • Configura los permisos de la cuenta de servicio: resourcemanager.projects.getIamPolicy y resourcemanager.projects.setIamPolicy
  • Crea una tabla de objetos: bigquery.tables.create y bigquery.tables.update
  • Crea un modelo y ejecuta la inferencia:
    • bigquery.jobs.create
    • bigquery.models.create
    • bigquery.models.getData
    • bigquery.models.updateData
    • bigquery.models.updateMetadata

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Costos

En este documento, usarás los siguientes componentes facturables de Cloud de Confiance by S3NS:

  • BigQuery ML: You incur costs for the data that you process in BigQuery.
  • Vertex AI: You incur costs for calls to the Vertex AI model that is represented by the BigQuery remote model.

Para obtener más información sobre los precios de BigQuery, consulta Precios de BigQuery en la documentación de BigQuery.

Para obtener más información sobre los precios de IA generativa de Vertex AI, consulta la página Precios de Vertex AI.

Antes de comenzar

  1. En la consola de Cloud de Confiance , en la página del selector de proyectos, selecciona o crea un proyecto de Cloud de Confiance .

    Roles necesarios para seleccionar o crear un proyecto

    • Selecciona un proyecto: Para seleccionar un proyecto, no se requiere un rol de IAM específico. Puedes seleccionar cualquier proyecto en el que se te haya otorgado un rol.
    • Crear un proyecto: Para crear un proyecto, necesitas el rol de Creador de proyectos (roles/resourcemanager.projectCreator), que contiene el permiso resourcemanager.projects.create. Obtén más información para otorgar roles.

    Ir al selector de proyectos

  2. Verifica que la facturación esté habilitada para tu proyecto de Cloud de Confiance .

  3. Habilita las APIs de BigQuery, BigQuery Connection y Vertex AI.

    Roles necesarios para habilitar las APIs

    Para habilitar las APIs, necesitas el rol de IAM de administrador de Service Usage (roles/serviceusage.serviceUsageAdmin), que contiene el permiso serviceusage.services.enable. Obtén más información para otorgar roles.

    Habilitar las API

Crea un conjunto de datos

Crea un conjunto de datos de BigQuery para almacenar tu modelo de AA.

Console

  1. En la consola de Cloud de Confiance , ve a la página BigQuery.

    Ir a la página de BigQuery

  2. En el panel Explorador, haz clic en el nombre de tu proyecto.

  3. Haz clic en Ver acciones > Crear conjunto de datos.

  4. En la página Crear conjunto de datos, haz lo siguiente:

    • En ID del conjunto de datos, ingresa bqml_tutorial.

    • En Tipo de ubicación, selecciona Multirregión y, luego, EE.UU..

    • Deja la configuración predeterminada restante como está y haz clic en Crear conjunto de datos.

bq

Para crear un conjunto de datos nuevo, usa el comando bq mk --dataset.

  1. Crea un conjunto de datos llamado bqml_tutorial con la ubicación de los datos establecida en US.

    bq mk --dataset \
  --location=US \
  --description "BigQuery ML tutorial dataset." \
  bqml_tutorial

  2. Confirma que se haya creado el conjunto de datos:

    bq ls

API

Llama al método datasets.insert con un recurso de conjunto de datos definido.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

Crea la tabla de objetos

Crea una tabla de objetos sobre las imágenes de pósteres de películas en el bucket público de Cloud Storage. La tabla de objetos permite analizar las imágenes sin transferirlas desde Cloud Storage.

  1. En la consola de Cloud de Confiance , ve a la página BigQuery.

    Ir a BigQuery

  2. En el editor de consultas, ejecuta la siguiente consulta para crear la tabla de objetos:

    CREATE OR REPLACE EXTERNAL TABLE `bqml_tutorial.movie_posters`
  WITH CONNECTION DEFAULT
  OPTIONS (
    object_metadata = 'SIMPLE',
    uris =
      ['gs://cloud-samples-data/vertex-ai/dataset-management/datasets/classic-movie-posters/*']);

Crea el modelo remoto

Crea un modelo remoto que represente un modelo gemini-2.5-flash de Vertex AI:

  1. En la consola de Cloud de Confiance , ve a la página BigQuery.

    Ir a BigQuery

  2. En el editor de consultas, ejecuta la siguiente consulta para crear el modelo remoto:

    CREATE OR REPLACE MODEL `bqml_tutorial.gemini-vision`
  REMOTE WITH CONNECTION DEFAULT
  OPTIONS (ENDPOINT = 'gemini-2.5-flash');

    La consulta tarda varios segundos en completarse, después de eso, el modelo gemini-vision aparece en el conjunto de datos bqml_tutorial en el panel Explorador. Debido a que la consulta usa una declaración CREATE MODEL para crear un modelo, no hay resultados de consultas.

Analiza los pósteres de películas

Usa el modelo remoto para analizar los pósteres de películas y determinar qué película representa cada uno de ellos. Luego, escribe estos datos en una tabla.

  1. En la consola de Cloud de Confiance , ve a la página BigQuery.

    Ir a BigQuery

  2. En el editor de consultas, ejecuta la siguiente consulta para analizar las imágenes de pósteres de películas:

    CREATE OR REPLACE TABLE
  `bqml_tutorial.movie_posters_results` AS (
  SELECT
    uri,
   result
  FROM
    AI.GENERATE_TEXT( MODEL `bqml_tutorial.gemini-vision`,
      TABLE `bqml_tutorial.movie_posters`,
      STRUCT( 0.2 AS temperature,
        'For the movie represented by this poster, what is the movie title and year of release? Answer in JSON format with two keys: title, year. title should be string, year should be integer.' AS PROMPT)));

  3. En el editor de consultas, ejecuta la siguiente declaración para ver los datos de la tabla:

    SELECT * FROM `bqml_tutorial.movie_posters_results`;

    El resultado es similar al siguiente: 

    +--------------------------------------------+----------------------------------+
| uri                                        | result                           |
+--------------------------------------------+----------------------------------+
| gs://cloud-samples-data/vertex-ai/dataset- | json                          |
| management/datasets/classic-movie-         | {                                |
| posters/little_annie_rooney.jpg            |  "title": "Little Annie Rooney", |
|                                            |  "year": 1912                    |
|                                            | }                                |
|                                            |                              |
+--------------------------------------------+----------------------------------+
| gs://cloud-samples-data/vertex-ai/dataset- | json                          |
| management/datasets/classic-movie-         | {                                |
| posters/mighty_like_a_mouse.jpg            |  "title": "Mighty Like a Moose", |
|                                            |  "year": 1926                    |
|                                            | }                                |
|                                            |                              |
+--------------------------------------------+----------------------------------+
| gs://cloud-samples-data/vertex-ai/dataset- | json                          |
| management/datasets/classic-movie-         | {                                |
| posters/brown_of_harvard.jpeg              |  "title": "Brown of Harvard",    |
|                                            |  "year": 1926                    |
|                                            | }                                |
|                                            |                              |
+--------------------------------------------+----------------------------------+

Da formato a la salida del modelo

Da formato a los datos de análisis de películas que muestra el modelo para hacer que el título de la película y los datos de años sean más legibles.

  1. En la consola de Cloud de Confiance , ve a la página BigQuery.

    Ir a BigQuery

  2. En el editor de consultas, ejecuta la siguiente consulta para dar formato a los datos:

    CREATE OR REPLACE TABLE
  `bqml_tutorial.movie_posters_results_formatted` AS (
  SELECT
    uri,
    JSON_QUERY(RTRIM(LTRIM(results.result, " ```json"), "```"), "$.title") AS title,
    JSON_QUERY(RTRIM(LTRIM(results.result, " ```json"), "```"), "$.year") AS year
  FROM
    `bqml_tutorial.movie_posters_results` results );

  3. En el editor de consultas, ejecuta la siguiente declaración para ver los datos de la tabla:

    SELECT * FROM `bqml_tutorial.movie_posters_results_formatted`;

    El resultado es similar al siguiente:

    +--------------------------------------------+----------------------------+------+
| uri                                        | title                      | year |
+--------------------------------------------+----------------------------+------+
| gs://cloud-samples-data/vertex-ai/dataset- | "Barque sortant du port"   | 1895 |
| management/datasets/classic-movie-         |                            |      |
| posters/barque_sortant_du_port.jpeg        |                            |      |
+--------------------------------------------+----------------------------+------+
| gs://cloud-samples-data/vertex-ai/dataset- | "The Great Train Robbery"  | 1903 |
| management/datasets/classic-movie-         |                            |      |
| posters/the_great_train_robbery.jpg        |                            |      |
+--------------------------------------------+----------------------------+------+
| gs://cloud-samples-data/vertex-ai/dataset- | "Little Annie Rooney"      | 1912 |
| management/datasets/classic-movie-         |                            |      |
| posters/little_annie_rooney.jpg            |                            |      |
+--------------------------------------------+----------------------------+------+

Realiza una limpieza

  1. En la Cloud de Confiance consola, ve a la página Administrar recursos.

    Ir a Administrar recursos

  2. En la lista de proyectos, elige el proyecto que quieres borrar y haz clic en Borrar.
  3. En el diálogo, escribe el ID del proyecto y, luego, haz clic en Cerrar para borrar el proyecto.