Generare e cercare embedding multimodali

Questo tutorial mostra come generare embedding multimodali per immagini e testo utilizzando BigQuery e Vertex AI, quindi come utilizzare questi embedding per eseguire una ricerca semantica da testo a immagine.

Questo tutorial spiega le seguenti attività:

• Creazione di una tabella degli oggetti BigQuery sui dati delle immagini in un bucket Cloud Storage.
• Esplorare i dati delle immagini utilizzando un notebook Colab Enterprise in BigQuery.
• Creazione di un modello remoto BigQuery ML che ha come target il modello di base Vertex AI multimodalembedding.
• Utilizzando il modello remoto con la funzione ML.GENERATE_EMBEDDING per generare incorporamenti dalle immagini nella tabella degli oggetti.
• Correggi eventuali errori di generazione degli incorporamenti.
• Se vuoi, puoi creare un indice vettoriale per indicizzare gli incorporamenti delle immagini.
• Creazione di un incorporamento di testo per una determinata stringa di ricerca.
• Utilizzo della funzione VECTOR_SEARCH per eseguire una ricerca semantica di incorporamenti di immagini simili all'incorporamento di testo.
• Visualizzare i risultati utilizzando un notebook.

Questo tutorial utilizza le immagini artistiche di pubblico dominio del Metropolitan Museum of Art disponibili nel bucket Cloud Storage pubblico gcs-public-data--met.

Ruoli obbligatori

Per eseguire questo tutorial, devi disporre dei seguenti ruoli IAM (Identity and Access Management):

• Crea e utilizza set di dati, connessioni, modelli e blocchi note BigQuery: Amministratore BigQuery Studio (roles/bigquery.studioAdmin).
• Concedi le autorizzazioni all'account di servizio della connessione: Amministratore IAM progetto (roles/resourcemanager.projectIamAdmin).

Questi ruoli predefiniti contengono le autorizzazioni necessarie per eseguire le attività descritte in questo documento. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Costi

In questo documento utilizzi i seguenti componenti fatturabili di Trusted Cloud by S3NS:

• BigQuery ML: You incur costs for the data that you process in BigQuery.
• Vertex AI: You incur costs for calls to the Vertex AI service that's represented by the remote model.

Per generare una stima dei costi in base all'utilizzo previsto, utilizza il calcolatore prezzi.

Per ulteriori informazioni sui prezzi di BigQuery, consulta la sezione Prezzi di BigQuery nella documentazione di BigQuery.

Per saperne di più sui prezzi di Vertex AI, consulta la pagina Prezzi di Vertex AI.

Prima di iniziare

1. In the Trusted Cloud console, on the project selector page, select or create a Trusted Cloud project.

   Go to project selector

2. Verify that billing is enabled for your Trusted Cloud project.

3. Enable the BigQuery, BigQuery Connection, and Vertex AI APIs.

   Enable the APIs

Crea un set di dati

Crea un set di dati BigQuery per archiviare il tuo modello ML.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Creare la tabella degli oggetti

Crea una tabella di oggetti sulle immagini artistiche nel bucket Cloud Storage pubblico gcs-public-data--met. La tabella degli oggetti consente di analizzare le immagini senza spostarle da Cloud Storage.

1. Nella console Trusted Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente query:

   CREATE OR REPLACE EXTERNAL TABLE `bqml_tutorial.met_images`
   WITH CONNECTION DEFAULT
   OPTIONS
     ( object_metadata = 'SIMPLE',
       uris = ['gs://gcs-public-data--met/*']
     );

Esplorare i dati dell'immagine

Crea un notebook Colab Enterprise in BigQuery per esplorare i dati delle immagini.

1. Nella console Trusted Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Crea un notebook utilizzando l'editor BigQuery.

3. Connetti il notebook al runtime predefinito.

4. Configura il notebook:

   1. Aggiungi una cella di codice al notebook.

   2. Copia e incolla il seguente codice nella cella di codice:

      #@title Set up credentials
      
      from google.colab import auth
      auth.authenticate_user()
      print('Authenticated')
      
      PROJECT_ID='PROJECT_ID'
      from google.cloud import bigquery
      client = bigquery.Client(PROJECT_ID)
      

      Sostituisci PROJECT_ID con il nome del progetto che utilizzi per questo tutorial.

   3. Esegui la cella di codice.

5. Attiva la visualizzazione della tabella:

   1. Aggiungi una cella di codice al notebook.

   2. Copia e incolla il seguente codice nella cella di codice:

      #@title Enable data table display
      %load_ext google.colab.data_table
      

   3. Esegui la cella di codice.

6. Crea una funzione per visualizzare le immagini:

   1. Aggiungi una cella di codice al notebook.

   2. Copia e incolla il seguente codice nella cella di codice:

      #@title Util function to display images
      import io
      from PIL import Image
      import matplotlib.pyplot as plt
      import tensorflow as tf
      
      def printImages(results):
       image_results_list = list(results)
       amt_of_images = len(image_results_list)
      
       fig, axes = plt.subplots(nrows=amt_of_images, ncols=2, figsize=(20, 20))
       fig.tight_layout()
       fig.subplots_adjust(hspace=0.5)
       for i in range(amt_of_images):
         gcs_uri = image_results_list[i][0]
         text = image_results_list[i][1]
         f = tf.io.gfile.GFile(gcs_uri, 'rb')
         stream = io.BytesIO(f.read())
         img = Image.open(stream)
         axes[i, 0].axis('off')
         axes[i, 0].imshow(img)
         axes[i, 1].axis('off')
         axes[i, 1].text(0, 0, text, fontsize=10)
       plt.show()
      

   3. Esegui la cella di codice.

7. Visualizza le immagini:

   1. Aggiungi una cella di codice al notebook.

   2. Copia e incolla il seguente codice nella cella di codice:

      #@title Display Met images
      
      inspect_obj_table_query = """
      SELECT uri, content_type
      FROM bqml_tutorial.met_images
      WHERE content_type = 'image/jpeg'
      Order by uri
      LIMIT 10;
      """
      printImages(client.query(inspect_obj_table_query))
      

   3. Esegui la cella di codice.

      I risultati dovrebbero essere simili ai seguenti:

      

8. Salva il notebook come met-image-analysis.

Crea il modello remoto

Crea un modello remoto che rappresenti un modello di incorporamento multimodale Vertex AI ospitato:

1. Nella console Trusted Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente query:

   CREATE OR REPLACE MODEL `bqml_tutorial.multimodal_embedding_model`
     REMOTE WITH CONNECTION DEFAULT
     OPTIONS (ENDPOINT = 'multimodalembedding@001');

   Il completamento della query richiede diversi secondi, dopodiché il modello multimodal_embedding_model viene visualizzato nel set di dati bqml_tutorial nel riquadro Spazio di esplorazione. Poiché la query utilizza un'istruzione CREATE MODEL per creare un modello, non sono presenti risultati della query.

Generare incorporamenti di immagini

Genera incorporamenti dalle immagini nella tabella degli oggetti utilizzando la funzione ML.GENERATE_EMBEDDING, quindi scrivili in una tabella per utilizzarli in un passaggio successivo. La generazione di incorporamenti è un'operazione costosa, quindi la query utilizza una sottoquery che include la clausola LIMIT per limitare la generazione di incorporamenti a 10.000 immagini anziché incorporare l'intero set di dati di 601.294 immagini. In questo modo,il numero di immagini rimane al di sotto del limite di 25.000 per la funzione ML.GENERATE_EMBEDDING. L'esecuzione di questa query richiede circa 40 minuti.

1. Nella console Trusted Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente query:

   CREATE OR REPLACE TABLE `bqml_tutorial.met_image_embeddings`
   AS
   SELECT *
   FROM
     ML.GENERATE_EMBEDDING(
       MODEL `bqml_tutorial.multimodal_embedding_model`,
       (SELECT * FROM `bqml_tutorial.met_images` WHERE content_type = 'image/jpeg' LIMIT 10000))

Correggere eventuali errori di generazione degli incorporamenti

Controlla e correggi eventuali errori di generazione degli incorporamenti. La generazione di incorporamenti può non riuscire a causa delle quote di AI generativa su Vertex AI o della mancata disponibilità del servizio.

La funzione ML.GENERATE_EMBEDDING restituisce i dettagli dell'errore nella colonna ml_generate_embedding_status. Questa colonna è vuota se la generazione dell'incorporamento è andata a buon fine oppure contiene un messaggio di errore se la generazione dell'incorporamento non è riuscita.

1. Nella console Trusted Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente query per verificare se si sono verificati errori di generazione di incorporamenti:

   SELECT DISTINCT(ml_generate_embedding_status),
     COUNT(uri) AS num_rows
   FROM bqml_tutorial.met_image_embeddings
   GROUP BY 1;

3. Se vengono restituite righe con errori, elimina le righe in cui la generazione dell'incorporamento non è riuscita:

   DELETE FROM `bqml_tutorial.met_image_embeddings`
   WHERE ml_generate_embedding_status = 'A retryable error occurred: RESOURCE_EXHAUSTED error from remote service/endpoint.';

Crea un indice vettoriale

Se vuoi, puoi utilizzare l'istruzione CREATE VECTOR INDEX per creare l'indice vettoriale met_images_index nella colonna ml_generate_embedding_result della tabella met_images_embeddings. Un indice vettoriale ti consente di eseguire una ricerca vettoriale più rapidamente, con il compromesso di ridurre il richiamo e quindi restituire risultati più approssimativi.

1. Nella console Trusted Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente query:

   CREATE OR REPLACE
     VECTOR INDEX `met_images_index`
   ON
     bqml_tutorial.met_image_embeddings(ml_generate_embedding_result)
     OPTIONS (
       index_type = 'IVF',
       distance_type = 'COSINE');

3. L'indice vettoriale viene creato in modo asincrono. Per verificare se l'indice vettoriale è stato creato, esegui una query sulla visualizzazione INFORMATION_SCHEMA.VECTOR_INDEXES e verifica che il valore coverage_percentage sia maggiore di 0 e che il valore last_refresh_time non sia NULL:

   SELECT table_name, index_name, index_status,
     coverage_percentage, last_refresh_time, disable_reason
   FROM bqml_tutorial.INFORMATION_SCHEMA.VECTOR_INDEXES
   WHERE index_name = 'met_images_index';

Genera un embedding per il testo di ricerca

Per cercare immagini che corrispondano a una stringa di ricerca di testo specificata, devi prima creare un incorporamento di testo per quella stringa. Utilizza lo stesso modello remoto per creare l'incorporamento di testo che hai utilizzato per creare gli incorporamenti di immagini, e poi scrivi l'incorporamento di testo in una tabella da utilizzare in un passaggio successivo. La stringa di ricerca è pictures of white or cream colored dress from victorian era.

1. Nella console Trusted Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente query:

   CREATE OR REPLACE TABLE `bqml_tutorial.search_embedding`
   AS
   SELECT * FROM ML.GENERATE_EMBEDDING(
     MODEL `bqml_tutorial.multimodal_embedding_model`,
     (
       SELECT 'pictures of white or cream colored dress from victorian era' AS content
     )
   );

Eseguire una ricerca semantica da testo a immagine

Utilizza la funzione VECTOR_SEARCH per eseguire una ricerca semantica di immagini che corrispondono meglio alla stringa di ricerca rappresentata dall'incorporamento di testo.

1. Nella console Trusted Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la query seguente per eseguire una ricerca semantica e scrivere i risultati in una tabella:

   CREATE OR REPLACE TABLE `bqml_tutorial.vector_search_results` AS
   SELECT base.uri AS gcs_uri, distance
   FROM
     VECTOR_SEARCH(
       TABLE `bqml_tutorial.met_image_embeddings`,
       'ml_generate_embedding_result',
       TABLE `bqml_tutorial.search_embedding`,
       'ml_generate_embedding_result',
       top_k => 3);

Visualizzare i risultati della ricerca semantica

Visualizza i risultati della ricerca semantica utilizzando un blocco note.

1. Nella console Trusted Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Apri il notebook met-image-analysis che hai creato in precedenza.

3. Visualizza i risultati della ricerca vettoriale:

   1. Aggiungi una cella di codice al notebook.

   2. Copia e incolla il seguente codice nella cella di codice:

      query = """
        SELECT * FROM `bqml_tutorial.vector_search_results`
        ORDER BY distance;
      """
      
      printImages(client.query(query))
      

   3. Esegui la cella di codice.

      I risultati dovrebbero essere simili ai seguenti:

      

Esegui la pulizia

1. In the Trusted Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.