Analizzare i dati multimodali in BigQuery
Questo documento descrive le funzionalità di BigQuery che puoi utilizzare per analizzare i dati multimodali. Alcune funzionalità sono disponibili nella consoleTrusted Cloud e nello strumento a riga di comando bq, mentre altre sono disponibili utilizzando BigQuery DataFrames in Python. Puoi utilizzare molte di queste funzionalità insieme per semplificare i flussi di lavoro di analisi e trasformazione per i dati multimodali.
Le funzionalità di dati multimodali di BigQuery consentono di eseguire le seguenti attività:
- Integra i dati non strutturati nelle tabelle standard utilizzando i valori
ObjectRef
. - Utilizza i valori
ObjectRefRuntime
per lavorare con i dati non strutturati nei flussi di lavoro di analisi e trasformazione. - Genera testo, incorporamenti e valori scalari da dati multimodali utilizzando le funzioni di AI generativa BigQuery ML con i modelli Gemini.
- Crea DataFrame multimodali in BigQuery DataFrames.
- Trasforma le immagini e dividi i file PDF in blocchi utilizzando i metodi
Series.BlobAccessor
di BigQuery DataFrames. - Genera testo ed embedding da dati multimodali utilizzando i metodi di AI generativa BigQuery DataFrames.
Per un tutorial passo passo che utilizza la console Trusted Cloud , consulta Analizzare dati multimodali con SQL. Per un tutorial passo passo che utilizza BigQuery DataFrames in Python, consulta Analizzare dati multimodali in Python con BigQuery DataFrames.
Vantaggi
Le funzionalità di dati multimodali di BigQuery offrono i seguenti vantaggi:
- Componibilità: puoi archiviare e gestire dati strutturati e non strutturati
nella stessa riga di tabella standard utilizzando i valori
ObjectRef
. Ad esempio, puoi memorizzare le immagini di un prodotto nella stessa riga del resto delle informazioni del prodotto. Puoi utilizzare le funzioni SQL standard per creare e aggiornare colonne contenenti valoriObjectRef
e puoi creare valoriObjectRef
come output di un'azione di trasformazione su un oggetto. - Utilizzo dei dati degli oggetti nei prompt dell'AI generativa: utilizza i valori
ObjectRefRuntime
come input per le funzioni di AI generativa. Ad esempio, puoi generare incorporamenti su dati di immagini e testo della stessa tabella. Per la generazione di testo e valori scalari, puoi anche fare riferimento a più oggetti all'interno del prompt che invii a un modello. Ad esempio, potresti creare un prompt che chieda al modello di confrontare due immagini di animali e restituire un testo che indichi se mostrano lo stesso tipo di animale. - Persisting chunk ordering: puoi dividere gli oggetti in blocchi e poi memorizzarli
come array di valori
ObjectRef
in una colonna della tabella standard, per mantenerne l'ordine. Ad esempio, potresti analizzare le immagini di un video e poi memorizzarle come array di valoriObjectRef
, in modo che le immagini rimangano nello stesso ordine in cui appaiono nel video originale.
ObjectRef
valori
Un valore ObjectRef
è un valore STRUCT
che utilizza il
formato ObjectRef
.
Puoi archiviare i metadati degli oggetti Cloud Storage e un autorizzatore associato in una tabella standard BigQuery creando una colonna STRUCT
o ARRAY<STRUCT>
che utilizza questo formato.
Il valore dell'autorizzatore identifica la
connessione alle risorse Cloud
che BigQuery utilizza per accedere all'oggetto Cloud Storage.
Utilizza i valori ObjectRef
quando devi integrare dati non strutturati in una
tabella standard. Ad esempio, in una tabella dei prodotti, puoi memorizzare le immagini dei prodotti
nella stessa riga con il resto delle informazioni sul prodotto aggiungendo una colonna
contenente un valore ObjectRef
.
Crea e aggiorna i valori di ObjectRef
utilizzando le seguenti funzioni GoogleSQL:
OBJ.MAKE_REF
: crea un valoreObjectRef
che contenga i metadati di un oggetto Cloud Storage.OBJ.FETCH_METADATA
: recupera i metadati di Cloud Storage per un valoreObjectRef
parzialmente compilato con i valoriuri
eauthorizer
.
Per ulteriori informazioni, vedi
Specificare le colonne ObjectRef
negli schemi delle tabelle.
ObjectRefRuntime
valori
Un valore ObjectRefRuntime
è un valore JSON
che utilizza lo
schema ObjectRefRuntime
.
Un valore ObjectRefRuntime
contiene i metadati dell'oggetto Cloud Storage
dal valore ObjectRef
utilizzato per crearlo, un autorizzatore associato
e gli URL di accesso. Puoi utilizzare gli URL di accesso per leggere o modificare l'oggetto in
Cloud Storage.
Utilizza i valori ObjectRefRuntime
per lavorare con i dati degli oggetti nei flussi di lavoro di analisi e
trasformazione. Gli URL di accesso nei valori ObjectRefRuntime
scadono
al massimo dopo 6 ore, anche se puoi configurare un periodo di scadenza più breve. Se
mantieni i valori di ObjectRefRuntime
in qualsiasi punto del flusso di lavoro, devi
aggiornare regolarmente questi dati. Per rendere persistenti i metadati degli oggetti, archivia
i valori ObjectRef
e utilizzali per generare i valori ObjectRefRuntime
quando ne hai bisogno. I valori ObjectRef
non devono essere aggiornati a meno che
non vengano modificati gli oggetti sottostanti in Cloud Storage.
Crea valori ObjectRefRuntime
utilizzando la
funzione OBJ.GET_ACCESS_URL
.
Funzioni di AI generativa
Genera testo, incorporamenti e valori scalari in base all'input ObjectRefRuntime
utilizzando le seguenti funzioni di AI generativa con i modelli Gemini:
ML.GENERATE_TEXT
AI.GENERATE_TABLE
AI.GENERATE
AI.GENERATE_BOOL
AI.GENERATE_DOUBLE
AI.GENERATE_INT
ML.GENERATE_EMBEDDING
Per tutte le funzioni, ad eccezione di ML.GENERATE_EMBEDDING
, puoi fornire i valori ObjectRefRuntime
come singoli valori o in matrici.
ML.GENERATE_EMBEDDING
accetta solo valori singoli.
Lavorare con dati multimodali in Python
Puoi analizzare i dati multimodali in Python utilizzando le classi e i metodi BigQuery DataFrames.
DataFrame multimodali
Crea un DataFrame multimodale che integri dati strutturati e non strutturati
utilizzando i seguenti metodi
Session
:
- Metodo
from_glob_path
: crea un DataFrame multimodale da un bucket Cloud Storage. - Metodo
read_gbq_object_table
: crea un DataFrame multimodale da una tabella di oggetti.
Metodi di trasformazione degli oggetti
Trasforma i dati degli oggetti utilizzando i seguenti metodi
Series.BlobAccessor
:
- Metodo
pdf_chunk
: crea blocchi di oggetti PDF da un DataFrame multimodale. I seguenti metodi per trasformare gli oggetti immagine da un DataFrame multimodale:
Metodi di AI generativa
Utilizza i seguenti metodi per eseguire attività di AI generativa sui dati multimodali:
- Metodo
predict
della classeGeminiTextGenerator
: genera testo basato su dati multimodali. - Metodo
predict
della classeMultimodalEmbeddingGenerator
: genera incorporamenti basati su dati multimodali.
Tabelle di oggetti
Se sei nella lista consentita per l'anteprima dei dati multimodali, tutte le nuove
tabelle degli oggetti che
crei hanno una colonna ref
che contiene un valore ObjectRef
per l'oggetto
specificato. La connessione utilizzata per creare la tabella degli oggetti viene utilizzata
per popolare i valori authorizer
nella colonna ref
. Puoi utilizzare la colonna
ref
per compilare e aggiornare i valori ObjectRef
nelle tabelle standard.
Limitazioni
Si applicano le seguenti limitazioni alle funzionalità di dati multimodali di BigQuery:
- Devi eseguire qualsiasi query che fa riferimento ai valori
ObjectRef
nello stesso progetto della tabella che contiene i valoriObjectRef
. - Non puoi avere più di 20 connessioni nel progetto e nella regione in cui esegui query che fanno riferimento ai valori
ObjectRef
oObjectRefRuntime
. Ad esempio, se esegui le query inasia-east1
inmyproject
, non puoi avere più di 20 connessioni inasia-east1
inmyproject
.
Costi
Quando utilizzi dati multimodali, si applicano i seguenti costi:
- L'archiviazione dei metadati degli oggetti come valori
ObjectRef
nelle tabelle standard contribuisce al costo di archiviazione di BigQuery per la tabella. - Le query eseguite sui valori
ObjectRef
comportano costi di calcolo di BigQuery. - I nuovi oggetti creati dalle trasformazioni degli oggetti comportano costi di Cloud Storage.
- I nuovi dati che crei e rendi persistenti in BigQuery comportano costi di archiviazione BigQuery.
- L'utilizzo delle funzioni di AI generativa comporta costi di Vertex AI.
- L'utilizzo delle UDF Python di BigQuery e dei metodi di trasformazione di DataFrame e oggetti multimodali in BigQuery DataFrames comporta costi per le UDF Python.
Per ulteriori informazioni, consulta le seguenti pagine dei prezzi:
Passaggi successivi
- Specifica le colonne
ObjectRef
negli schemi delle tabelle. - Analizza i dati multimodali con SQL.
- Analizza i dati multimodali in Python con BigQuery DataFrames.
- Scopri di più sull'AI generativa in BigQuery ML.
- Scopri di più su BigQuery DataFrames.