Questa pagina descrive come generare e archiviare i vector embedding. Per una panoramica, consulta Archiviazione dei vector embedding.
Prima di iniziare
Se utilizzi Cloud SQL per MySQL 8.4 o versioni precedenti, devi disporre di un'istanza Cloud SQL con il flag di database cloudsql_vector abilitato per generare e archiviare i vector embedding.
Se utilizzi Cloud SQL per MySQL 9.7 o versioni successive, puoi generare e archiviare vector embedding senza impostare il flag di database cloudsql_vector sull'istanza Cloud SQL.
Tuttavia, non puoi creare indici vettoriali o eseguire ricerche ANN sui dati vettoriali.
Genera vector embedding in base ai dati delle righe
Puoi generare un vector embedding per i dati di una determinata riga utilizzando un'API di text embedding come Vertex AI o OpenAI. Puoi utilizzare qualsiasi API di text embedding con i vector embedding di Cloud SQL. Tuttavia, devi utilizzare la stessa API di text embedding per la generazione di vettori di stringhe di query. Non puoi combinare API diverse per i dati di origine e la vettorizzazione delle query.
Ad esempio, puoi generare un vector embedding da Vertex AI:
from vertexai.language_models import TextEmbeddingModel
def text_embedding() -> list:
"""Text embedding with a Large Language Model."""
model = TextEmbeddingModel.from_pretrained("text-embedding-004")
embeddings = model.get_embeddings(["What is life?"])
for embedding in embeddings:
vector = embedding.values
print(f"Length of Embedding Vector: {len(vector)}")
return vector
if __name__ == "__main__":
text_embedding()
Archivia i vector embedding
Questa sezione fornisce istruzioni di esempio per l'archiviazione dei vector embedding in Cloud SQL.
Crea una nuova tabella con una colonna di vector embedding
Utilizza l'istruzione CREATE TABLE con una colonna che utilizza il tipo di dati VECTOR.
Utilizza la seguente sintassi per creare la tabella.
Per Cloud SQL per MySQL 8.4 e versioni precedenti, utilizza la seguente sintassi:
CREATE TABLE TABLE_NAME(
id INTEGER
PRIMARY KEY
AUTO_INCREMENT,
title VARCHAR(60),
EMBEDDING_COLUMN_NAME
VECTOR(VECTOR_DIMENSIONS)
USING VARBINARY);
Sostituisci i seguenti parametri:
TABLE_NAME: il nome della tabella in cui vuoi archiviare gli embedding.EMBEDDING_COLUMN_NAME: il nome della colonna in cui è archiviato l'embedding.VECTOR_DIMENSIONS: il numero di dimensioni da utilizzare per l'embedding.
Nell'esempio seguente, la colonna di embedding ha un vettore con tre dimensioni. I dati archiviati in questa colonna hanno il tipo di dati VARBINARY.
CREATE TABLE books(
id INTEGER PRIMARY KEY AUTO_INCREMENT, title VARCHAR(60), embedding VECTOR(3) USING VARBINARY);
Per Cloud SQL per MySQL 9.7 e versioni successive, la dichiarazione della parola chiave VARBINARY è facoltativa e supportata per la compatibilità con le versioni precedenti. Inoltre, non è necessario specificare le dimensioni del vettore, che per impostazione predefinita è 2048.
Per Cloud SQL per MySQL 9.7 e versioni successive, puoi utilizzare la seguente sintassi:
CREATE TABLE TABLE_NAME(
id INTEGER
PRIMARY KEY
AUTO_INCREMENT,
title VARCHAR(60),
EMBEDDING_COLUMN_NAME
VECTOR([VECTOR_DIMENSIONS])
[USING VARBINARY]);
Per saperne di più, consulta Il tipo VECTOR nella documentazione di MySQL.
Aggiungi una colonna di vector embedding a una tabella esistente
Utilizza l'istruzione ALTER TABLE per aggiungere una colonna di vector embedding a una tabella esistente. La colonna deve utilizzare il tipo di dati VECTOR per contenere l'embedding.
Nell'esempio seguente, nella tabella viene inserita una colonna di embedding con un vettore con tre dimensioni.
ALTER TABLE books
ADD COLUMN embedding
VECTOR(3)
USING VARBINARY;
Per MySQL 9.7:
ALTER TABLE books
ADD COLUMN embedding
VECTOR(3);
Inserisci un vector embedding
Utilizza INSERT con la funzione string_to_vector per inserire i valori di vector embedding in una tabella.
Nell'esempio seguente, un vettore con tre dimensioni viene inserito nella colonna di embedding.
INSERT INTO books
(
title,
embedding)
VALUES (('book title', string_to_vector('[1,2,3]')));
Inserisci più vector embedding
Utilizza INSERT con la funzione string_to_vector per inserire un elenco separato da virgole di vector embedding.
Nella seguente istruzione, due embedding, ciascuno contenente un vettore con tre dimensioni, vengono inseriti nella colonna embedding.
INSERT INTO books
(
title,
embedding)
VALUES
(
(
'book title',
string_to_vector('[1,2,3]')),
('book title', string_to_vector('[4,5,6]')));
Applica l'upsert a un vector embedding
Utilizza un'operazione INSERT o UPDATE su una tabella con la
funzione string_to_vector
per aggiungere una colonna di vector embedding, utilizzando la seguente sintassi.
Nella seguente istruzione, viene utilizzato un upsert per inserire o aggiornare la colonna di embedding con un embedding che contiene un vettore con tre dimensioni.
INSERT INTO books
(
id,
title,
embedding)
VALUES
(
(
1,
'book title',
string_to_vector('[1,2,3]')))
ON DUPLICATE KEY UPDATE embedding = string_to_vector('[1,2,3]');
Aggiorna un vector embedding
Utilizza UPDATE con la
funzione string_to_vector
per aggiornare un vector embedding.
Nella seguente istruzione, UPDATE viene utilizzato per aggiornare la colonna di embedding con un vettore con tre dimensioni.
UPDATE books
SET embedding = string_to_vector('[7,8,9]')
WHERE id = 1;
Recupera i vector embedding
Per recuperare i vector embedding, utilizza la funzione vector_to_string di Cloud SQL insieme al nome dell'embedding.
Nella seguente istruzione, la colonna di embedding viene recuperata per la visualizzazione.
SELECT vector_to_string(embedding) FROM books WHERE id = 1;
Elimina un vector embedding
Utilizza DELETE con la funzione string_to_vector per rimuovere un vector embedding da una tabella. Se è presente un indice vettoriale, devi prima eliminarlo. Per saperne di più, consulta Elimina un indice vettoriale.
Nella seguente istruzione, DELETE viene utilizzato per eliminare il valore nella colonna di embedding.
DELETE FROM books
WHERE embedding = string_to_vector('[1,2,3]');
Passaggi successivi
- Leggi la panoramica su Vector Search su Cloud SQL.
- Scopri come attivare e disattivare i vector embedding nell'istanza.
- Scopri come creare indici vettoriali.
- Scopri come eseguire ricerche sui vector embedding.