Genera e gestisci gli embedding vettoriali

Questa pagina descrive come generare e archiviare i vector embedding. Per una panoramica, consulta Archiviazione dei vector embedding.

Prima di iniziare

Se utilizzi Cloud SQL per MySQL 8.4 o versioni precedenti, devi disporre di un'istanza Cloud SQL con il flag di database cloudsql_vector abilitato per generare e archiviare i vector embedding.

Se utilizzi Cloud SQL per MySQL 9.7 o versioni successive, puoi generare e archiviare vector embedding senza impostare il flag di database cloudsql_vector sull'istanza Cloud SQL. Tuttavia, non puoi creare indici vettoriali o eseguire ricerche ANN sui dati vettoriali.

Genera vector embedding in base ai dati delle righe

Puoi generare un vector embedding per i dati di una determinata riga utilizzando un'API di text embedding come Vertex AI o OpenAI. Puoi utilizzare qualsiasi API di text embedding con i vector embedding di Cloud SQL. Tuttavia, devi utilizzare la stessa API di text embedding per la generazione di vettori di stringhe di query. Non puoi combinare API diverse per i dati di origine e la vettorizzazione delle query.

Ad esempio, puoi generare un vector embedding da Vertex AI:

from vertexai.language_models import TextEmbeddingModel

def text_embedding() -> list:
    """Text embedding with a Large Language Model."""
    model = TextEmbeddingModel.from_pretrained("text-embedding-004")
    embeddings = model.get_embeddings(["What is life?"])
    for embedding in embeddings:
        vector = embedding.values
        print(f"Length of Embedding Vector: {len(vector)}")
    return vector

if __name__ == "__main__":
    text_embedding()

Archivia i vector embedding

Questa sezione fornisce istruzioni di esempio per l'archiviazione dei vector embedding in Cloud SQL.

Crea una nuova tabella con una colonna di vector embedding

Utilizza l'istruzione CREATE TABLE con una colonna che utilizza il tipo di dati VECTOR.

Utilizza la seguente sintassi per creare la tabella.

Per Cloud SQL per MySQL 8.4 e versioni precedenti, utilizza la seguente sintassi:

CREATE TABLE TABLE_NAME(
  id INTEGER
  PRIMARY KEY
    AUTO_INCREMENT,
    title VARCHAR(60),
    EMBEDDING_COLUMN_NAME
      VECTOR(VECTOR_DIMENSIONS)
  USING VARBINARY);

Sostituisci i seguenti parametri:

  • TABLE_NAME: il nome della tabella in cui vuoi archiviare gli embedding.
  • EMBEDDING_COLUMN_NAME: il nome della colonna in cui è archiviato l'embedding.
  • VECTOR_DIMENSIONS: il numero di dimensioni da utilizzare per l'embedding.

Nell'esempio seguente, la colonna di embedding ha un vettore con tre dimensioni. I dati archiviati in questa colonna hanno il tipo di dati VARBINARY.

CREATE TABLE books(
  id INTEGER PRIMARY KEY AUTO_INCREMENT, title VARCHAR(60), embedding VECTOR(3) USING VARBINARY);

Per Cloud SQL per MySQL 9.7 e versioni successive, la dichiarazione della parola chiave VARBINARY è facoltativa e supportata per la compatibilità con le versioni precedenti. Inoltre, non è necessario specificare le dimensioni del vettore, che per impostazione predefinita è 2048.

Per Cloud SQL per MySQL 9.7 e versioni successive, puoi utilizzare la seguente sintassi:

CREATE TABLE TABLE_NAME(
  id INTEGER
  PRIMARY KEY
    AUTO_INCREMENT,
    title VARCHAR(60),
    EMBEDDING_COLUMN_NAME
      VECTOR([VECTOR_DIMENSIONS])
  [USING VARBINARY]);

Per saperne di più, consulta Il tipo VECTOR nella documentazione di MySQL.

Aggiungi una colonna di vector embedding a una tabella esistente

Utilizza l'istruzione ALTER TABLE per aggiungere una colonna di vector embedding a una tabella esistente. La colonna deve utilizzare il tipo di dati VECTOR per contenere l'embedding.

Nell'esempio seguente, nella tabella viene inserita una colonna di embedding con un vettore con tre dimensioni.

ALTER TABLE books
ADD COLUMN embedding
  VECTOR(3)
USING VARBINARY;

Per MySQL 9.7:

ALTER TABLE books
ADD COLUMN embedding
  VECTOR(3);

Inserisci un vector embedding

Utilizza INSERT con la funzione string_to_vector per inserire i valori di vector embedding in una tabella.

Nell'esempio seguente, un vettore con tre dimensioni viene inserito nella colonna di embedding.

INSERT INTO books
  (
    title,
    embedding)
VALUES (('book title', string_to_vector('[1,2,3]')));

Inserisci più vector embedding

Utilizza INSERT con la funzione string_to_vector per inserire un elenco separato da virgole di vector embedding.

Nella seguente istruzione, due embedding, ciascuno contenente un vettore con tre dimensioni, vengono inseriti nella colonna embedding.

INSERT INTO books
  (
    title,
    embedding)
VALUES
  (
    (
      'book title',
      string_to_vector('[1,2,3]')),
    ('book title', string_to_vector('[4,5,6]')));

Applica l'upsert a un vector embedding

Utilizza un'operazione INSERT o UPDATE su una tabella con la funzione string_to_vector per aggiungere una colonna di vector embedding, utilizzando la seguente sintassi.

Nella seguente istruzione, viene utilizzato un upsert per inserire o aggiornare la colonna di embedding con un embedding che contiene un vettore con tre dimensioni.

INSERT INTO books
  (
    id,
    title,
    embedding)
VALUES
  (
    (
      1,
      'book title',
      string_to_vector('[1,2,3]')))
ON DUPLICATE KEY UPDATE embedding = string_to_vector('[1,2,3]');

Aggiorna un vector embedding

Utilizza UPDATE con la funzione string_to_vector per aggiornare un vector embedding.

Nella seguente istruzione, UPDATE viene utilizzato per aggiornare la colonna di embedding con un vettore con tre dimensioni.

UPDATE books
SET embedding = string_to_vector('[7,8,9]')
WHERE id = 1;

Recupera i vector embedding

Per recuperare i vector embedding, utilizza la funzione vector_to_string di Cloud SQL insieme al nome dell'embedding.

Nella seguente istruzione, la colonna di embedding viene recuperata per la visualizzazione.

SELECT vector_to_string(embedding) FROM books WHERE id = 1;

Elimina un vector embedding

Utilizza DELETE con la funzione string_to_vector per rimuovere un vector embedding da una tabella. Se è presente un indice vettoriale, devi prima eliminarlo. Per saperne di più, consulta Elimina un indice vettoriale.

Nella seguente istruzione, DELETE viene utilizzato per eliminare il valore nella colonna di embedding.

DELETE FROM books
WHERE embedding = string_to_vector('[1,2,3]');

Passaggi successivi