Generazione automatica di embedding per il recupero dell'agente

Puoi utilizzare Agent Retrieval (precedentemente Vector Search 2.0) per generare automaticamente gli incorporamenti per le tue Raccolte. In questo modo puoi creare nuovi embedding e implementarli immediatamente, il che semplifica il percorso dai dati non elaborati a un motore di ricerca di produzione live.

Modelli di incorporamento Gemini Enterprise supportati

Agent Retrieval (in precedenza Vector Search 2.0) supporta i seguenti modelli di embedding:

  • Gemini: offre prestazioni allo stato dell'arte per l'incorporamento di testo (solo in inglese e multilingue).

  • Testo: è specializzato in dati di codice sorgente (solo in inglese e multilingue).

 

 

La tabella seguente fornisce dettagli su ciascun modello supportato.

Modello Descrizione Max
output
dimensions		 Lunghezza
sequenza
massima (token)		 Modalità supportate
e lingue del testo 		Limiti
aggiuntivi
gemini-embedding-001 Prestazioni allo stato dell'arte per attività in inglese, multilingue e di programmazione.
Unifica i modelli precedentemente specializzati come text-embedding-005 e
text-multilingual-embedding-002 e ottiene prestazioni migliori nei rispettivi domini.
 3072 2048 Lingue di testo supportate Limiti di incorporamento
gemini-embedding-2-preview Si tratta di un modello di embedding multimodale di nuova generazione di Google. Basato su
sull'architettura dell'ultimo modello Gemini, questo "modello di embedding omni" mappa
testo, immagini, video e dati PDF in un unico spazio di embedding unificato.		 3072 8192 Testo, immagine, video e PDF con interleaving Limiti dell'API
gemini-embedding-2 Si tratta di un modello di embedding multimodale di nuova generazione di Google. Basato su
sull'ultima architettura del modello Gemini, questo "modello di embedding omni" mappa
testo, immagini, video e dati PDF in un unico spazio di embedding unificato.		 3072 8192 Testo, immagine, video e PDF con interleaving Limiti dell'API
text-embedding-004 Specializzato in attività di inglese e programmazione. 768 2048 Inglese Limiti dell'API
text-embedding-005 Specializzato in attività di inglese e programmazione. 768 2048 Inglese Limiti dell'API
text-multilingual-embedding-002 Specializzato in attività multilingue. 768 2048 Lingue di testo supportate Limiti dell'API

 

Creazione di raccolte con embedding generati automaticamente

Quando crei una raccolta, specifica il modello di incorporamento nel campo model_id di vertex_embedding_config. Questo modello viene utilizzato ogni volta che viene creato un oggetto dati senza dati genre_embedding definiti.

Il seguente codice mostra come specificare il modello di embedding da utilizzare durante la generazione automatica degli embedding.

request = vectorsearch.CreateCollectionRequest(
   parent=f"projects/{PROJECT_ID}/locations/{LOCATION}",
   collection_id=collection_id,
   collection={
       "data_schema": {
           "type": "object",
           "properties": {
               "year": {"type": "number"},
               "genre": {"type": "string"},
               "director": {"type": "string"},
               "title": {"type": "string"},
           },
       },
       "vector_schema": {
           "plot_embedding": {"dense_vector": {"dimensions": 3} },
           "soundtrack_embedding": {"dense_vector": {"dimensions": 5} },
           "genre_embedding": {
               "dense_vector": {
                   "dimensions": 4,
                   "vertex_embedding_config": {
                       # If a data object is created without a supplied value for genre_embedding, it will be
                       # auto-generated based on this config.
                       "model_id": "text-embedding-004",
                       "text_template": ("Movie: {title} Genre: {genre} Year: {year}"),
                       "task_type": "RETRIEVAL_DOCUMENT",
                   },
               }
           },
           "sparse_embedding": {"sparse_vector": { } },
       },
   },
)
operation = vector_search_service_client.create_collection(request=request)
operation.result()

Nel codice di esempio, viene creata una nuova raccolta con il campo model_id impostato su text-embedding-004. Consulta Modelli di embedding Gemini Enterprise supportati per i quali è possibile specificare i modelli di embedding per model_id.

Quote

Gli embedding generati automaticamente si basano sulle quote dei clienti per i modelli di embedding Gemini Enterprise sottostanti. Ciò è principalmente limitato da due quote principali:

  • Token di input dei contenuti incorporati al minuto per regione per base_model.

  • Richieste di previsione online per modello di base al minuto per regione per base_model.

Assicurati di disporre di una quota sufficiente prima di creare oggetti dati o eseguire un job di importazione.

Consulta Gestisci la quota utilizzando la console per informazioni su come richiedere quote più grandi.

Vedi anche