Générer automatiquement des embeddings pour la récupération par l'agent

Vous pouvez utiliser la récupération d'agent (anciennement Vector Search 2.0) pour générer automatiquement des embeddings pour vos collections. Cela vous permet de créer de nouveaux embeddings et de les déployer instantanément, ce qui simplifie le processus de transformation des données brutes en un moteur de recherche opérationnel à l'échelle de la production.

Modèles d'embedding Gemini Enterprise compatibles

La récupération par l'agent (anciennement Vector Search 2.0) est compatible avec les modèles d'embedding suivants :

  • Gemini : offre des performances de pointe pour l'intégration de texte (en anglais uniquement et multilingue).

  • Texte : spécialisé dans les données de code source et les données (multilingues et en anglais uniquement).

 

 

Le tableau suivant fournit des informations sur chaque modèle compatible.

Modèle Description Dimensions de sortie
max.
 Longueur
maximale
de la séquence (jetons)		 Modalités
et langues de texte compatibles 		Limites
supplémentaires
gemini-embedding-001 Performances de pointe pour les tâches en anglais, multilingues et de code.
Il unifie les modèles précédemment spécialisés tels que text-embedding-005 et
text-multilingual-embedding-002 et offre de meilleures performances dans leurs
domaines respectifs.		 3 072 2 048 Langues de texte disponibles Limites d'intégration
gemini-embedding-2-preview Il s'agit d'un modèle d'embedding multimodal de nouvelle génération de Google. Basé sur
la dernière architecture de modèle Gemini, ce "modèle d'embedding omni" mappe
les données de texte, d'image, de vidéo et de PDF dans un espace d'embedding unique et unifié.		 3 072 8 192 Texte, images, vidéos et PDF entrelacés Limites de l'API
gemini-embedding-2 Il s'agit d'un modèle d'embedding multimodal de nouvelle génération de Google. Basé sur
la dernière architecture de modèle Gemini, ce "modèle d'embedding omni" mappe
les données de texte, d'image, de vidéo et de PDF dans un espace d'embedding unique et unifié.		 3 072 8 192 Texte, images, vidéos et PDF entrelacés Limites de l'API
text-embedding-004 Spécialisé dans les tâches en anglais et de code. 768 2 048 Anglais Limites de l'API
text-embedding-005 Spécialisé dans les tâches en anglais et de code. 768 2 048 Anglais Limites de l'API
text-multilingual-embedding-002 Spécialisé dans les tâches multilingues. 768 2 048 Langues de texte disponibles Limites de l'API

 

Créer des collections avec des embeddings générés automatiquement

Lorsque vous créez une collection, spécifiez le modèle d'embedding dans le champ model_id de vertex_embedding_config. Ce modèle est utilisé chaque fois qu'un objet de données est créé sans données genre_embedding définies.

Le code suivant montre comment spécifier le modèle d'embedding à utiliser lors de la génération automatique d'embeddings.

request = vectorsearch.CreateCollectionRequest(
   parent=f"projects/{PROJECT_ID}/locations/{LOCATION}",
   collection_id=collection_id,
   collection={
       "data_schema": {
           "type": "object",
           "properties": {
               "year": {"type": "number"},
               "genre": {"type": "string"},
               "director": {"type": "string"},
               "title": {"type": "string"},
           },
       },
       "vector_schema": {
           "plot_embedding": {"dense_vector": {"dimensions": 3} },
           "soundtrack_embedding": {"dense_vector": {"dimensions": 5} },
           "genre_embedding": {
               "dense_vector": {
                   "dimensions": 4,
                   "vertex_embedding_config": {
                       # If a data object is created without a supplied value for genre_embedding, it will be
                       # auto-generated based on this config.
                       "model_id": "text-embedding-004",
                       "text_template": ("Movie: {title} Genre: {genre} Year: {year}"),
                       "task_type": "RETRIEVAL_DOCUMENT",
                   },
               }
           },
           "sparse_embedding": {"sparse_vector": { } },
       },
   },
)
operation = vector_search_service_client.create_collection(request=request)
operation.result()

Dans l'exemple de code, une collection est créée avec le champ model_id défini sur text-embedding-004. Consultez la section Modèles d'embedding Gemini Enterprise compatibles pour savoir quels modèles d'embedding peuvent être spécifiés pour model_id.

Quotas

Les embeddings générés automatiquement dépendent des quotas client pour les modèles d'embedding Gemini Enterprise sous-jacents. Cela est principalement limité par deux quotas principaux :

  • Jetons d'entrée de contenu à intégrer par minute, par région et par base_model.

  • Requêtes de prédiction en ligne par modèle de base, par minute, par région et par base_model.

Assurez-vous de disposer d'un quota suffisant avant de créer des objets de données ou d'exécuter un job d'importation.

Pour savoir comment demander des quotas plus importants, consultez Gérer votre quota avec la console.

Voir aussi