Generación automática de embeddings para la recuperación de agentes

Puedes usar Agent Retrieval (antes Vector Search 2.0) para generar automáticamente embeddings para tus colecciones. Esto te permite compilar embeddings nuevos y, luego, implementarlos de inmediato, lo que optimiza la ruta desde los datos sin procesar hasta un motor de búsqueda activo a escala de producción.

Modelos de incorporación compatibles con Gemini Enterprise

La Recuperación del agente (anteriormente, Vector Search 2.0) admite los siguientes modelos de embedding:

  • Gemini: Proporciona un rendimiento de estado del arte para la incorporación de texto (solo en inglés y multilingüe).

  • Texto: Se especializa en datos de código fuente y en inglés (solo en inglés y multilingüe).

 

 

En la siguiente tabla, se proporcionan detalles sobre cada modelo compatible.

Modelo Descripción Dimensiones de salida máximas

 Longitud
máxima
de la secuencia (tokens)		 Modalidades y lenguajes de texto compatibles
 Límites
adicionales
gemini-embedding-001 Rendimiento de vanguardia en tareas en inglés, multilingües y de código
Unifica los modelos especializados anteriores, como text-embedding-005 y
text-multilingual-embedding-002, y logra un mejor rendimiento en sus
respectivos dominios.		 3072 2,048 Idiomas de texto compatibles Límites de incorporación
gemini-embedding-2-preview Este es un modelo de embedding multimodal de nueva generación de Google. Este "modelo de embedding omnidireccional", creado con
la arquitectura del modelo de Gemini más reciente, asigna
datos de texto, imagen, video y PDF a un espacio de embedding único y unificado.		 3072 8192 Texto, imágenes, videos y PDFs intercalados Límites de la API
gemini-embedding-2 Este es un modelo de embedding multimodal de nueva generación de Google. Este "modelo de embedding omnidireccional", creado con la arquitectura del modelo de Gemini más reciente, asigna
datos de texto, imagen, video y PDF a un espacio de embedding único y unificado.
 3072 8192 Texto, imágenes, videos y PDFs intercalados Límites de la API
text-embedding-004 Se especializan en tareas en inglés y de código. 768 2,048 Inglés Límites de la API
text-embedding-005 Se especializan en tareas en inglés y de código. 768 2,048 Inglés Límites de la API
text-multilingual-embedding-002 Se especializan en tareas multilingües. 768 2,048 Idiomas de texto compatibles Límites de la API

 

Cómo crear colecciones con embeddings generados automáticamente

Cuando crees una colección, especifica el modelo de incorporación en el campo model_id de vertex_embedding_config. Este modelo se usa cada vez que se crea un objeto de datos sin datos de genre_embedding definidos.

En el siguiente código, se muestra cómo especificar el modelo de incorporación que se usará cuando se generen automáticamente las incorporaciones.

request = vectorsearch.CreateCollectionRequest(
   parent=f"projects/{PROJECT_ID}/locations/{LOCATION}",
   collection_id=collection_id,
   collection={
       "data_schema": {
           "type": "object",
           "properties": {
               "year": {"type": "number"},
               "genre": {"type": "string"},
               "director": {"type": "string"},
               "title": {"type": "string"},
           },
       },
       "vector_schema": {
           "plot_embedding": {"dense_vector": {"dimensions": 3} },
           "soundtrack_embedding": {"dense_vector": {"dimensions": 5} },
           "genre_embedding": {
               "dense_vector": {
                   "dimensions": 4,
                   "vertex_embedding_config": {
                       # If a data object is created without a supplied value for genre_embedding, it will be
                       # auto-generated based on this config.
                       "model_id": "text-embedding-004",
                       "text_template": ("Movie: {title} Genre: {genre} Year: {year}"),
                       "task_type": "RETRIEVAL_DOCUMENT",
                   },
               }
           },
           "sparse_embedding": {"sparse_vector": { } },
       },
   },
)
operation = vector_search_service_client.create_collection(request=request)
operation.result()

En el código de ejemplo, se crea una nueva colección con el campo model_id establecido en text-embedding-004. Consulta los modelos de embedding compatibles con Gemini Enterprise para saber cuáles se pueden especificar para model_id.

Cuotas

Los embeddings generados automáticamente dependen de las cuotas de clientes para los modelos de embedding subyacentes de Gemini Enterprise. Esto se limita principalmente por dos cuotas principales:

  • Tokens de entrada de contenido incorporado por minuto, por región y por base_model.

  • Son las solicitudes de predicción en línea por modelo base por minuto, por región y por base_model.

Asegúrate de tener suficiente cuota antes de crear objetos de datos o ejecutar un trabajo de importación.

Consulta Administra tu cuota con la consola para obtener información sobre cómo solicitar cuotas más grandes.

También consulta lo siguiente: