Geração automática de embeddings para recuperação de agentes

Você pode usar a Recuperação de Agentes (antiga busca vetorial 2.0) para gerar automaticamente embeddings para suas Coleções. Isso permite criar novos embeddings e implantá-los instantaneamente, o que simplifica o caminho dos dados brutos para um mecanismo de pesquisa ativo em escala de produção.

Modelos de embedding do Gemini Enterprise com suporte

A Recuperação de Agentes (antiga Busca Vetorial 2.0) é compatível com os seguintes modelos de embedding:

  • Gemini: oferece desempenho de última geração para incorporação de texto (somente em inglês e multilíngue).

  • Texto: especializado em dados de código-fonte e (somente em inglês e multilíngue).

 

 

A tabela a seguir fornece detalhes sobre cada modelo compatível.

Modelo Descrição Max
output
dimensions		 Comprimento máximo
da sequência
(tokens)		 Modalidades
e idiomas de texto compatíveis 		Outros
limites
gemini-embedding-001 Desempenho de última geração em tarefas de inglês, multilíngues e de código.
Ele unifica os modelos especializados anteriores, como text-embedding-005 e
text-multilingual-embedding-002, e alcança um desempenho melhor nos respectivos domínios.
 3.072 2048 Idiomas de texto compatíveis Limites de incorporação
gemini-embedding-2-preview É um modelo de embedding multimodal de última geração do Google. Criado com base na
arquitetura do modelo mais recente do Gemini, esse "modelo de embedding omni" mapeia
dados de texto, imagem, vídeo e PDF em um espaço de embedding único e unificado.		 3.072 8192 Texto, imagem, vídeo e PDF intercalados Limites da API
gemini-embedding-2 É um modelo de embedding multimodal de última geração do Google. Criado com base na
arquitetura do modelo mais recente do Gemini, esse "modelo de embedding omni" mapeia
dados de texto, imagem, vídeo e PDF em um espaço de embedding único e unificado.		 3.072 8192 Texto, imagem, vídeo e PDF intercalados Limites da API
text-embedding-004 Especializado em tarefas de inglês e programação. 768 2048 Inglês Limites da API
text-embedding-005 Especializado em tarefas de inglês e programação. 768 2048 Inglês Limites da API
text-multilingual-embedding-002 Especializado em tarefas multilíngues. 768 2048 Idiomas de texto compatíveis Limites da API

 

Como criar coleções com embeddings gerados automaticamente

Ao criar uma coleção, especifique o modelo de incorporação no campo model_id de vertex_embedding_config. Esse modelo é usado sempre que um objeto de dados é criado sem dados genre_embedding definidos.

O código a seguir demonstra como especificar o modelo de embedding a ser usado ao gerar embeddings automaticamente.

request = vectorsearch.CreateCollectionRequest(
   parent=f"projects/{PROJECT_ID}/locations/{LOCATION}",
   collection_id=collection_id,
   collection={
       "data_schema": {
           "type": "object",
           "properties": {
               "year": {"type": "number"},
               "genre": {"type": "string"},
               "director": {"type": "string"},
               "title": {"type": "string"},
           },
       },
       "vector_schema": {
           "plot_embedding": {"dense_vector": {"dimensions": 3} },
           "soundtrack_embedding": {"dense_vector": {"dimensions": 5} },
           "genre_embedding": {
               "dense_vector": {
                   "dimensions": 4,
                   "vertex_embedding_config": {
                       # If a data object is created without a supplied value for genre_embedding, it will be
                       # auto-generated based on this config.
                       "model_id": "text-embedding-004",
                       "text_template": ("Movie: {title} Genre: {genre} Year: {year}"),
                       "task_type": "RETRIEVAL_DOCUMENT",
                   },
               }
           },
           "sparse_embedding": {"sparse_vector": { } },
       },
   },
)
operation = vector_search_service_client.create_collection(request=request)
operation.result()

No exemplo de código, uma nova coleção é criada com o campo model_id definido como text-embedding-004. Consulte Modelos de embedding do Gemini Enterprise compatíveis para saber quais modelos podem ser especificados para model_id.

Cotas

Os embeddings gerados automaticamente dependem das cotas de clientes para os modelos de embedding do Gemini Enterprise. Isso é limitado principalmente por duas cotas principais:

  • Tokens de entrada de conteúdo incorporado por minuto, por região e por base_model.

  • Solicitações de previsão on-line por modelo de base, por minuto, por região e por base_model.

Verifique se você tem cota suficiente antes de criar objetos de dados ou executar um job de importação.

Consulte Gerenciar sua cota usando o console para saber como solicitar cotas maiores.

Consulte também