Ajusta las transformaciones de RAG

Después de que se procesa un documento, el motor RAG de Gemini Enterprise Agent Platform ejecuta un conjunto de transformaciones para preparar los datos para la indexación. Puedes controlar tus casos de uso con los siguientes parámetros:

Parámetro Descripción
chunk_size Cuando se transfieren documentos a un índice, se dividen en fragmentos. El parámetro chunk_size (en tokens) especifica el tamaño del fragmento. El tamaño de fragmento predeterminado es de 1,024 tokens.
chunk_overlap De forma predeterminada, los documentos se dividen en fragmentos con una cierta cantidad de superposición para mejorar la relevancia y la calidad de la recuperación. La superposición de fragmentos predeterminada es de 256 tokens.

Un tamaño de fragmento más pequeño significa que los embeddings son más precisos. Un tamaño de fragmento más grande significa que los embeddings pueden ser más generales, pero pueden omitir detalles específicos.

Por ejemplo, si conviertes 1,000 palabras en un array de incorporación que estaba destinado a 200 palabras, es posible que pierdas detalles. La capacidad de incorporación es fija para cada fragmento. Es posible que un fragmento de texto grande no quepa en un modelo de ventana pequeña.

¿Qué sigue?