Créer des applications basées sur un LLM avec LlamaIndex

Cette page décrit quelques cas d'utilisation pour la création d'applications optimisées par LLM à l'aide de LlamaIndex intégré à Cloud SQL pour PostgreSQL. Des liens vers des notebooks sur GitHub sont fournis pour vous aider à explorer des approches ou à développer votre application.

LlamaIndex est un framework d'orchestration d'IA générative qui vous permet de connecter et d'intégrer des sources de données à des grands modèles de langage (LLM). Vous pouvez utiliser LlamaIndex pour créer des applications qui accèdent à des informations provenant de données privées ou spécifiques à un domaine et les interrogent à l'aide de requêtes en langage naturel.

LlamaIndex sert de pont entre les données personnalisées et les LLM, ce qui facilite le développement d'applications d'assistant de connaissances avec des fonctionnalités de génération augmentée de récupération (RAG).

LlamaIndex est bien adapté aux applications axées sur les documents, car il met l'accent sur la gestion structurée des documents, ce qui simplifie l'indexation et la récupération. Ce framework propose des mécanismes de requête optimisés qui améliorent la vitesse et la pertinence de l'accès aux informations, ainsi qu'une gestion robuste des métadonnées pour un filtrage nuancé.

Pour en savoir plus sur le framework LlamaIndex, consultez la documentation produit LlamaIndex.

Composants LlamaIndex

Cloud SQL pour PostgreSQL propose les interfaces LlamaIndex suivantes :

  • Vector Store
  • Document Store
  • Index Stores
  • Boutiques Chat
  • Lecteur de documents

Découvrez comment utiliser LlamaIndex avec le guide de démarrage rapide de Cloud SQL pour PostgreSQL.

Vector Store

Cette intégration LlamaIndex vous permet d'utiliser la robustesse et l'évolutivité de Cloud SQL pour PostgreSQL pour stocker et gérer vos données LlamaIndex. En combinant les capacités d'indexation et d'interrogation de LlamaIndex avec les performances et la fiabilité élevées de Cloud SQL pour PostgreSQL, vous pouvez créer des applications plus efficaces et évolutives basées sur des LLM.

LlamaIndex décompose un document (DOC, texte et PDF) en composants appelés nœuds. Le VectorStore ne peut contenir que les vecteurs d'embedding du contenu des nœuds ingérés et le texte des nœuds. Un nœud, qui est un concept de première classe, contient du contenu textuel, des embeddings vectoriels et des métadonnées. Vous pouvez appliquer des filtres à ces champs de métadonnées pour limiter la récupération des nœuds à ceux qui correspondent aux critères de métadonnées spécifiés.

Pour utiliser des magasins de vecteurs dans Cloud SQL pour PostgreSQL, utilisez la classe PostgresVectorStore. Pour en savoir plus, consultez Magasins de vecteurs LlamaIndex.

Stocker des embeddings vectoriels avec la classe PostgresVectorStore

Le guide Cloud SQL pour PostgreSQL pour le magasin de données vectorielles vous explique comment effectuer les opérations suivantes :

  • Initialiser une table pour stocker les embeddings vectoriels
  • Créez une instance de classe d'embedding à l'aide d'un modèle d'embedding Llama Index.
  • Initialisez un magasin de vecteurs PostgresVectorStore par défaut.
  • Créez et interrogez un index à partir du magasin de vecteurs à l'aide de VectorStoreIndex.
  • Créez un magasin de vecteurs personnalisé pour stocker et filtrer efficacement les métadonnées.
  • Ajoutez un index ANN pour améliorer la latence de recherche.

Magasins de documents et d'index

L'intégration des magasins de documents LlamaIndex gère le stockage et la récupération de documents structurés, en optimisant les fonctionnalités de LlamaIndex axées sur les documents. Document Store stocke le contenu lié aux vecteurs dans le magasin de vecteurs.

Pour en savoir plus, consultez la documentation produit Magasins de documents LlamaIndex.

Les magasins d'index facilitent la gestion des index pour permettre l'interrogation et la récupération rapides des données (par exemple, les index de résumé, de mots clés et d'arborescence). Index dans LlamaIndex est un stockage léger réservé aux métadonnées des nœuds. Les mises à jour des métadonnées de nœud ne nécessitent pas de réindexer (c'est-à-dire de générer des embeddings) le nœud complet ni tous les nœuds d'un document.

Pour en savoir plus, consultez LlamaIndex Index Stores.

Stocker des documents et des index

Le notebook Cloud SQL pour PostgreSQL pour les magasins de documents vous montre comment utiliser Cloud SQL pour PostgreSQL afin de stocker des documents et des index à l'aide des classes PostgresDocumentStore et PostgresIndexStore. Vous allez apprendre à :

  • Créez un PostgresEngine à l'aide de PostgresEngine.from_instance().
  • Créez des tables pour DocumentStore et IndexStore.
  • Initialisez un PostgresDocumentStore par défaut.
  • Configurez unIndexStorePostgres.
  • Ajoutez des documents à Docstore.
  • Utilisez des magasins de documents avec plusieurs index.
  • Chargez les index existants.

Boutiques Chat

Les Chat Stores conservent l'historique et le contexte des conversations pour les applications basées sur le chat, ce qui permet des interactions personnalisées. Les Chat Stores fournissent un dépôt central qui stocke et récupère les messages de chat au sein d'une conversation, ce qui permet au LLM de maintenir le contexte et de fournir des réponses plus pertinentes en fonction du dialogue en cours.

Les grands modèles de langage sont sans état par défaut, ce qui signifie qu'ils ne conservent pas les entrées précédentes, sauf si elles sont fournies explicitement à chaque fois. En utilisant un chat store, vous pouvez conserver le contexte de la conversation, ce qui permet au modèle de générer des réponses plus pertinentes et cohérentes au fil du temps.

Le module de mémoire de LlamaIndex permet de stocker et de récupérer efficacement le contexte conversationnel, ce qui permet des interactions plus personnalisées et contextuelles dans les applications de chat. Vous pouvez intégrer le module de mémoire dans LlamaIndex avec un ChatStore et un ChatMemoryBuffer.
Pour en savoir plus, consultez LlamaIndex Chat Stores.

Stocker l'historique des discussions

Le notebook Cloud SQL pour PostgreSQL pour les magasins de chat vous explique comment utiliser Cloud SQL pour PostgreSQL afin de stocker l'historique des discussions à l'aide de la classe PostgresChatStore. Vous allez apprendre à :

  • Créez un PostgresEngine à l'aide de PostgresEngine.from_instance().
  • Initialiser un PostgresChatStore. par défaut
  • Créez un objet ChatMemoryBuffer.
  • Créez une instance de classe LLM.
  • Utilisez PostgresChatStore sans contexte de stockage.
  • Utilisez PostgresChatStore avec un contexte de stockage.
  • Créer et utiliser le moteur de chat

Lecteur de documents

DocumentReader récupère et transforme efficacement les données de Cloud SQL pour PostgreSQL dans des formats compatibles avec LlamaIndex pour l'indexation. L'interface Document Reader fournit des méthodes permettant de charger des données à partir d'une source en tant que Documents. Document est une classe qui stocke un élément de texte et les métadonnées associées. Vous pouvez utiliser des lecteurs de documents pour charger les documents que vous souhaitez stocker dans des magasins de documents ou utiliser pour créer des index.

Pour en savoir plus, consultez LlamaIndex Document Reader.

Récupérer des données sous forme de documents

Le notebook Cloud SQL pour PostgreSQL pour Document Reader vous montre comment utiliser Cloud SQL pour PostgreSQL afin de récupérer des données sous forme de documents à l'aide de la classe PostgresReader. Vous allez apprendre à :

  • Créez un PostgresEngine à l'aide de PostgresEngine.from_instance().
  • Créez des PostgresReader.
  • Chargez les documents à l'aide de l'argument table_name.
  • Chargez des documents à l'aide d'une requête SQL.
  • Définissez le format du contenu de la page.
  • Chargez les documents.

Étapes suivantes