Analyser des PDF dans un pipeline de génération augmentée par récupération

Ce tutoriel vous guide tout au long du processus de création d'un pipeline de génération augmentée par récupération (RAG) basé sur du contenu PDF analysé.

Les fichiers PDF, tels que les documents financiers, peuvent être difficiles à utiliser dans les pipelines RAG en raison de leur structure complexe et de leur mélange de texte, de figures et de tableaux. Ce tutoriel explique comment utiliser les fonctionnalités de BigQuery ML en combinaison avec l'analyseur de mise en page de Document AI pour créer un pipeline RAG basé sur les informations clés extraites d'un fichier PDF.

Vous pouvez également suivre ce tutoriel à l'aide d'un notebook Colab Enterprise.

Objectifs

Ce tutoriel couvre les tâches suivantes :

• Créer un bucket Cloud Storage et importer un exemple de fichier PDF
• Créez une connexion à une ressource cloud pour pouvoir vous connecter à Cloud Storage et Vertex AI depuis BigQuery.
• Créer une table d'objets sur le fichier PDF pour le rendre disponible dans BigQuery.
• Créez un processeur Document AI que vous pourrez utiliser pour analyser le fichier PDF.
• Créer un modèle distant qui vous permet d'utiliser l'API Document AI pour accéder au processeur de documents depuis BigQuery.
• Utilisation du modèle distant avec la fonction ML.PROCESS_DOCUMENT pour analyser le contenu du PDF en blocs, puis écrire ce contenu dans une table BigQuery.
• Extraire le contenu PDF des données JSON renvoyées par la fonction ML.PROCESS_DOCUMENT, puis écrire ce contenu dans une table BigQuery.
• Créer un modèle distant qui vous permet d'utiliser le modèle de génération d'embeddings text-embedding-004 de Vertex AI à partir de BigQuery.
• Utilisation du modèle distant avec la fonction ML.GENERATE_EMBEDDING pour générer des embeddings à partir du contenu PDF analysé, puis écriture de ces embeddings dans une table BigQuery. Les embeddings sont des représentations numériques du contenu PDF qui vous permettent d'effectuer des recherches et des récupérations sémantiques sur le contenu PDF.
• Utiliser la fonction VECTOR_SEARCH sur les embeddings pour identifier le contenu PDF sémantiquement similaire.
• Créer un modèle distant qui vous permet d'utiliser un modèle de génération de texte Gemini depuis BigQuery.
• Effectuer une génération augmentée de récupération (RAG) en utilisant le modèle distant avec la fonction ML.GENERATE_TEXT pour générer du texte, en utilisant les résultats de recherche vectorielle pour augmenter la saisie de la requête et améliorer les résultats.

Coûts

Dans ce document, vous utilisez les composants facturables de Trusted Cloud by S3NSsuivants :

• BigQuery: You incur costs for the data that you process in BigQuery.
• Vertex AI: You incur costs for calls to Vertex AI models.
• Document AI: You incur costs for calls to the Document AI API.
• Cloud Storage: You incur costs for object storage in Cloud Storage.

Vous pouvez obtenir une estimation des coûts en fonction de votre utilisation prévue à l'aide du simulateur de coût.

Pour en savoir plus, consultez les pages suivantes sur les tarifs :

• Tarifs de BigQuery
• Tarification de Vertex AI
• Tarifs de Document AI
• Tarifs de Cloud Storage

Avant de commencer

1. In the Trusted Cloud console, on the project selector page, select or create a Trusted Cloud project.

   Go to project selector

2. Verify that billing is enabled for your Trusted Cloud project.

3. Enable the BigQuery, BigQuery Connection, Vertex AI, Document AI, and Cloud Storage APIs.

   Enable the APIs

Rôles requis

Pour exécuter ce tutoriel, vous devez disposer des rôles IAM (Identity and Access Management) suivants :

• Créer des buckets et des objets Cloud Storage : administrateur Storage (roles/storage.storageAdmin)
• Créer un processeur de documents : Éditeur Document AI (roles/documentai.editor)
• Créer et utiliser des ensembles de données, des connexions et des modèles BigQuery : administrateur BigQuery (roles/bigquery.admin)
• Accorder des autorisations au compte de service de la connexion : Administrateur IAM du projet (roles/resourcemanager.projectIamAdmin)

Ces rôles prédéfinis contiennent les autorisations requises pour effectuer les tâches décrites dans ce document. Pour afficher les autorisations exactes requises, développez la section Autorisations requises :

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Créer un ensemble de données

Créez un ensemble de données BigQuery pour stocker votre modèle de ML.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Créer une connexion

Créez une connexion de ressource cloud et obtenez le compte de service de la connexion. Créez la connexion dans le même emplacement.

Vous pouvez ignorer cette étape si vous avez configuré une connexion par défaut ou si vous disposez du rôle Administrateur BigQuery.

Créez une connexion de ressource cloud pour que le modèle distant puisse l'utiliser, et obtenez le compte de service de la connexion. Créez la connexion dans le même emplacement que l'ensemble de données que vous avez créé à l'étape précédente.

Sélectionnez l'une des options suivantes :

# This queries the provider for project information.
data "google_project" "default" {}

# This creates a cloud resource connection in the US region named my_cloud_resource_connection.
# Note: The cloud resource nested object has only one output field - serviceAccountId.
resource "google_bigquery_connection" "default" {
  connection_id = "my_cloud_resource_connection"
  project       = data.google_project.default.project_id
  location      = "US"
  cloud_resource {}
}

Accorder l'accès au compte de service

Sélectionnez l'une des options suivantes :

gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/documentai.viewer' --condition=None
gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/storage.objectViewer' --condition=None
gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/aiplatform.user' --condition=None
 

Importer l'exemple de PDF dans Cloud Storage

Pour importer l'exemple de PDF dans Cloud Storage, procédez comme suit :

1. Téléchargez l'exemple de PDF scf23.pdf en accédant à https://www.federalreserve.gov/publications/files/scf23.pdf, puis en cliquant sur Télécharger download.
2. Créez un bucket Cloud Storage.
3. Importez le fichier scf23.pdf dans le bucket.

Créer une table d'objets

Créez une table d'objets sur le fichier PDF dans Cloud Storage :

1. Dans la console Trusted Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, exécutez l'instruction suivante :

   CREATE OR REPLACE EXTERNAL TABLE `bqml_tutorial.pdf`
   WITH CONNECTION `LOCATION.CONNECTION_ID`
   OPTIONS(
     object_metadata = 'SIMPLE',
     uris = ['gs://BUCKET/scf23.pdf']);

   Remplacez les éléments suivants :

   • LOCATION : emplacement de la connexion
   • CONNECTION_ID : ID de votre connexion BigQuery.

     Lorsque vous affichez les détails de la connexion dans la console Trusted Cloud , CONNECTION_ID correspond à la valeur de la dernière section de l'ID de connexion complet affiché dans ID de connexion (par exemple, projects/myproject/locations/connection_location/connections/myconnection).

   • BUCKET : bucket Cloud Storage contenant le fichier scf23.pdf. La valeur complète de l'option uri doit ressembler à ['gs://mybucket/scf23.pdf'].

Créer un processeur de documents

Créez un processeur de documents basé sur le processeur Layout Parser dans la multirégion us.

Créer le modèle distant pour le processeur de documents

Créez un modèle distant pour accéder au processeur Document AI :

1. Dans la console Trusted Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, exécutez l'instruction suivante :

   CREATE OR REPLACE MODEL `bqml_tutorial.parser_model`
   REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID`
     OPTIONS(remote_service_type = 'CLOUD_AI_DOCUMENT_V1', document_processor = 'PROCESSOR_ID');

   Remplacez les éléments suivants :

   • LOCATION : emplacement de la connexion
   • CONNECTION_ID : ID de votre connexion BigQuery.

     Lorsque vous affichez les détails de la connexion dans la console Trusted Cloud , CONNECTION_ID correspond à la valeur de la dernière section de l'ID de connexion complet affiché dans ID de connexion (par exemple, projects/myproject/locations/connection_location/connections/myconnection).

   • PROCESSOR_ID : ID du processeur de documents Pour trouver cette valeur, affichez les détails du processeur, puis examinez la ligne ID dans la section Informations de base.

Analyser le fichier PDF en blocs

Utilisez le processeur de documents avec la fonction ML.PROCESS_DOCUMENT pour analyser le fichier PDF en blocs, puis écrivez ce contenu dans une table. La fonction ML.PROCESS_DOCUMENT renvoie les blocs PDF au format JSON.

1. Dans la console Trusted Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, exécutez l'instruction suivante :

   CREATE or REPLACE TABLE bqml_tutorial.chunked_pdf AS (
     SELECT * FROM ML.PROCESS_DOCUMENT(
     MODEL bqml_tutorial.parser_model,
     TABLE bqml_tutorial.pdf,
     PROCESS_OPTIONS => (JSON '{"layout_config": {"chunking_config": {"chunk_size": 250}}}')
     )
   );

Analyser les données des blocs PDF dans des colonnes distinctes

Extrayez le contenu PDF et les informations de métadonnées des données JSON renvoyées par la fonction ML.PROCESS_DOCUMENT, puis écrivez ce contenu dans un tableau :

1. Dans la console Trusted Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, exécutez l'instruction suivante pour analyser le contenu du PDF :

   CREATE OR REPLACE TABLE bqml_tutorial.parsed_pdf AS (
   SELECT
     uri,
     JSON_EXTRACT_SCALAR(json , '$.chunkId') AS id,
     JSON_EXTRACT_SCALAR(json , '$.content') AS content,
     JSON_EXTRACT_SCALAR(json , '$.pageFooters[0].text') AS page_footers_text,
     JSON_EXTRACT_SCALAR(json , '$.pageSpan.pageStart') AS page_span_start,
     JSON_EXTRACT_SCALAR(json , '$.pageSpan.pageEnd') AS page_span_end
   FROM bqml_tutorial.chunked_pdf, UNNEST(JSON_EXTRACT_ARRAY(ml_process_document_result.chunkedDocument.chunks, '$')) json
   );

3. Dans l'éditeur de requête, exécutez l'instruction suivante pour afficher un sous-ensemble du contenu PDF analysé :

   SELECT *
   FROM `bqml_tutorial.parsed_pdf`
   ORDER BY id
   LIMIT 5;

   Le résultat ressemble à ce qui suit :

   +-----------------------------------+------+------------------------------------------------------------------------------------------------------+-------------------+-----------------+---------------+
   |                uri                |  id  |                                                 content                                              | page_footers_text | page_span_start | page_span_end |
   +-----------------------------------+------+------------------------------------------------------------------------------------------------------+-------------------+-----------------+---------------+
   | gs://mybucket/scf23.pdf           | c1   | •BOARD OF OF FEDERAL GOVERN NOR RESERVE SYSTEM RESEARCH & ANALYSIS                                   | NULL              | 1               | 1             |
   | gs://mybucket/scf23.pdf           | c10  | • In 2022, 20 percent of all families, 14 percent of families in the bottom half of the usual ...    | NULL              | 8               | 9             |
   | gs://mybucket/scf23.pdf           | c100 | The SCF asks multiple questions intended to capture whether families are credit constrained, ...     | NULL              | 48              | 48            |
   | gs://mybucket/scf23.pdf           | c101 | Bankruptcy behavior over the past five years is based on a series of retrospective questions ...     | NULL              | 48              | 48            |
   | gs://mybucket/scf23.pdf           | c102 | # Percentiles of the Distributions of Income and Net Worth                                           | NULL              | 48              | 49            |
   +-----------------------------------+------+------------------------------------------------------------------------------------------------------+-------------------+-----------------+---------------+
    

Créer le modèle distant pour la génération d'embeddings

Créez un modèle distant représentant un modèle de génération de représentations vectorielles continues de texte Vertex AI hébergé :

1. Dans la console Trusted Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, exécutez l'instruction suivante :

   CREATE OR REPLACE MODEL `bqml_tutorial.embedding_model`
     REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID`
     OPTIONS (ENDPOINT = 'text-embedding-005');

   Remplacez les éléments suivants :

   • LOCATION : emplacement de la connexion
   • CONNECTION_ID : ID de votre connexion BigQuery.

     Lorsque vous affichez les détails de la connexion dans la console Trusted Cloud , CONNECTION_ID correspond à la valeur de la dernière section de l'ID de connexion complet affiché dans ID de connexion (par exemple, projects/myproject/locations/connection_location/connections/myconnection).

Générer des embeddings

Générez des embeddings pour le contenu PDF analysé, puis écrivez-les dans une table :

1. Dans la console Trusted Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, exécutez l'instruction suivante :

   CREATE OR REPLACE TABLE `bqml_tutorial.embeddings` AS
   SELECT * FROM ML.GENERATE_EMBEDDING(
     MODEL `bqml_tutorial.embedding_model`,
     TABLE `bqml_tutorial.parsed_pdf`
   );

Exécuter une recherche vectorielle

Exécutez une recherche vectorielle sur le contenu PDF analysé.

La requête suivante prend une entrée de texte, crée un embedding pour cette entrée à l'aide de la fonction ML.GENERATE_EMBEDDING, puis utilise la fonction VECTOR_SEARCH pour faire correspondre l'embedding d'entrée aux embeddings de contenu PDF les plus similaires. Les résultats sont les dix blocs PDF les plus proches sémantiquement de l'entrée.

1. Accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, exécutez l'instruction SQL suivante :

   SELECT query.query, base.id AS pdf_chunk_id, base.content, distance
   FROM
     VECTOR_SEARCH( TABLE `bqml_tutorial.embeddings`,
       'ml_generate_embedding_result',
       (
       SELECT
         ml_generate_embedding_result,
         content AS query
       FROM
         ML.GENERATE_EMBEDDING( MODEL `bqml_tutorial.embedding_model`,
           ( SELECT 'Did the typical family net worth increase? If so, by how much?' AS content)
         )
       ),
       top_k => 10,
       OPTIONS => '{"fraction_lists_to_search": 0.01}')
   ORDER BY distance DESC;

   Le résultat ressemble à ce qui suit :

   +-------------------------------------------------+--------------+------------------------------------------------------------------------------------------------------+---------------------+
   |                query                            | pdf_chunk_id |                                                 content                                              | distance            |
   +-------------------------------------------------+--------------+------------------------------------------------------------------------------------------------------+---------------------+
   | Did the typical family net worth increase? ,... | c9           | ## Assets                                                                                            | 0.31113668174119469 |
   |                                                 |              |                                                                                                      |                     |
   |                                                 |              | The homeownership rate increased slightly between 2019 and 2022, to 66.1 percent. For ...            |                     |
   +-------------------------------------------------+--------------+------------------------------------------------------------------------------------------------------+---------------------+
   | Did the typical family net worth increase? ,... | c50          | # Box 3. Net Housing Wealth and Housing Affordability                                                | 0.30973592073929113 |
   |                                                 |              |                                                                                                      |                     |
   |                                                 |              | For families that own their primary residence ...                                                    |                     |
   +-------------------------------------------------+--------------+------------------------------------------------------------------------------------------------------+---------------------+
   | Did the typical family net worth increase? ,... | c50          | 3 In the 2019 SCF, a small portion of the data collection overlapped with early months of            | 0.29270064592817646 |
   |                                                 |              | the COVID- ...                                                                                       |                     |
   +-------------------------------------------------+--------------+------------------------------------------------------------------------------------------------------+---------------------+
    

Créer le modèle distant pour la génération de texte

Créez un modèle distant représentant un modèle de génération de texte Vertex AI hébergé :

1. Dans la console Trusted Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, exécutez l'instruction suivante :

   CREATE OR REPLACE MODEL `bqml_tutorial.text_model`
     REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID`
     OPTIONS (ENDPOINT = 'gemini-2.0-flash-001');

   Remplacez les éléments suivants :

   • LOCATION : emplacement de la connexion
   • CONNECTION_ID : ID de votre connexion BigQuery.

     Lorsque vous affichez les détails de la connexion dans la console Trusted Cloud , CONNECTION_ID correspond à la valeur de la dernière section de l'ID de connexion complet affiché dans ID de connexion (par exemple, projects/myproject/locations/connection_location/connections/myconnection).

Générer du texte augmenté par les résultats de recherche vectorielle

Effectuez une recherche vectorielle sur les embeddings pour identifier le contenu PDF sémantiquement similaire, puis utilisez la fonction ML.GENERATE_TEXT avec les résultats de la recherche vectorielle pour augmenter la saisie de la requête et améliorer les résultats de la génération de texte. Dans ce cas, la requête utilise les informations des blocs PDF pour répondre à une question sur l'évolution de la valeur nette de la famille au cours de la dernière décennie.

1. Dans la console Trusted Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, exécutez l'instruction suivante :

   SELECT
     ml_generate_text_llm_result AS generated
     FROM
     ML.GENERATE_TEXT( MODEL `bqml_tutorial.text_model`,
       (
       SELECT
       CONCAT( 'Did the typical family net worth change? How does this compare the SCF survey a decade earlier? Be concise and use the following context:',
       STRING_AGG(FORMAT("context: %s and reference: %s", base.content, base.uri), ',\n')) AS prompt,
       FROM
         VECTOR_SEARCH( TABLE
           `bqml_tutorial.embeddings`,
           'ml_generate_embedding_result',
           (
           SELECT
             ml_generate_embedding_result,
             content AS query
           FROM
             ML.GENERATE_EMBEDDING( MODEL `bqml_tutorial.embedding_model`,
               (
               SELECT
                 'Did the typical family net worth change? How does this compare the SCF survey a decade earlier?' AS content
               )
             )
           ),
           top_k => 10,
           OPTIONS => '{"fraction_lists_to_search": 0.01}')
         ),
         STRUCT(512 AS max_output_tokens, TRUE AS flatten_json_output)
     );

   Le résultat ressemble à ce qui suit :

   +-------------------------------------------------------------------------------+
   |               generated                                                       |
   +-------------------------------------------------------------------------------+
   | Between the 2019 and 2022 Survey of Consumer Finances (SCF), real median      |
   | family net worth surged 37 percent to $192,900, and real mean net worth       |
   | increased 23 percent to $1,063,700.  This represents the largest three-year   |
   | increase in median net worth in the history of the modern SCF, exceeding the  |
   | next largest by more than double.  In contrast, between 2010 and 2013, real   |
   | median net worth decreased 2 percent, and real mean net worth remained        |
   | unchanged.                                                                    |
   +-------------------------------------------------------------------------------+
    

Effectuer un nettoyage

1. In the Trusted Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.