Analyser des PDF dans un pipeline de génération augmentée par récupération

Créer un ensemble de données

Pour créer un ensemble de données BigQuery, sélectionnez l'une des options suivantes :

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

Importer l'exemple de document PDF dans Cloud Storage

Pour importer l'exemple de PDF dans Cloud Storage, procédez comme suit :

1. Téléchargez l'exemple de PDF scf23.pdf en accédant à https://www.federalreserve.gov/publications/files/scf23.pdf et en cliquant sur "Télécharger" download.
2. Créez un bucket Cloud Storage.
3. Importez le fichier scf23.pdf dans le bucket.

Analyser le fichier PDF en fragments

Utilisez le processeur de documents avec la fonction AI.CHUNK_DOCUMENT pour analyser le fichier PDF en fragments, puis écrivez ce contenu dans une table :

1. Dans la console Cloud de Confiance , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, exécutez l'instruction suivante :

   CREATE or REPLACE TABLE bqml_tutorial.chunked_pdf AS (
     SELECT *
     FROM AI.CHUNK_DOCUMENT('gs://BUCKET_NAME/scf23.pdf', chunk_size => 250)
   );

3. Dans l'éditeur de requête, exécutez la requête suivante pour afficher un sous-ensemble du contenu PDF analysé :

   SELECT
     chunk_id,
     start_page,
     end_page,
     content
   FROM `bqml_tutorial.chunked_pdf`
   ORDER BY chunk_id
   LIMIT 3;

   Le résultat ressemble à ce qui suit :

   +----------+------------+----------+-------------------------------------------+
   | chunk_id | start_page | end_page | content                                   |
   +----------+------------+----------+-------------------------------------------+
   | 1        | 1          | 1        | OF NORS. • BOARD OF GOVERNO FEDERAL       |
   |          |            |          | RESERVE SYSTEM RESEARCH & ANALYSIS        |
   | 2        | 1          | 7        | # Changes in U.S. Family Finances from    |
   |          |            |          | 2019 to 2022                              |
   |          |            |          |                                           |
   |          |            |          | Evidence from the Survey of Consumer...   |
   | 3        | 3          | 5        | # Changes in U.S. Family Finances from    |
   |          |            |          | 2019 to 2022                              |
   |          |            |          |                                           |
   |          |            |          | ## Contents...                            |
   +----------+------------+----------+-------------------------------------------+
   

Générer des embeddings

Générez des embeddings pour le contenu PDF analysé, puis écrivez-les dans une table :

1. Dans la console Cloud de Confiance , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, exécutez l'instruction suivante :

   CREATE OR REPLACE TABLE `bqml_tutorial.embeddings` AS (
     SELECT *, AI.EMBED(content, endpoint => 'text-embedding-005').result AS embedding
     FROM bqml_tutorial.chunked_pdf
   );

Exécuter une recherche vectorielle

Exécuter une recherche vectorielle sur le contenu PDF analysé.

La requête suivante prend une entrée textuelle, crée un embedding pour cette entrée à l'aide de la fonction AI.EMBED, puis utilise la fonction VECTOR_SEARCH pour faire correspondre l'embedding d'entrée avec les embeddings de contenu PDF les plus similaires. Les résultats sont les dix premiers fragments de PDF les plus liés aux variations de la valeur nette des familles.

1. Accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, exécutez l'instruction SQL suivante :

   SELECT
     distance,
     base.chunk_id AS chunk_id,
     base.start_page AS start_page,
     base.end_page AS end_page,
     base.content
   FROM
     VECTOR_SEARCH(
       TABLE `bqml_tutorial.embeddings`,
       'embedding',
       query_value =>
         AI.EMBED(
           'Did the typical family net worth increase? If so, by how much?',
           endpoint => 'text-embedding-005').result,
       top_k => 3,
       OPTIONS => '{"fraction_lists_to_search": 0.01}')
   ORDER BY distance DESC;

   Le résultat ressemble à ce qui suit :

   +----------+----------+------------+----------+-----------------------------------+
   | distance | chunk_id | start_page | end_page | content                           |
   +----------+----------+------------+----------+-----------------------------------+
   | 0.608587 | 25       | 17         | 18       | # Net Worth                       |
   |          |          |            |          |                                   |
   |          |          |            |          | 18 Between the first quarter of   |
   |          |          |            |          | 2019 and the first quarter of...  |
   +----------+----------+------------+----------+-----------------------------------+
   | 0.606387 | 29       | 19         | 21       | ## Net Worth                      |
   |          |          |            |          |                                   |
   |          |          |            |          | ## Net Worth by Family            |
   |          |          |            |          | Characteristics...                |
   +----------+----------+------------+----------+-----------------------------------+
   | 0.599438 | 23       | 17         | 21       | # Net Worth                       |
   |          |          |            |          |                                   |
   |          |          |            |          | The net improvements in...        |
   +----------+----------+------------+----------+-----------------------------------+
   

Générer du texte augmenté par les résultats de recherche vectorielle

Effectuez une Vector Search sur les embeddings pour identifier un contenu PDF sémantiquement similaire, puis utilisez la fonction AI.GENERATE avec les résultats de recherche vectorielle pour augmenter la saisie du prompt et améliorer les résultats de la génération de texte. Dans ce cas, la requête utilise les informations des fragments du PDF pour répondre à une question sur l'évolution de la valeur nette des familles au cours de la dernière décennie.

1. Dans la console Cloud de Confiance , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, exécutez l'instruction suivante :

   SELECT
     AI.GENERATE(
       CONCAT('Did the typical family net worth change? How does this compare the SCF survey a decade earlier? Be concise and use the following context:',
               STRING_AGG(FORMAT("context: %s", base.content), ',\n')
       )
     ).result AS response
   FROM
     VECTOR_SEARCH(
       TABLE `bqml_tutorial.embeddings`,
       'embedding',
       query_value =>
         AI.EMBED(
           'Did the typical family net worth increase? If so, by how much?',
           endpoint => 'text-embedding-005').result,
       top_k => 3,
       OPTIONS => '{"fraction_lists_to_search": 0.01}')

   Le résultat ressemble à ce qui suit :

   +-------------------------------------------------------------------------+
   | response                                                                |
   +-------------------------------------------------------------------------+
   | Yes, the typical family net worth changed significantly. Between 2019   |
   | and 2022, real median net worth surged by 37% to $192,900.              |
   |                                                                         |
   | This growth contrasts sharply with the period a decade earlier. Between |
   | the 2010 and 2013 SCF surveys, real median net worth actually decreased |
   | by 2%.                                                                  |
   +-------------------------------------------------------------------------+