Analizzare i PDF in una pipeline di Retrieval Augmented Generation

Crea un set di dati

Per creare un set di dati BigQuery, seleziona una delle seguenti opzioni:

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

Carica il PDF di esempio su Cloud Storage

Per caricare il PDF di esempio su Cloud Storage, segui questi passaggi:

1. Scarica il PDF di esempio scf23.pdf andando su https://www.federalreserve.gov/publications/files/scf23.pdf e facendo clic su Scarica download.
2. Crea un bucket Cloud Storage.
3. Carica il file scf23.pdf nel bucket.

Analizza il file PDF in blocchi

Utilizza il processore di documenti con la funzione AI.CHUNK_DOCUMENT per analizzare il file PDF in blocchi, quindi scrivi i contenuti in una tabella:

1. Nella console Cloud de Confiance , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente istruzione:

   CREATE or REPLACE TABLE bqml_tutorial.chunked_pdf AS (
     SELECT *
     FROM AI.CHUNK_DOCUMENT('gs://BUCKET_NAME/scf23.pdf', chunk_size => 250)
   );

3. Nell'editor di query, esegui la seguente query per visualizzare un sottoinsieme dei contenuti PDF analizzati:

   SELECT
     chunk_id,
     start_page,
     end_page,
     content
   FROM `bqml_tutorial.chunked_pdf`
   ORDER BY chunk_id
   LIMIT 3;

   L'output è simile al seguente:

   +----------+------------+----------+-------------------------------------------+
   | chunk_id | start_page | end_page | content                                   |
   +----------+------------+----------+-------------------------------------------+
   | 1        | 1          | 1        | OF NORS. • BOARD OF GOVERNO FEDERAL       |
   |          |            |          | RESERVE SYSTEM RESEARCH & ANALYSIS        |
   | 2        | 1          | 7        | # Changes in U.S. Family Finances from    |
   |          |            |          | 2019 to 2022                              |
   |          |            |          |                                           |
   |          |            |          | Evidence from the Survey of Consumer...   |
   | 3        | 3          | 5        | # Changes in U.S. Family Finances from    |
   |          |            |          | 2019 to 2022                              |
   |          |            |          |                                           |
   |          |            |          | ## Contents...                            |
   +----------+------------+----------+-------------------------------------------+
   

Genera embedding

Genera gli embedding per i contenuti PDF analizzati e poi scrivili in una tabella:

1. Nella console Cloud de Confiance , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente istruzione:

   CREATE OR REPLACE TABLE `bqml_tutorial.embeddings` AS (
     SELECT *, AI.EMBED(content, endpoint => 'text-embedding-005').result AS embedding
     FROM bqml_tutorial.chunked_pdf
   );

Esegui una ricerca vettoriale

Esegui una ricerca vettoriale sui contenuti PDF analizzati.

La seguente query accetta l'input di testo, crea un embedding per l'input utilizzando la funzione AI.EMBED, quindi utilizza la funzione VECTOR_SEARCH per abbinare l'embedding di input agli embedding dei contenuti PDF più simili. I risultati sono i dieci segmenti di PDF più correlati alle variazioni del patrimonio netto della famiglia.

1. Vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente istruzione SQL:

   SELECT
     distance,
     base.chunk_id AS chunk_id,
     base.start_page AS start_page,
     base.end_page AS end_page,
     base.content
   FROM
     VECTOR_SEARCH(
       TABLE `bqml_tutorial.embeddings`,
       'embedding',
       query_value =>
         AI.EMBED(
           'Did the typical family net worth increase? If so, by how much?',
           endpoint => 'text-embedding-005').result,
       top_k => 3,
       OPTIONS => '{"fraction_lists_to_search": 0.01}')
   ORDER BY distance DESC;

   L'output è simile al seguente:

   +----------+----------+------------+----------+-----------------------------------+
   | distance | chunk_id | start_page | end_page | content                           |
   +----------+----------+------------+----------+-----------------------------------+
   | 0.608587 | 25       | 17         | 18       | # Net Worth                       |
   |          |          |            |          |                                   |
   |          |          |            |          | 18 Between the first quarter of   |
   |          |          |            |          | 2019 and the first quarter of...  |
   +----------+----------+------------+----------+-----------------------------------+
   | 0.606387 | 29       | 19         | 21       | ## Net Worth                      |
   |          |          |            |          |                                   |
   |          |          |            |          | ## Net Worth by Family            |
   |          |          |            |          | Characteristics...                |
   +----------+----------+------------+----------+-----------------------------------+
   | 0.599438 | 23       | 17         | 21       | # Net Worth                       |
   |          |          |            |          |                                   |
   |          |          |            |          | The net improvements in...        |
   +----------+----------+------------+----------+-----------------------------------+
   

Genera testo migliorato dai risultati di ricerca vettoriale

Esegui una Vector Search sugli embedding per identificare contenuti PDF semanticamente simili, quindi utilizza la funzione AI.GENERATE con i risultati di ricerca vettoriale per aumentare l'input del prompt e migliorare i risultati della generazione di testo. In questo caso, la query utilizza le informazioni dei chunk del PDF per rispondere a una domanda sulla variazione del patrimonio netto familiare nell'ultimo decennio.

1. Nella console Cloud de Confiance , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente istruzione:

   SELECT
     AI.GENERATE(
       CONCAT('Did the typical family net worth change? How does this compare the SCF survey a decade earlier? Be concise and use the following context:',
               STRING_AGG(FORMAT("context: %s", base.content), ',\n')
       )
     ).result AS response
   FROM
     VECTOR_SEARCH(
       TABLE `bqml_tutorial.embeddings`,
       'embedding',
       query_value =>
         AI.EMBED(
           'Did the typical family net worth increase? If so, by how much?',
           endpoint => 'text-embedding-005').result,
       top_k => 3,
       OPTIONS => '{"fraction_lists_to_search": 0.01}')

   L'output è simile al seguente:

   +-------------------------------------------------------------------------+
   | response                                                                |
   +-------------------------------------------------------------------------+
   | Yes, the typical family net worth changed significantly. Between 2019   |
   | and 2022, real median net worth surged by 37% to $192,900.              |
   |                                                                         |
   | This growth contrasts sharply with the period a decade earlier. Between |
   | the 2010 and 2013 SCF surveys, real median net worth actually decreased |
   | by 2%.                                                                  |
   +-------------------------------------------------------------------------+