PDFs in einer Retrieval-Augmented-Generation-Pipeline parsen

Dataset erstellen

Wählen Sie eine der folgenden Optionen aus, um ein BigQuery-Dataset zu erstellen:

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

Beispiel-PDF in Cloud Storage hochladen

So laden Sie die Beispiel-PDF-Datei in Cloud Storage hoch:

1. Laden Sie die Beispiel-PDF scf23.pdf herunter, indem Sie https://www.federalreserve.gov/publications/files/scf23.pdf aufrufen und auf „Herunterladen“ download klicken.
2. Cloud Storage-Bucket erstellen
3. Laden Sie die Datei scf23.pdf in den Bucket hoch.

PDF-Datei in Blöcke parsen

Verwenden Sie den Dokumentprozessor mit der Funktion AI.CHUNK_DOCUMENT, um die PDF-Datei in Blöcke zu parsen, und schreiben Sie diesen Inhalt dann in eine Tabelle:

1. Rufen Sie in der Cloud de Confiance Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Führen Sie im Abfrageeditor folgende Abfrage aus:

   CREATE or REPLACE TABLE bqml_tutorial.chunked_pdf AS (
     SELECT *
     FROM AI.CHUNK_DOCUMENT('gs://BUCKET_NAME/scf23.pdf', chunk_size => 250)
   );

3. Führen Sie im Abfrageeditor die folgende Abfrage aus, um eine Teilmenge des geparsten PDF-Inhalts aufzurufen:

   SELECT
     chunk_id,
     start_page,
     end_page,
     content
   FROM `bqml_tutorial.chunked_pdf`
   ORDER BY chunk_id
   LIMIT 3;

   Die Ausgabe sieht etwa so aus:

   +----------+------------+----------+-------------------------------------------+
   | chunk_id | start_page | end_page | content                                   |
   +----------+------------+----------+-------------------------------------------+
   | 1        | 1          | 1        | OF NORS. • BOARD OF GOVERNO FEDERAL       |
   |          |            |          | RESERVE SYSTEM RESEARCH & ANALYSIS        |
   | 2        | 1          | 7        | # Changes in U.S. Family Finances from    |
   |          |            |          | 2019 to 2022                              |
   |          |            |          |                                           |
   |          |            |          | Evidence from the Survey of Consumer...   |
   | 3        | 3          | 5        | # Changes in U.S. Family Finances from    |
   |          |            |          | 2019 to 2022                              |
   |          |            |          |                                           |
   |          |            |          | ## Contents...                            |
   +----------+------------+----------+-------------------------------------------+
   

Einbettungen generieren

Generieren Sie Einbettungen für den geparsten PDF-Inhalt und schreiben Sie sie dann in eine Tabelle:

1. Rufen Sie in der Cloud de Confiance Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Führen Sie im Abfrageeditor folgende Abfrage aus:

   CREATE OR REPLACE TABLE `bqml_tutorial.embeddings` AS (
     SELECT *, AI.EMBED(content, endpoint => 'text-embedding-005').result AS embedding
     FROM bqml_tutorial.chunked_pdf
   );

Vektorsuche ausführen

Führen Sie eine Vektorsuche für den geparsten PDF-Inhalt aus.

Die folgende Abfrage nimmt eine Texteingabe entgegen, erstellt mit der Funktion AI.EMBED eine Einbettung für diese Eingabe und verwendet dann die Funktion VECTOR_SEARCH, um die Eingabeeinbettung mit den ähnlichsten PDF-Inhaltseinbettungen abzugleichen. Die Ergebnisse sind die zehn PDF-Blöcke, die am stärksten mit Änderungen des Nettovermögens von Familien zusammenhängen.

1. Rufen Sie die Seite BigQuery auf.

   BigQuery aufrufen

2. Führen Sie im Abfrageeditor folgende SQL-Anweisung aus:

   SELECT
     distance,
     base.chunk_id AS chunk_id,
     base.start_page AS start_page,
     base.end_page AS end_page,
     base.content
   FROM
     VECTOR_SEARCH(
       TABLE `bqml_tutorial.embeddings`,
       'embedding',
       query_value =>
         AI.EMBED(
           'Did the typical family net worth increase? If so, by how much?',
           endpoint => 'text-embedding-005').result,
       top_k => 3,
       OPTIONS => '{"fraction_lists_to_search": 0.01}')
   ORDER BY distance DESC;

   Die Ausgabe sieht etwa so aus:

   +----------+----------+------------+----------+-----------------------------------+
   | distance | chunk_id | start_page | end_page | content                           |
   +----------+----------+------------+----------+-----------------------------------+
   | 0.608587 | 25       | 17         | 18       | # Net Worth                       |
   |          |          |            |          |                                   |
   |          |          |            |          | 18 Between the first quarter of   |
   |          |          |            |          | 2019 and the first quarter of...  |
   +----------+----------+------------+----------+-----------------------------------+
   | 0.606387 | 29       | 19         | 21       | ## Net Worth                      |
   |          |          |            |          |                                   |
   |          |          |            |          | ## Net Worth by Family            |
   |          |          |            |          | Characteristics...                |
   +----------+----------+------------+----------+-----------------------------------+
   | 0.599438 | 23       | 17         | 21       | # Net Worth                       |
   |          |          |            |          |                                   |
   |          |          |            |          | The net improvements in...        |
   +----------+----------+------------+----------+-----------------------------------+
   

Durch Vektorsuchergebnisse erweiterten Text generieren

Führen Sie eine Vektorsuche für die Einbettungen durch, um semantisch ähnliche PDF-Inhalte zu identifizieren. Verwenden Sie dann die Funktion AI.GENERATE mit den Vektorsuchergebnissen, um die Prompt-Eingabe zu erweitern und die Ergebnisse der Textgenerierung zu verbessern. In diesem Fall verwendet die Abfrage Informationen aus den PDF-Blöcken, um eine Frage zur Veränderung des Nettovermögens von Familien im letzten Jahrzehnt zu beantworten.

1. Rufen Sie in der Cloud de Confiance Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Führen Sie im Abfrageeditor folgende Abfrage aus:

   SELECT
     AI.GENERATE(
       CONCAT('Did the typical family net worth change? How does this compare the SCF survey a decade earlier? Be concise and use the following context:',
               STRING_AGG(FORMAT("context: %s", base.content), ',\n')
       )
     ).result AS response
   FROM
     VECTOR_SEARCH(
       TABLE `bqml_tutorial.embeddings`,
       'embedding',
       query_value =>
         AI.EMBED(
           'Did the typical family net worth increase? If so, by how much?',
           endpoint => 'text-embedding-005').result,
       top_k => 3,
       OPTIONS => '{"fraction_lists_to_search": 0.01}')

   Die Ausgabe sieht in etwa so aus:

   +-------------------------------------------------------------------------+
   | response                                                                |
   +-------------------------------------------------------------------------+
   | Yes, the typical family net worth changed significantly. Between 2019   |
   | and 2022, real median net worth surged by 37% to $192,900.              |
   |                                                                         |
   | This growth contrasts sharply with the period a decade earlier. Between |
   | the 2010 and 2013 SCF surveys, real median net worth actually decreased |
   | by 2%.                                                                  |
   +-------------------------------------------------------------------------+