ניתוח קובצי PDF בצינור של Retrieval-Augmented Generation (יצירה משולבת-אחזור, RAG)

יצירת קבוצת נתונים

כדי ליצור קבוצת נתונים ב-BigQuery, בוחרים אחת מהאפשרויות הבאות:

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

העלאת קובץ ה-PDF לדוגמה ל-Cloud Storage

כדי להעלות את קובץ ה-PDF לדוגמה ל-Cloud Storage:

1. מורידים את קובץ ה-PDF לדוגמה של scf23.pdf: נכנסים לכתובת https://www.federalreserve.gov/publications/files/scf23.pdf ולוחצים על סמל ההורדה download.
2. יצירת קטגוריה של Cloud Storage
3. מעלים את הקובץ scf23.pdf לקטגוריה.

מנתחים את קובץ ה-PDF לחלקים

משתמשים במעבד המסמכים עם הפונקציה AI.CHUNK_DOCUMENT כדי לנתח את קובץ ה-PDF לחלקים, ואז כותבים את התוכן הזה בטבלה:

1. נכנסים לדף BigQuery במסוף Cloud de Confiance .

   כניסה ל-BigQuery

2. בעורך השאילתות, מריצים את ההצהרה הבאה:

   CREATE or REPLACE TABLE bqml_tutorial.chunked_pdf AS (
     SELECT *
     FROM AI.CHUNK_DOCUMENT('gs://BUCKET_NAME/scf23.pdf', chunk_size => 250)
   );

3. בעורך השאילתות, מריצים את השאילתה הבאה כדי להציג קבוצת משנה של תוכן ה-PDF שנותח:

   SELECT
     chunk_id,
     start_page,
     end_page,
     content
   FROM `bqml_tutorial.chunked_pdf`
   ORDER BY chunk_id
   LIMIT 3;

   הפלט אמור להיראות כך:

   +----------+------------+----------+-------------------------------------------+
   | chunk_id | start_page | end_page | content                                   |
   +----------+------------+----------+-------------------------------------------+
   | 1        | 1          | 1        | OF NORS. • BOARD OF GOVERNO FEDERAL       |
   |          |            |          | RESERVE SYSTEM RESEARCH & ANALYSIS        |
   | 2        | 1          | 7        | # Changes in U.S. Family Finances from    |
   |          |            |          | 2019 to 2022                              |
   |          |            |          |                                           |
   |          |            |          | Evidence from the Survey of Consumer...   |
   | 3        | 3          | 5        | # Changes in U.S. Family Finances from    |
   |          |            |          | 2019 to 2022                              |
   |          |            |          |                                           |
   |          |            |          | ## Contents...                            |
   +----------+------------+----------+-------------------------------------------+
   

יצירת הטמעות

יוצרים הטמעות לתוכן ה-PDF שנותח ואז כותבים אותן בטבלה:

1. נכנסים לדף BigQuery במסוף Cloud de Confiance .

   כניסה ל-BigQuery

2. בעורך השאילתות, מריצים את ההצהרה הבאה:

   CREATE OR REPLACE TABLE `bqml_tutorial.embeddings` AS (
     SELECT *, AI.EMBED(content, endpoint => 'text-embedding-005').result AS embedding
     FROM bqml_tutorial.chunked_pdf
   );

הרצת חיפוש וקטורי

מריצים חיפוש וקטורי על תוכן ה-PDF המנותח.

השאילתה הבאה מקבלת קלט טקסט, יוצרת הטמעה של הקלט הזה באמצעות הפונקציה AI.EMBED, ואז משתמשת בפונקציה VECTOR_SEARCH כדי להתאים את הטמעת הקלט להטמעות הכי דומות של תוכן PDF. התוצאות הן עשרת החלקים בקובץ ה-PDF שהכי קשורים לשינויים בשווי הנקי של המשפחה.

1. נכנסים לדף BigQuery.

   כניסה ל-BigQuery

2. בעורך השאילתות, מריצים את הצהרת ה-SQL הבאה:

   SELECT
     distance,
     base.chunk_id AS chunk_id,
     base.start_page AS start_page,
     base.end_page AS end_page,
     base.content
   FROM
     VECTOR_SEARCH(
       TABLE `bqml_tutorial.embeddings`,
       'embedding',
       query_value =>
         AI.EMBED(
           'Did the typical family net worth increase? If so, by how much?',
           endpoint => 'text-embedding-005').result,
       top_k => 3,
       OPTIONS => '{"fraction_lists_to_search": 0.01}')
   ORDER BY distance DESC;

   הפלט אמור להיראות כך:

   +----------+----------+------------+----------+-----------------------------------+
   | distance | chunk_id | start_page | end_page | content                           |
   +----------+----------+------------+----------+-----------------------------------+
   | 0.608587 | 25       | 17         | 18       | # Net Worth                       |
   |          |          |            |          |                                   |
   |          |          |            |          | 18 Between the first quarter of   |
   |          |          |            |          | 2019 and the first quarter of...  |
   +----------+----------+------------+----------+-----------------------------------+
   | 0.606387 | 29       | 19         | 21       | ## Net Worth                      |
   |          |          |            |          |                                   |
   |          |          |            |          | ## Net Worth by Family            |
   |          |          |            |          | Characteristics...                |
   +----------+----------+------------+----------+-----------------------------------+
   | 0.599438 | 23       | 17         | 21       | # Net Worth                       |
   |          |          |            |          |                                   |
   |          |          |            |          | The net improvements in...        |
   +----------+----------+------------+----------+-----------------------------------+
   

יצירת טקסט דינמי מבוסס-AI שמשופר באמצעות תוצאות חיפוש וקטורי

מבצעים חיפוש וקטורי בהטמעות כדי לזהות תוכן PDF דומה מבחינה סמנטית, ואז משתמשים בפונקציה AI.GENERATE עם תוצאות החיפוש הווקטורי כדי להרחיב את קלט ההנחיה ולשפר את תוצאות יצירת הטקסט. במקרה הזה, השאילתה משתמשת במידע מחלקי ה-PDF כדי לענות על שאלה לגבי השינוי בשווי הנקי של המשפחה בעשור האחרון.

1. נכנסים לדף BigQuery במסוף Cloud de Confiance .

   כניסה ל-BigQuery

2. בעורך השאילתות, מריצים את ההצהרה הבאה:

   SELECT
     AI.GENERATE(
       CONCAT('Did the typical family net worth change? How does this compare the SCF survey a decade earlier? Be concise and use the following context:',
               STRING_AGG(FORMAT("context: %s", base.content), ',\n')
       )
     ).result AS response
   FROM
     VECTOR_SEARCH(
       TABLE `bqml_tutorial.embeddings`,
       'embedding',
       query_value =>
         AI.EMBED(
           'Did the typical family net worth increase? If so, by how much?',
           endpoint => 'text-embedding-005').result,
       top_k => 3,
       OPTIONS => '{"fraction_lists_to_search": 0.01}')

   הפלט אמור להיראות כך:

   +-------------------------------------------------------------------------+
   | response                                                                |
   +-------------------------------------------------------------------------+
   | Yes, the typical family net worth changed significantly. Between 2019   |
   | and 2022, real median net worth surged by 37% to $192,900.              |
   |                                                                         |
   | This growth contrasts sharply with the period a decade earlier. Between |
   | the 2010 and 2013 SCF surveys, real median net worth actually decreased |
   | by 2%.                                                                  |
   +-------------------------------------------------------------------------+