ניתוח קובצי PDF בצינור של Retrieval-Augmented Generation (יצירה משולבת-אחזור, RAG)

יצירת מערך נתונים

יוצרים מערך נתונים ב-BigQuery לאחסון מודל ה-ML.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

יצירת חיבור

יוצרים קישור למשאבים ב-Cloud ומקבלים את חשבון השירות של הקישור. יוצרים את החיבור באותו מיקום.

אם כבר הגדרתם חיבור ברירת מחדל או שיש לכם את תפקיד האדמין ב-BigQuery, אתם יכולים לדלג על השלב הזה.

import google.api_core.exceptions
from google.cloud import bigquery_connection_v1

client = bigquery_connection_v1.ConnectionServiceClient()


def create_connection(
    project_id: str,
    location: str,
    connection_id: str,
):
    """Creates a BigQuery connection to a Cloud Resource.

    Cloud Resource connection creates a service account which can then be
    granted access to other Google Cloud resources for federated queries.

    Args:
        project_id: The Google Cloud project ID.
        location: The location of the connection (for example, "us-central1").
        connection_id: The ID of the connection to create.
    """

    parent = client.common_location_path(project_id, location)

    connection = bigquery_connection_v1.Connection(
        friendly_name="Example Connection",
        description="A sample connection for a Cloud Resource.",
        cloud_resource=bigquery_connection_v1.CloudResourceProperties(),
    )

    try:
        created_connection = client.create_connection(
            parent=parent, connection_id=connection_id, connection=connection
        )
        print(f"Successfully created connection: {created_connection.name}")
        print(f"Friendly name: {created_connection.friendly_name}")
        print(
            f"Service Account: {created_connection.cloud_resource.service_account_id}"
        )

    except google.api_core.exceptions.AlreadyExists:
        print(f"Connection with ID '{connection_id}' already exists.")
        print("Please use a different connection ID.")
    except Exception as e:
        print(f"An unexpected error occurred while creating the connection: {e}")

const {ConnectionServiceClient} =
  require('@google-cloud/bigquery-connection').v1;
const {status} = require('@grpc/grpc-js');

const client = new ConnectionServiceClient();

/**
 * Creates a new BigQuery connection to a Cloud Resource.
 *
 * A Cloud Resource connection creates a service account that can be granted access
 * to other Google Cloud resources.
 *
 * @param {string} projectId The Google Cloud project ID. for example, 'example-project-id'
 * @param {string} location The location of the project to create the connection in. for example, 'us-central1'
 * @param {string} connectionId The ID of the connection to create. for example, 'example-connection-id'
 */
async function createConnection(projectId, location, connectionId) {
  const parent = client.locationPath(projectId, location);

  const connection = {
    friendlyName: 'Example Connection',
    description: 'A sample connection for a Cloud Resource',
    // The service account for this cloudResource will be created by the API.
    // Its ID will be available in the response.
    cloudResource: {},
  };

  const request = {
    parent,
    connectionId,
    connection,
  };

  try {
    const [response] = await client.createConnection(request);

    console.log(`Successfully created connection: ${response.name}`);
    console.log(`Friendly name: ${response.friendlyName}`);

    console.log(`Service Account: ${response.cloudResource.serviceAccountId}`);
  } catch (err) {
    if (err.code === status.ALREADY_EXISTS) {
      console.log(`Connection '${connectionId}' already exists.`);
    } else {
      console.error(`Error creating connection: ${err.message}`);
    }
  }
}

# This queries the provider for project information.
data "google_project" "default" {}

# This creates a cloud resource connection in the US region named my_cloud_resource_connection.
# Note: The cloud resource nested object has only one output field - serviceAccountId.
resource "google_bigquery_connection" "default" {
  connection_id = "my_cloud_resource_connection"
  project       = data.google_project.default.project_id
  location      = "US"
  cloud_resource {}
}

הענקת גישה לחשבון השירות

בוחרים באחת מהאפשרויות הבאות:

gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/documentai.viewer' --condition=None
gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/storage.objectViewer' --condition=None
gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/aiplatform.user' --condition=None
 

העלאת קובץ ה-PDF לדוגמה ל-Cloud Storage

כדי להעלות את קובץ ה-PDF לדוגמה ל-Cloud Storage:

1. מורידים את קובץ ה-PDF לדוגמה בכתובת https://www.federalreserve.gov/publications/files/scf23.pdf ולוחצים על סמל ההורדה download.scf23.pdf
2. יצירת קטגוריה של Cloud Storage
3. מעלים את הקובץ scf23.pdf לקטגוריה.

יצירת טבלת אובייקטים

יוצרים טבלת אובייקטים על קובץ ה-PDF ב-Cloud Storage:

1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בעורך השאילתות, מריצים את ההצהרה הבאה:

   CREATE OR REPLACE EXTERNAL TABLE `bqml_tutorial.pdf`
   WITH CONNECTION `LOCATION.CONNECTION_ID`
   OPTIONS(
     object_metadata = 'SIMPLE',
     uris = ['gs://BUCKET/scf23.pdf']);

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫LOCATION: מיקום החיבור.
   • ‫CONNECTION_ID: המזהה של החיבור ל-BigQuery.

     כשמציגים את פרטי החיבור במסוף Cloud de Confiance , הערך CONNECTION_ID הוא הערך בקטע האחרון של מזהה החיבור המלא שמוצג במזהה החיבור, לדוגמה projects/myproject/locations/connection_location/connections/myconnection.

   • ‫BUCKET: קטגוריית Cloud Storage שמכילה את הקובץ scf23.pdf. הערך המלא של האפשרות uri צריך להיראות בערך כמו ['gs://mybucket/scf23.pdf'].

יצירת מעבד מסמכים

יוצרים מעבד מסמכים שמבוסס על מעבד ניתוח פריסות במיקום us שכולל מספר אזורים. מעתיקים את נקודת הקצה של התחזית מהדף Processor details כדי להשתמש בה בקטע הבא.

יצירת המודל המרוחק למעבד המסמכים

יוצרים מודל מרוחק כדי לגשת למעבד Document AI:

1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בעורך השאילתות, מריצים את ההצהרה הבאה:

   CREATE OR REPLACE MODEL `bqml_tutorial.parser_model`
   REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID`
     OPTIONS(remote_service_type = 'CLOUD_AI_DOCUMENT_V1', document_processor = 'PROCESSOR_ID');

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫LOCATION: מיקום החיבור.
   • ‫CONNECTION_ID: המזהה של החיבור ל-BigQuery.

     כשמציגים את פרטי החיבור במסוף Cloud de Confiance , הערך CONNECTION_ID הוא הערך בקטע האחרון של מזהה החיבור המלא שמוצג במזהה החיבור, לדוגמה projects/myproject/locations/connection_location/connections/myconnection.

   • ‫PROCESSOR_ID: מזהה מעבד המסמכים. כדי למצוא את הערך הזה, צופים בפרטי המעבד ואז מחפשים את השורה מזהה בקטע מידע בסיסי.

ניתוח קובץ ה-PDF לחלקים

משתמשים בפונקציה ML.PROCESS_DOCUMENT של מעבד המסמכים כדי לנתח את קובץ ה-PDF לחלקים, ואז כותבים את התוכן הזה בטבלה. הפונקציה ML.PROCESS_DOCUMENT מחזירה את חלקי ה-PDF בפורמט JSON.

1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בעורך השאילתות, מריצים את ההצהרה הבאה:

   CREATE or REPLACE TABLE bqml_tutorial.chunked_pdf AS (
     SELECT * FROM ML.PROCESS_DOCUMENT(
     MODEL bqml_tutorial.parser_model,
     TABLE bqml_tutorial.pdf,
     PROCESS_OPTIONS => (JSON '{"layout_config": {"chunking_config": {"chunk_size": 250}}}')
     )
   );

ניתוח נתוני מקטע PDF לעמודות נפרדות

מחלקים את תוכן ה-PDF ואת פרטי המטא-נתונים מנתוני ה-JSON שמוחזרים על ידי הפונקציה ML.PROCESS_DOCUMENT, ואז כותבים את התוכן הזה לטבלה:

1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בעורך השאילתות, מריצים את ההצהרה הבאה כדי לנתח את תוכן ה-PDF:

   CREATE OR REPLACE TABLE bqml_tutorial.parsed_pdf AS (
   SELECT
     uri,
     JSON_EXTRACT_SCALAR(json , '$.chunkId') AS id,
     JSON_EXTRACT_SCALAR(json , '$.content') AS content,
     JSON_EXTRACT_SCALAR(json , '$.pageFooters[0].text') AS page_footers_text,
     JSON_EXTRACT_SCALAR(json , '$.pageSpan.pageStart') AS page_span_start,
     JSON_EXTRACT_SCALAR(json , '$.pageSpan.pageEnd') AS page_span_end
   FROM bqml_tutorial.chunked_pdf, UNNEST(JSON_EXTRACT_ARRAY(ml_process_document_result.chunkedDocument.chunks, '$')) json
   );

3. בעורך השאילתות, מריצים את ההצהרה הבאה כדי לראות קבוצת משנה של תוכן ה-PDF המנותח:

   SELECT *
   FROM `bqml_tutorial.parsed_pdf`
   ORDER BY id
   LIMIT 5;

   הפלט אמור להיראות כך:

   +-----------------------------------+------+------------------------------------------------------------------------------------------------------+-------------------+-----------------+---------------+
   |                uri                |  id  |                                                 content                                              | page_footers_text | page_span_start | page_span_end |
   +-----------------------------------+------+------------------------------------------------------------------------------------------------------+-------------------+-----------------+---------------+
   | gs://mybucket/scf23.pdf           | c1   | •BOARD OF OF FEDERAL GOVERN NOR RESERVE SYSTEM RESEARCH & ANALYSIS                                   | NULL              | 1               | 1             |
   | gs://mybucket/scf23.pdf           | c10  | • In 2022, 20 percent of all families, 14 percent of families in the bottom half of the usual ...    | NULL              | 8               | 9             |
   | gs://mybucket/scf23.pdf           | c100 | The SCF asks multiple questions intended to capture whether families are credit constrained, ...     | NULL              | 48              | 48            |
   | gs://mybucket/scf23.pdf           | c101 | Bankruptcy behavior over the past five years is based on a series of retrospective questions ...     | NULL              | 48              | 48            |
   | gs://mybucket/scf23.pdf           | c102 | # Percentiles of the Distributions of Income and Net Worth                                           | NULL              | 48              | 49            |
   +-----------------------------------+------+------------------------------------------------------------------------------------------------------+-------------------+-----------------+---------------+
    

יצירת הטמעות

יצירת הטמעות לתוכן ה-PDF שנותח ואז כתיבתן לטבלה:

1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בעורך השאילתות, מריצים את ההצהרה הבאה:

   CREATE OR REPLACE TABLE `bqml_tutorial.embeddings` AS (
     SELECT *, AI.EMBED(content, endpoint => 'text-embedding-005').result AS embedding
     FROM bqml_tutorial.parsed_pdf
   );

הפעלת חיפוש וקטורי

מריצים חיפוש וקטורי על תוכן ה-PDF המנותח.

השאילתה הבאה מקבלת קלט טקסט, יוצרת הטמעה של הקלט באמצעות הפונקציה AI.EMBED, ואז משתמשת בפונקציה VECTOR_SEARCH כדי להתאים את הטמעת הקלט להטמעות של תוכן PDF הכי דומות. התוצאות הן עשרת חלקי ה-PDF הכי קשורים לשינויים בשווי הנקי של המשפחה.

1. עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בעורך השאילתות, מריצים את הצהרת ה-SQL הבאה:

   SELECT
     distance,
     base.id AS chunk_id,
     base.page_span_start AS start_page,
     base.page_span_end AS end_page,
     base.content
   FROM
     VECTOR_SEARCH(
       TABLE `bqml_tutorial.embeddings`,
       'embedding',
       query_value =>
         AI.EMBED(
           'Did the typical family net worth increase? If so, by how much?',
           endpoint => 'text-embedding-005').result,
       top_k => 3,
       OPTIONS => '{"fraction_lists_to_search": 0.01}')
   ORDER BY distance DESC;

   הפלט אמור להיראות כך:

   +----------+----------+------------+----------+-----------------------------------+
   | distance | chunk_id | start_page | end_page | content                           |
   +----------+----------+------------+----------+-----------------------------------+
   | 0.645685 | 26       | 17         | 18       | 18 Between the first quarter of   |
   |          |          |            |          | 2019 and the first quarter of...  |
   +----------+----------+------------+----------+-----------------------------------+
   | 0.602665 | 30       | 19         | 21       | ## Net Worth by Family            |
   |          |          |            |          | Characteristics...                |
   +----------+----------+------------+----------+-----------------------------------+
   | 0.599438 | 24       | 17         | 21       | # Net Worth                       |
   |          |          |            |          | The net improvements in...        |
   +----------+----------+------------+----------+-----------------------------------+
   

יצירת טקסט עם תוצאות חיפוש וקטורי

מבצעים חיפוש וקטורי בהטמעות כדי לזהות תוכן PDF דומה מבחינה סמנטית, ואז משתמשים בפונקציה AI.GENERATE עם תוצאות החיפוש הווקטורי כדי להוסיף מידע לקלט של ההנחיה ולשפר את תוצאות יצירת הטקסט. במקרה הזה, השאילתה משתמשת במידע מהחלקים של ה-PDF כדי לענות על שאלה לגבי השינוי בשווי הנקי של המשפחה בעשור האחרון.

1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בעורך השאילתות, מריצים את ההצהרה הבאה:

   SELECT
     AI.GENERATE(
       CONCAT('Did the typical family net worth change? How does this compare the SCF survey a decade earlier? Be concise and use the following context:',
               STRING_AGG(FORMAT("context: %s", base.content), ',\n')
       ),
       endpoint => 'gemini-2.5-pro'
     ).result AS response
   FROM
     VECTOR_SEARCH(
       TABLE `bqml_tutorial.embeddings`,
       'embedding',
       query_value =>
         AI.EMBED(
           'Did the typical family net worth increase? If so, by how much?',
           endpoint => 'text-embedding-005').result,
       top_k => 3,
       OPTIONS => '{"fraction_lists_to_search": 0.01}')

   הפלט אמור להיראות כך:

   +-------------------------------------------------------------------------+
   | response                                                                |
   +-------------------------------------------------------------------------+
   | Yes, the typical family net worth changed significantly.                |
   |                                                                         |
   | Real median net worth surged 37% between the 2019 and 2022 SCF surveys. |
   | This contrasts sharply with a decade earlier (2010-2013), when real     |
   | median net worth decreased 2%.                                          |
   +-------------------------------------------------------------------------+