Analise PDFs num pipeline de geração aumentada por obtenção

Este tutorial explica o processo de criação de um pipeline de geração aumentada de recuperação (RAG) com base no conteúdo de PDFs analisados.

Os ficheiros PDF, como documentos financeiros, podem ser difíceis de usar em pipelines de RAG devido à respetiva estrutura complexa e mistura de texto, números e tabelas. Este tutorial mostra como usar as capacidades do BigQuery ML em combinação com o analisador de esquemas do Document AI para criar um pipeline RAG com base em informações importantes extraídas de um ficheiro PDF.

Em alternativa, pode realizar este tutorial através de um bloco de notas do Colab Enterprise.

Objetivos

Este tutorial abrange as seguintes tarefas:

• Criar um contentor do Cloud Storage e carregar um ficheiro PDF de exemplo.
• Criar uma ligação de recursos da nuvem para que possa ligar-se ao Cloud Storage e ao Vertex AI a partir do BigQuery.
• Criar uma tabela de objetos sobre o ficheiro PDF para disponibilizar o ficheiro PDF no BigQuery.
• Criar um processador de IA Documentos que pode usar para analisar o ficheiro PDF.
• Criar um modelo remoto que lhe permite usar a API Document AI para aceder ao processador de documentos a partir do BigQuery.
• Usar o modelo remoto com a função ML.PROCESS_DOCUMENT para analisar o conteúdo do PDF em partes e, em seguida, escrever esse conteúdo numa tabela do BigQuery.
• Extrair conteúdo de PDF dos dados JSON devolvidos pela função ML.PROCESS_DOCUMENT e, em seguida, escrever esse conteúdo numa tabela do BigQuery.
• Criar um modelo remoto que lhe permite usar o modelo de geração de incorporações do Vertex AI text-embedding-004 a partir do BigQuery.
• Usando o modelo remoto com a função ML.GENERATE_EMBEDDING para gerar incorporações a partir do conteúdo PDF analisado e, em seguida, escrever essas incorporações numa tabela do BigQuery. As incorporações são representações numéricas do conteúdo do PDF que lhe permitem realizar pesquisas semânticas e obter resultados no conteúdo do PDF.
• Usando a função VECTOR_SEARCH nas incorporações para identificar conteúdo de PDF semanticamente semelhante.
• Criar um modelo remoto que lhe permite usar um modelo de geração de texto do Gemini a partir do BigQuery.
• Realizar a geração aumentada de recuperação (RAG) através do modelo remoto com a função ML.GENERATE_TEXT para gerar texto, usando os resultados da pesquisa vetorial para aumentar a entrada do comando e melhorar os resultados.

Custos

Neste documento, usa os seguintes componentes faturáveis do Trusted Cloud by S3NS:

• BigQuery: You incur costs for the data that you process in BigQuery.
• Vertex AI: You incur costs for calls to Vertex AI models.
• Document AI: You incur costs for calls to the Document AI API.
• Cloud Storage: You incur costs for object storage in Cloud Storage.

Para mais informações, consulte as seguintes páginas de preços:

• Preços do BigQuery
• Preços do Vertex AI
• Preços do Document AI
• Preços do Cloud Storage

Antes de começar

1. In the Trusted Cloud console, on the project selector page, select or create a Trusted Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Go to project selector

2. Verify that billing is enabled for your Trusted Cloud project.

3. Enable the BigQuery, BigQuery Connection, Vertex AI, Document AI, and Cloud Storage APIs.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the APIs

Funções necessárias

Para executar este tutorial, precisa das seguintes funções de gestão de identidade e de acesso (IAM):

• Criar contentores e objetos do Cloud Storage: administrador de armazenamento (roles/storage.storageAdmin)
• Crie um processador de documentos: editor do Document AI (roles/documentai.editor)
• Criar e usar conjuntos de dados, ligações e modelos do BigQuery: Administrador do BigQuery (roles/bigquery.admin)
• Conceda autorizações à conta de serviço da associação: administrador de IAM do projeto (roles/resourcemanager.projectIamAdmin)

Estas funções predefinidas contêm as autorizações necessárias para realizar as tarefas descritas neste documento. Para ver as autorizações exatas necessárias, expanda a secção Autorizações necessárias:

Também pode conseguir estas autorizações com funções personalizadas ou outras funções predefinidas.

Crie um conjunto de dados

Crie um conjunto de dados do BigQuery para armazenar o seu modelo de ML.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Crie uma associação

Crie uma associação de recursos do Google Cloud e obtenha a conta de serviço da associação. Crie a associação na mesma localização.

Pode ignorar este passo se tiver uma associação predefinida configurada ou tiver a função de administrador do BigQuery.

Crie uma ligação de recursos da nuvem para o modelo remoto usar e obtenha a conta de serviço da ligação. Crie a associação na mesma localização que o conjunto de dados que criou no passo anterior.

Selecione uma das seguintes opções:

# This queries the provider for project information.
data "google_project" "default" {}

# This creates a cloud resource connection in the US region named my_cloud_resource_connection.
# Note: The cloud resource nested object has only one output field - serviceAccountId.
resource "google_bigquery_connection" "default" {
  connection_id = "my_cloud_resource_connection"
  project       = data.google_project.default.project_id
  location      = "US"
  cloud_resource {}
}

Conceda acesso à conta de serviço

Selecione uma das seguintes opções:

gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/documentai.viewer' --condition=None
gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/storage.objectViewer' --condition=None
gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/aiplatform.user' --condition=None
 

Carregue o PDF de exemplo para o Cloud Storage

Para carregar o PDF de exemplo para o Cloud Storage, siga estes passos:

1. Transfira o PDF de amostra acedendo a https://www.federalreserve.gov/publications/files/scf23.pdf e clicando em transferir download.scf23.pdf
2. Crie um contentor do Cloud Storage.
3. Carregue o ficheiro scf23.pdf para o contentor.

Crie uma tabela de objetos

Crie uma tabela de objetos sobre o ficheiro PDF no Cloud Storage:

1. Na Trusted Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, execute a seguinte declaração:

   CREATE OR REPLACE EXTERNAL TABLE `bqml_tutorial.pdf`
   WITH CONNECTION `LOCATION.CONNECTION_ID`
   OPTIONS(
     object_metadata = 'SIMPLE',
     uris = ['gs://BUCKET/scf23.pdf']);

   Substitua o seguinte:

   • LOCATION: a localização da ligação.
   • CONNECTION_ID: o ID da sua ligação ao BigQuery.

     Quando vê os detalhes da associação na Trusted Cloud consola, o CONNECTION_ID é o valor na última secção do ID da associação totalmente qualificado que é apresentado em ID da associação, por exemplo projects/myproject/locations/connection_location/connections/myconnection.

   • BUCKET: o contentor do Cloud Storage que contém o ficheiro scf23.pdf. O valor da opção uri completo deve ser semelhante a ['gs://mybucket/scf23.pdf'].

Crie um processador de documentos

Crie um processador de documentos com base no processador Layout Parser na usmultirregião.

Crie o modelo remoto para o processador de documentos

Crie um modelo remoto para aceder ao processador do Document AI:

1. Na Trusted Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, execute a seguinte declaração:

   CREATE OR REPLACE MODEL `bqml_tutorial.parser_model`
   REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID`
     OPTIONS(remote_service_type = 'CLOUD_AI_DOCUMENT_V1', document_processor = 'PROCESSOR_ID');

   Substitua o seguinte:

   • LOCATION: a localização da ligação.
   • CONNECTION_ID: o ID da sua ligação ao BigQuery.

     Quando vê os detalhes da associação na Trusted Cloud consola, o CONNECTION_ID é o valor na última secção do ID da associação totalmente qualificado que é apresentado em ID da associação, por exemplo projects/myproject/locations/connection_location/connections/myconnection.

   • PROCESSOR_ID: o ID do processador de documentos. Para encontrar este valor, veja os detalhes do processador e, de seguida, procure a linha ID na secção Informações básicas.

Analise o ficheiro PDF em partes

Use o processador de documentos com a função ML.PROCESS_DOCUMENT para analisar o ficheiro PDF em partes e, em seguida, escrever esse conteúdo numa tabela. A função ML.PROCESS_DOCUMENT devolve os fragmentos de PDF no formato JSON.

1. Na Trusted Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, execute a seguinte declaração:

   CREATE or REPLACE TABLE bqml_tutorial.chunked_pdf AS (
     SELECT * FROM ML.PROCESS_DOCUMENT(
     MODEL bqml_tutorial.parser_model,
     TABLE bqml_tutorial.pdf,
     PROCESS_OPTIONS => (JSON '{"layout_config": {"chunking_config": {"chunk_size": 250}}}')
     )
   );

Analise os dados de fragmentos de PDF em colunas separadas

Extraia o conteúdo do PDF e as informações de metadados dos dados JSON devolvidos pela função ML.PROCESS_DOCUMENT e, em seguida, escreva esse conteúdo numa tabela:

1. Na Trusted Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, execute a seguinte declaração para analisar o conteúdo do PDF:

   CREATE OR REPLACE TABLE bqml_tutorial.parsed_pdf AS (
   SELECT
     uri,
     JSON_EXTRACT_SCALAR(json , '$.chunkId') AS id,
     JSON_EXTRACT_SCALAR(json , '$.content') AS content,
     JSON_EXTRACT_SCALAR(json , '$.pageFooters[0].text') AS page_footers_text,
     JSON_EXTRACT_SCALAR(json , '$.pageSpan.pageStart') AS page_span_start,
     JSON_EXTRACT_SCALAR(json , '$.pageSpan.pageEnd') AS page_span_end
   FROM bqml_tutorial.chunked_pdf, UNNEST(JSON_EXTRACT_ARRAY(ml_process_document_result.chunkedDocument.chunks, '$')) json
   );

3. No editor de consultas, execute a seguinte declaração para ver um subconjunto do conteúdo PDF analisado:

   SELECT *
   FROM `bqml_tutorial.parsed_pdf`
   ORDER BY id
   LIMIT 5;

   O resultado é semelhante ao seguinte:

   +-----------------------------------+------+------------------------------------------------------------------------------------------------------+-------------------+-----------------+---------------+
   |                uri                |  id  |                                                 content                                              | page_footers_text | page_span_start | page_span_end |
   +-----------------------------------+------+------------------------------------------------------------------------------------------------------+-------------------+-----------------+---------------+
   | gs://mybucket/scf23.pdf           | c1   | •BOARD OF OF FEDERAL GOVERN NOR RESERVE SYSTEM RESEARCH & ANALYSIS                                   | NULL              | 1               | 1             |
   | gs://mybucket/scf23.pdf           | c10  | • In 2022, 20 percent of all families, 14 percent of families in the bottom half of the usual ...    | NULL              | 8               | 9             |
   | gs://mybucket/scf23.pdf           | c100 | The SCF asks multiple questions intended to capture whether families are credit constrained, ...     | NULL              | 48              | 48            |
   | gs://mybucket/scf23.pdf           | c101 | Bankruptcy behavior over the past five years is based on a series of retrospective questions ...     | NULL              | 48              | 48            |
   | gs://mybucket/scf23.pdf           | c102 | # Percentiles of the Distributions of Income and Net Worth                                           | NULL              | 48              | 49            |
   +-----------------------------------+------+------------------------------------------------------------------------------------------------------+-------------------+-----------------+---------------+
    

Crie o modelo remoto para a geração de incorporações

Crie um modelo remoto que represente um modelo de geração de incorporações de texto do Vertex AI alojado:

1. Na Trusted Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, execute a seguinte declaração:

   CREATE OR REPLACE MODEL `bqml_tutorial.embedding_model`
     REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID`
     OPTIONS (ENDPOINT = 'text-embedding-005');

   Substitua o seguinte:

   • LOCATION: a localização da ligação.
   • CONNECTION_ID: o ID da sua ligação ao BigQuery.

     Quando vê os detalhes da associação na Trusted Cloud consola, o CONNECTION_ID é o valor na última secção do ID da associação totalmente qualificado que é apresentado em ID da associação, por exemplo projects/myproject/locations/connection_location/connections/myconnection.

Gere incorporações

Gere incorporações para o conteúdo PDF analisado e, em seguida, escreva-as numa tabela:

1. Na Trusted Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, execute a seguinte declaração:

   CREATE OR REPLACE TABLE `bqml_tutorial.embeddings` AS
   SELECT * FROM ML.GENERATE_EMBEDDING(
     MODEL `bqml_tutorial.embedding_model`,
     TABLE `bqml_tutorial.parsed_pdf`
   );

Execute uma pesquisa vetorial

Executar uma pesquisa vetorial no conteúdo PDF analisado.

A consulta seguinte recebe texto como entrada, cria uma incorporação para essa entrada com a função ML.GENERATE_EMBEDDING e, em seguida, usa a função VECTOR_SEARCH para fazer corresponder a incorporação de entrada às incorporações de conteúdo PDF mais semelhantes. Os resultados são os dez fragmentos de PDF mais semanticamente semelhantes à entrada.

1. Aceda à página do BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, execute a seguinte declaração SQL:

   SELECT query.query, base.id AS pdf_chunk_id, base.content, distance
   FROM
     VECTOR_SEARCH( TABLE `bqml_tutorial.embeddings`,
       'ml_generate_embedding_result',
       (
       SELECT
         ml_generate_embedding_result,
         content AS query
       FROM
         ML.GENERATE_EMBEDDING( MODEL `bqml_tutorial.embedding_model`,
           ( SELECT 'Did the typical family net worth increase? If so, by how much?' AS content)
         )
       ),
       top_k => 10,
       OPTIONS => '{"fraction_lists_to_search": 0.01}')
   ORDER BY distance DESC;

   O resultado é semelhante ao seguinte:

   +-------------------------------------------------+--------------+------------------------------------------------------------------------------------------------------+---------------------+
   |                query                            | pdf_chunk_id |                                                 content                                              | distance            |
   +-------------------------------------------------+--------------+------------------------------------------------------------------------------------------------------+---------------------+
   | Did the typical family net worth increase? ,... | c9           | ## Assets                                                                                            | 0.31113668174119469 |
   |                                                 |              |                                                                                                      |                     |
   |                                                 |              | The homeownership rate increased slightly between 2019 and 2022, to 66.1 percent. For ...            |                     |
   +-------------------------------------------------+--------------+------------------------------------------------------------------------------------------------------+---------------------+
   | Did the typical family net worth increase? ,... | c50          | # Box 3. Net Housing Wealth and Housing Affordability                                                | 0.30973592073929113 |
   |                                                 |              |                                                                                                      |                     |
   |                                                 |              | For families that own their primary residence ...                                                    |                     |
   +-------------------------------------------------+--------------+------------------------------------------------------------------------------------------------------+---------------------+
   | Did the typical family net worth increase? ,... | c50          | 3 In the 2019 SCF, a small portion of the data collection overlapped with early months of            | 0.29270064592817646 |
   |                                                 |              | the COVID- ...                                                                                       |                     |
   +-------------------------------------------------+--------------+------------------------------------------------------------------------------------------------------+---------------------+
    

Crie o modelo remoto para geração de texto

Crie um modelo remoto que represente um modelo de geração de texto do Vertex AI alojado:

1. Na Trusted Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, execute a seguinte declaração:

   CREATE OR REPLACE MODEL `bqml_tutorial.text_model`
     REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID`
     OPTIONS (ENDPOINT = 'gemini-2.0-flash-001');

   Substitua o seguinte:

   • LOCATION: a localização da ligação.
   • CONNECTION_ID: o ID da sua ligação ao BigQuery.

     Quando vê os detalhes da associação na Trusted Cloud consola, o CONNECTION_ID é o valor na última secção do ID da associação totalmente qualificado que é apresentado em ID da associação, por exemplo projects/myproject/locations/connection_location/connections/myconnection.

Gere texto melhorado com resultados da pesquisa vetorial

Efetue uma pesquisa vetorial nas incorporações para identificar conteúdo PDF semanticamente semelhante e, em seguida, use a função ML.GENERATE_TEXT com os resultados da pesquisa vetorial para aumentar a entrada de comando e melhorar os resultados da geração de texto. Neste caso, a consulta usa informações dos fragmentos do PDF para responder a uma pergunta sobre a alteração do património líquido familiar na última década.

1. Na Trusted Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, execute a seguinte declaração:

   SELECT
     ml_generate_text_llm_result AS generated
     FROM
     ML.GENERATE_TEXT( MODEL `bqml_tutorial.text_model`,
       (
       SELECT
       CONCAT( 'Did the typical family net worth change? How does this compare the SCF survey a decade earlier? Be concise and use the following context:',
       STRING_AGG(FORMAT("context: %s and reference: %s", base.content, base.uri), ',\n')) AS prompt,
       FROM
         VECTOR_SEARCH( TABLE
           `bqml_tutorial.embeddings`,
           'ml_generate_embedding_result',
           (
           SELECT
             ml_generate_embedding_result,
             content AS query
           FROM
             ML.GENERATE_EMBEDDING( MODEL `bqml_tutorial.embedding_model`,
               (
               SELECT
                 'Did the typical family net worth change? How does this compare the SCF survey a decade earlier?' AS content
               )
             )
           ),
           top_k => 10,
           OPTIONS => '{"fraction_lists_to_search": 0.01}')
         ),
         STRUCT(512 AS max_output_tokens, TRUE AS flatten_json_output)
     );

   O resultado é semelhante ao seguinte:

   +-------------------------------------------------------------------------------+
   |               generated                                                       |
   +-------------------------------------------------------------------------------+
   | Between the 2019 and 2022 Survey of Consumer Finances (SCF), real median      |
   | family net worth surged 37 percent to $192,900, and real mean net worth       |
   | increased 23 percent to $1,063,700.  This represents the largest three-year   |
   | increase in median net worth in the history of the modern SCF, exceeding the  |
   | next largest by more than double.  In contrast, between 2010 and 2013, real   |
   | median net worth decreased 2 percent, and real mean net worth remained        |
   | unchanged.                                                                    |
   +-------------------------------------------------------------------------------+
    

Limpar

1. In the Trusted Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.