검색 증강 생성(RAG) 파이프라인에서 PDF 파싱

데이터 세트 만들기

ML 모델을 저장할 BigQuery 데이터 세트를 만듭니다.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

샘플 PDF를 Cloud Storage에 업로드

샘플 PDF를 Cloud Storage에 업로드하려면 다음 단계를 따르세요.

1. https://www.federalreserve.gov/publications/files/scf23.pdf로 이동하여 download 다운로드를 클릭하여 scf23.pdf 샘플 PDF를 다운로드합니다.
2. Cloud Storage 버킷 생성
3. scf23.pdf 파일을 버킷에 업로드합니다.

문서 프로세서 만들기

us 멀티 리전의 레이아웃 파서 프로세서를 기반으로 문서 프로세서를 만듭니다. 다음 섹션에서 사용할 예측 엔드포인트를 프로세서 세부정보 페이지에서 복사합니다.

PDF 파일을 청크로 파싱

AI.PARSE_DOCUMENT 함수와 함께 문서 프로세서를 사용하여 PDF 파일을 청크로 파싱한 다음 해당 콘텐츠를 테이블에 작성합니다.

1. Cloud de Confiance 콘솔에서 BigQuery 페이지로 이동합니다.

   BigQuery로 이동

2. 쿼리 편집기에서 다음 쿼리를 실행합니다.

   CREATE OR REPLACE TABLE bqml_tutorial.parsed_pdf
   AS (
     SELECT *
     FROM
       AI.PARSE_DOCUMENT(
         (
           SELECT
             OBJ.MAKE_REF("gs://BUCKET/scf23.pdf") AS ref
         ),
         endpoint => "PREDICTION_ENDPOINT",
         chunk_size => 250)
   );

임베딩 생성

파싱된 PDF 콘텐츠의 임베딩을 생성한 후 테이블에 작성합니다.

1. Cloud de Confiance 콘솔에서 BigQuery 페이지로 이동합니다.

   BigQuery로 이동

2. 쿼리 편집기에서 다음 쿼리를 실행합니다.

   CREATE OR REPLACE TABLE `bqml_tutorial.embeddings` AS (
     SELECT *, AI.EMBED(content, endpoint => 'text-embedding-005') AS embedding
     FROM bqml_tutorial.parsed_pdf
   );

벡터 검색 실행하기

파싱된 PDF 콘텐츠에 대해 벡터 검색을 실행합니다.

다음 쿼리는 텍스트 입력을 가져와 AI.EMBED 함수를 사용하여 해당 입력의 임베딩을 만든 다음 VECTOR_SEARCH 함수를 사용하여 입력 임베딩을 가장 유사한 PDF 콘텐츠 임베딩과 일치시킵니다. 결과는 가족 순자산의 변화와 가장 관련성이 높은 상위 10개 PDF 청크입니다.

1. BigQuery 페이지로 이동합니다.

   BigQuery로 이동

2. 쿼리 편집기에서 다음 SQL 문을 실행합니다.

   SELECT distance, base.chunk_id, base.start_page, base.end_page, base.content
   FROM
     VECTOR_SEARCH(
       TABLE `bqml_tutorial.embeddings`,
       'embedding',
       query_value =>
         AI.EMBED(
           'Did the typical family net worth increase? If so, by how much?',
           endpoint => 'text-embedding-005').result,
       top_k => 3,
       OPTIONS => '{"fraction_lists_to_search": 0.01}')
   ORDER BY distance DESC;

   출력은 다음과 비슷합니다.

   +----------+----------+------------+----------+-----------------------------------+
   | distance | chunk_id | start_page | end_page | content                           |
   +----------+----------+------------+----------+-----------------------------------+
   | 0.645685 | 26       | 17         | 18       | 18 Between the first quarter of   |
   |          |          |            |          | 2019 and the first quarter of...  |
   +----------+----------+------------+----------+-----------------------------------+
   | 0.602665 | 30       | 19         | 21       | ## Net Worth by Family            |
   |          |          |            |          | Characteristics...                |
   +----------+----------+------------+----------+-----------------------------------+
   | 0.599438 | 24       | 17         | 21       | # Net Worth                       |
   |          |          |            |          | The net improvements in...        |
   +----------+----------+------------+----------+-----------------------------------+
   

벡터 검색 결과로 보강된 텍스트 생성

임베딩에 벡터 검색을 실행하여 의미적으로 유사한 PDF 콘텐츠를 식별한 다음, 벡터 검색 결과와 함께 AI.GENERATE_TEXT 함수를 사용하여 프롬프트 입력을 보강하고 텍스트 생성 결과를 개선합니다. 이 경우 쿼리는 PDF 청크의 정보를 사용하여 지난 10년간의 가족 순자산 변화에 관한 질문에 답변합니다.

1. Cloud de Confiance 콘솔에서 BigQuery 페이지로 이동합니다.

   BigQuery로 이동

2. 쿼리 편집기에서 다음 쿼리를 실행합니다.

   SELECT
     AI.GENERATE(
       CONCAT('Did the typical family net worth change? How does this compare the SCF survey a decade earlier? Be concise and use the following context:',
               STRING_AGG(FORMAT("context: %s", base.content), ',\n')
       )
     ).result AS response
   FROM
     VECTOR_SEARCH(
       TABLE `bqml_tutorial.embeddings`,
       'embedding',
       query_value =>
         AI.EMBED(
           'Did the typical family net worth increase? If so, by how much?',
           endpoint => 'text-embedding-005').result,
       top_k => 3,
       OPTIONS => '{"fraction_lists_to_search": 0.01}')

   출력은 다음과 비슷합니다.

   +-------------------------------------------------------------------------+
   | response                                                                |
   +-------------------------------------------------------------------------+
   | Yes, the typical family net worth changed significantly.                |
   |                                                                         |
   | Real median net worth surged 37% between the 2019 and 2022 SCF surveys. |
   | This contrasts sharply with a decade earlier (2010-2013), when real     |
   | median net worth decreased 2%.                                          |
   +-------------------------------------------------------------------------+