ONNX 형식의 트랜스포머 모델로 임베딩 생성

콘솔

1. Cloud de Confiance 콘솔에서 BigQuery 페이지로 이동합니다.

   BigQuery로 이동

2. 왼쪽 창에서 explore 탐색기를 클릭합니다.

   

   왼쪽 창이 표시되지 않으면 last_page 왼쪽 창 펼치기를 클릭하여 창을 엽니다.

3. 탐색기에서 프로젝트를 펼친 다음 데이터 세트를 클릭합니다.

4. 데이터 세트 페이지에서 add 데이터 세트 만들기를 클릭합니다.

5. 데이터 세트 만들기 창에서 다음을 수행합니다.

   • 데이터 세트 ID에 bqml_tutorial를 입력합니다.

   • 데이터 위치로 미국을 선택합니다.

   나머지 기본 설정은 그대로 둡니다.

6. 데이터 세트 만들기를 클릭합니다.

bq

새 데이터 세트를 만들려면 bq mk --dataset 명령어를 사용합니다.

1. 데이터 위치가 US로 설정된 bqml_tutorial 데이터 세트를 만듭니다.

   bq mk --dataset \
     --location=US \
     --description "BigQuery ML tutorial dataset." \
     bqml_tutorial

2. 데이터 세트가 생성되었는지 확인합니다.

   bq ls

API

정의된 데이터 세트 리소스를 사용하여 datasets.insert 메서드를 호출합니다.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

BigQuery DataFrames

이 샘플을 사용해 보기 전에 BigQuery DataFrames를 사용하여 BigQuery 빠른 시작의 BigQuery DataFrames 설정 안내를 따르세요. 자세한 내용은 BigQuery DataFrames 참고 문서를 확인하세요.

BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 ADC 설정을 참조하세요.

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

콘솔

1. Cloud de Confiance 콘솔에서 BigQuery Studio 페이지로 이동합니다.

   Studio로 이동

2. 쿼리 편집기에서 다음 CREATE MODEL 문을 실행하여 tokenizer 모델을 만듭니다.

    CREATE OR REPLACE MODEL `bqml_tutorial.tokenizer`
     OPTIONS (MODEL_TYPE='ONNX',
      MODEL_PATH='TOKENIZER_BUCKET_PATH');

   TOKENIZER_BUCKET_PATH를 Cloud Storage에 업로드한 모델의 경로로 바꿉니다. 샘플 모델을 사용하는 경우 TOKENIZER_BUCKET_PATH를 gs://cloud-samples-data/bigquery/ml/onnx/all-MiniLM-L6-v2/tokenizer.onnx로 바꿉니다.

   작업이 완료되면 쿼리 결과 창에 Successfully created model named tokenizer와 유사한 메시지가 표시됩니다.

3. 세부정보 창을 열려면 모델로 이동을 클릭합니다.

4. 라벨 열에서 모델 입력과 모델 출력을 확인하려면 특성 열 섹션을 검토하세요.

   

5. all-MiniLM-L6-v2 모델을 만들려면 쿼리 편집기에서 다음 CREATE MODEL 문을 실행합니다.

    CREATE OR REPLACE MODEL `bqml_tutorial.all-MiniLM-L6-v2`
     OPTIONS (MODEL_TYPE='ONNX',
      MODEL_PATH='TRANSFORMER_BUCKET_PATH');

   TRANSFORMER_BUCKET_PATH를 Cloud Storage에 업로드한 모델의 경로로 바꿉니다. 샘플 모델을 사용하는 경우 TRANSFORMER_BUCKET_PATH를 gs://cloud-samples-data/bigquery/ml/onnx/all-MiniLM-L6-v2/model_quantized.onnx로 바꿉니다.

   작업이 완료되면 쿼리 결과 창에 Successfully created model named all-MiniLM-L6-v2와 유사한 메시지가 표시됩니다.

6. 세부정보 창을 열려면 모델로 이동을 클릭합니다.

7. 라벨 열에서 모델 입력과 모델 출력을 확인하려면 특성 열 섹션을 검토하세요.

   

bq

bq 명령줄 도구 query 명령어를 사용하여 CREATE MODEL 문을 실행합니다.

1. tokenizer 모델을 만듭니다.

   bq query --use_legacy_sql=false \
   "CREATE OR REPLACE MODEL
   `bqml_tutorial.tokenizer`
   OPTIONS
   (MODEL_TYPE='ONNX',
     MODEL_PATH='TOKENIZER_BUCKET_PATH')"

   TOKENIZER_BUCKET_PATH를 Cloud Storage에 업로드한 모델의 경로로 바꿉니다. 샘플 모델을 사용하는 경우 TOKENIZER_BUCKET_PATH를 gs://cloud-samples-data/bigquery/ml/onnx/all-MiniLM-L6-v2/tokenizer.onnx로 바꿉니다.

   작업이 완료되면 Successfully created model named tokenizer과 유사한 메시지가 표시됩니다.

2. all-MiniLM-L6-v2 모델을 만듭니다.

   bq query --use_legacy_sql=false \
   "CREATE OR REPLACE MODEL
     `bqml_tutorial.all-MiniLM-L6-v2`
   OPTIONS
     (MODEL_TYPE='ONNX',
       MODEL_PATH='TRANSFORMER_BUCKET_PATH')"

   TRANSFORMER_BUCKET_PATH를 Cloud Storage에 업로드한 모델의 경로로 바꿉니다. 샘플 모델을 사용하는 경우 TRANSFORMER_BUCKET_PATH를 gs://cloud-samples-data/bigquery/ml/onnx/all-MiniLM-L6-v2/model_quantized.onnx로 바꿉니다.

   작업이 완료되면 Successfully created model named all-MiniLM-L6-v2과 유사한 메시지가 표시됩니다.

3. 모델을 가져온 후 모델이 데이터 세트에 표시되는지 확인합니다.

   bq ls -m bqml_tutorial

   출력은 다음과 비슷합니다.

   tableId            Type
   ------------------------
   tokenizer          MODEL
   all-MiniLM-L6-v2   MODEL

API

jobs.insert 메서드를 사용하여 모델을 가져옵니다. 요청 본문의 QueryRequest 리소스의 query 매개변수를 CREATE MODEL 문으로 채웁니다.

1. tokenizer 모델을 만들려면 다음 query 매개변수를 사용하세요.

   {
     "query": "CREATE MODEL `PROJECT_ID :bqml_tutorial.tokenizer` OPTIONS(MODEL_TYPE='ONNX' MODEL_PATH='TOKENIZER_BUCKET_PATH')"
   }

   다음을 바꿉니다.

   • PROJECT_ID: 프로젝트 ID입니다.
   • TOKENIZER_BUCKET_PATH: Cloud Storage에 업로드한 모델의 경로입니다. 샘플 모델을 사용하는 경우 TOKENIZER_BUCKET_PATH를 gs://cloud-samples-data/bigquery/ml/onnx/all-MiniLM-L6-v2/tokenizer.onnx로 바꿉니다.

2. all-MiniLM-L6-v2 모델을 만들려면 다음 query 파라미터 값을 사용하세요.

   {
     "query": "CREATE MODEL `PROJECT_ID :bqml_tutorial.all-MiniLM-L6-v2` OPTIONS(MODEL_TYPE='ONNX' MODEL_PATH='TRANSFORMER_BUCKET_PATH')"
   }

   다음을 바꿉니다.

   • PROJECT_ID: 프로젝트 ID입니다.
   • TRANSFORMER_BUCKET_PATH: Cloud Storage에 업로드한 모델의 경로입니다. 샘플 모델을 사용하는 경우 TRANSFORMER_BUCKET_PATH를 gs://cloud-samples-data/bigquery/ml/onnx/all-MiniLM-L6-v2/model_quantized.onnx로 바꿉니다.

BigQuery DataFrames

이 샘플을 사용해 보기 전에 BigQuery DataFrames를 사용하여 BigQuery 빠른 시작의 BigQuery DataFrames 설정 안내를 따르세요. 자세한 내용은 BigQuery DataFrames 참고 문서를 확인하세요.

BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 ADC 설정을 참조하세요.

ONNXModel 객체를 사용하여 토큰화 도구 및 문장 변환기 모델을 가져옵니다.

import bigframes
from bigframes.ml.imported import ONNXModel

bigframes.options.bigquery.project = PROJECT_ID

bigframes.options.bigquery.location = "US"

tokenizer = ONNXModel(
  model_path= "TOKENIZER_BUCKET_PATH"
)
imported_onnx_model = ONNXModel(
  model_path="TRANSFORMER_BUCKET_PATH"
)

다음을 바꿉니다.

• PROJECT_ID: 프로젝트 ID입니다.
• TOKENIZER_BUCKET_PATH: Cloud Storage에 업로드한 모델의 경로입니다. 샘플 모델을 사용하는 경우 TOKENIZER_BUCKET_PATH를 gs://cloud-samples-data/bigquery/ml/onnx/all-MiniLM-L6-v2/tokenizer.onnx로 바꿉니다.
• TRANSFORMER_BUCKET_PATH: Cloud Storage에 업로드한 모델의 경로입니다. 샘플 모델을 사용하는 경우 TRANSFORMER_BUCKET_PATH를 gs://cloud-samples-data/bigquery/ml/onnx/all-MiniLM-L6-v2/model_quantized.onnx로 바꿉니다.

콘솔

ML.PREDICT 함수를 사용하여 모델로 임베딩을 생성합니다.

이 쿼리는 다음과 같이 토큰화 도구와 임베딩 모델을 통해 원시 텍스트를 직접 처리하기 위해 중첩된 ML.PREDICT 호출을 사용합니다.

• 토큰화 (내부 쿼리): 내부 ML.PREDICT 호출은 bqml_tutorial.tokenizer 모델을 사용합니다. bigquery-public-data.imdb.reviews 공개 데이터 세트의 title 열을 text 입력으로 사용합니다. tokenizer 모델은 input_ids 및 attention_mask 입력을 비롯하여 기본 모델에 필요한 원시 텍스트 문자열을 숫자 토큰 입력으로 변환합니다.
• 임베딩 생성 (외부 쿼리): 외부 ML.PREDICT 호출은 bqml_tutorial.all-MiniLM-L6-v2 모델을 사용합니다. 쿼리는 내부 쿼리의 출력에서 input_ids 및 attention_mask 열을 입력으로 사용합니다.

SELECT 문은 텍스트의 시맨틱 삽입을 나타내는 FLOAT 값의 배열인 sentence_embedding 열을 가져옵니다.

삽입을 생성하려면 다음 단계를 따르세요.

1. Cloud de Confiance 콘솔에서 BigQuery Studio 페이지로 이동합니다.

   Studio로 이동

2. 쿼리 편집기에서 다음 쿼리를 실행합니다.

   SELECT
   sentence_embedding
   FROM
   ML.PREDICT (MODEL `bqml_tutorial.all-MiniLM-L6-v2`,
     (
     SELECT
       input_ids, attention_mask
     FROM
       ML.PREDICT(MODEL `bqml_tutorial.tokenizer`,
         (
         SELECT
           title AS text
         FROM
           `bigquery-public-data.imdb.reviews` limit 10))));

   결과는 다음과 비슷합니다.

   +-----------------------+
   | sentence_embedding    |
   +-----------------------+
   | -0.02361682802438736  |
   | 0.02025664784014225   |
   | 0.005168713629245758  |
   | -0.026361213997006416 |
   | 0.0655381828546524    |
   | ...                   |
   +-----------------------+
   

bq

bq 명령줄 도구 query 명령어를 사용하여 쿼리를 실행합니다. 이 쿼리는 ML.PREDICT 함수를 사용하여 모델로 임베딩을 생성합니다.

이 쿼리는 다음과 같이 토큰화 도구와 임베딩 모델을 통해 원시 텍스트를 직접 처리하기 위해 중첩된 ML.PREDICT 호출을 사용합니다.

• 토큰화 (내부 쿼리): 내부 ML.PREDICT 호출은 bqml_tutorial.tokenizer 모델을 사용합니다. bigquery-public-data.imdb.reviews 공개 데이터 세트의 title 열을 text 입력으로 사용합니다. tokenizer 모델은 input_ids 및 attention_mask 입력을 비롯하여 기본 모델에 필요한 원시 텍스트 문자열을 숫자 토큰 입력으로 변환합니다.
• 임베딩 생성 (외부 쿼리): 외부 ML.PREDICT 호출은 bqml_tutorial.all-MiniLM-L6-v2 모델을 사용합니다. 쿼리는 내부 쿼리의 출력에서 input_ids 및 attention_mask 열을 입력으로 사용합니다.

SELECT 문은 텍스트의 시맨틱 삽입을 나타내는 FLOAT 값의 배열인 sentence_embedding 열을 가져옵니다.

명령줄에서 다음 명령어를 실행하여 쿼리를 실행합니다.

bq query --use_legacy_sql=false \
'SELECT
sentence_embedding
FROM
ML.PREDICT (MODEL `bqml_tutorial.all-MiniLM-L6-v2`,
  (
  SELECT
    input_ids, attention_mask
  FROM
    ML.PREDICT(MODEL `bqml_tutorial.tokenizer`,
      (
      SELECT
        title AS text
      FROM
        `bigquery-public-data.imdb.reviews` limit 10))))'

결과는 다음과 비슷합니다.

+-----------------------+
| sentence_embedding    |
+-----------------------+
| -0.02361682802438736  |
| 0.02025664784014225   |
| 0.005168713629245758  |
| -0.026361213997006416 |
| 0.0655381828546524    |
| ...                   |
+-----------------------+

BigQuery DataFrames

이 샘플을 사용해 보기 전에 BigQuery DataFrames를 사용하여 BigQuery 빠른 시작의 BigQuery DataFrames 설정 안내를 따르세요. 자세한 내용은 BigQuery DataFrames 참고 문서를 확인하세요.

BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 ADC 설정을 참조하세요.

predict 메서드를 사용하여 ONNX 모델을 통해 임베딩을 생성합니다.

import bigframes.pandas as bpd

df = bpd.read_gbq("bigquery-public-data.imdb.reviews", max_results=10)
df_pred = df.rename(columns={"title": "text"})
tokens = tokenizer.predict(df_pred)
predictions = imported_onnx_model.predict(tokens)
predictions.peek(5)

출력은 다음과 비슷합니다.