使用 ONNX 格式的 Transformer 模型生成嵌入

控制台

1. 前往 Cloud de Confiance 控制台的「BigQuery」頁面。

   前往「BigQuery」

2. 點選左側窗格中的 explore「Explorer」。

   

   如果沒有看到左側窗格，請按一下 last_page「Expand left pane」(展開左側窗格)，開啟窗格。

3. 在「Explorer」中展開專案，然後按一下「資料集」。

4. 在「Datasets」(資料集) 頁面，按一下add「Create dataset」(建立資料集)。

5. 在「建立資料集」窗格中，執行下列操作：

   • 在「Dataset ID」(資料集 ID) 中輸入 bqml_tutorial。

   • 在「資料位置」部分，選取「US」。

   其餘預設設定則保持不變。

6. 點選「建立資料集」。

bq

如要建立新的資料集，請使用 bq mk --dataset 指令。

1. 建立名為 bqml_tutorial 的資料集，並將資料位置設為 US：

   bq mk --dataset \
     --location=US \
     --description "BigQuery ML tutorial dataset." \
     bqml_tutorial

2. 確認資料集已建立：

   bq ls

API

使用定義的資料集資源呼叫 datasets.insert 方法：

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

BigQuery DataFrames

試用這個範例前，請先按照使用 BigQuery DataFrames 的 BigQuery 快速入門導覽課程中的 BigQuery DataFrames 設定操作說明操作。詳情請參閱 BigQuery DataFrames 參考文件。

如要向 BigQuery 進行驗證，請設定應用程式預設憑證。 詳情請參閱「為本機開發環境設定 ADC」。

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

控制台

1. 前往 Cloud de Confiance 控制台的 BigQuery「Studio」頁面。

   前往工作室

2. 在查詢編輯器中執行下列 CREATE MODEL 陳述式，建立 tokenizer 模型：

    CREATE OR REPLACE MODEL `bqml_tutorial.tokenizer`
     OPTIONS (MODEL_TYPE='ONNX',
      MODEL_PATH='TOKENIZER_BUCKET_PATH');

   將 TOKENIZER_BUCKET_PATH 替換為您上傳至 Cloud Storage 的模型路徑。如果使用範例模型，請將 TOKENIZER_BUCKET_PATH 替換為下列值：gs://cloud-samples-data/bigquery/ml/onnx/all-MiniLM-L6-v2/tokenizer.onnx。

   作業完成後，「Query results」(查詢結果) 窗格中會顯示類似以下的訊息：Successfully created model named tokenizer。

3. 點選「前往模型」，開啟「詳細資料」窗格。

4. 如要查看模型輸入和「Label Column」(標籤欄) 中的模型輸出，請查看「Feature Columns」(特徵欄) 部分：

   

5. 如要建立 all-MiniLM-L6-v2 模型，請在查詢編輯器中執行下列 CREATE MODEL 陳述式：

    CREATE OR REPLACE MODEL `bqml_tutorial.all-MiniLM-L6-v2`
     OPTIONS (MODEL_TYPE='ONNX',
      MODEL_PATH='TRANSFORMER_BUCKET_PATH');

   將 TRANSFORMER_BUCKET_PATH 替換為您上傳至 Cloud Storage 的模型路徑。如果使用範例模型，請將 TRANSFORMER_BUCKET_PATH 替換為下列值：gs://cloud-samples-data/bigquery/ml/onnx/all-MiniLM-L6-v2/model_quantized.onnx。

   作業完成後，「Query results」(查詢結果) 窗格中會顯示類似以下的訊息：Successfully created model named all-MiniLM-L6-v2。

6. 點選「前往模型」，開啟「詳細資料」窗格。

7. 如要查看「Label Column」(標籤欄) 中的模型輸入和模型輸出內容，請查看「Feature Columns」(特徵欄) 部分：

   

bq

使用 bq 指令列工具 query 指令執行 CREATE MODEL 陳述式。

1. 建立 tokenizer 模型：

   bq query --use_legacy_sql=false \
   "CREATE OR REPLACE MODEL
   `bqml_tutorial.tokenizer`
   OPTIONS
   (MODEL_TYPE='ONNX',
     MODEL_PATH='TOKENIZER_BUCKET_PATH')"

   將 TOKENIZER_BUCKET_PATH 替換為您上傳至 Cloud Storage 的模型路徑。如果使用範例模型，請將 TOKENIZER_BUCKET_PATH 替換為下列值：gs://cloud-samples-data/bigquery/ml/onnx/all-MiniLM-L6-v2/tokenizer.onnx。

   作業完成後，您會看到類似以下的訊息：Successfully created model named tokenizer。

2. 建立 all-MiniLM-L6-v2 模型：

   bq query --use_legacy_sql=false \
   "CREATE OR REPLACE MODEL
     `bqml_tutorial.all-MiniLM-L6-v2`
   OPTIONS
     (MODEL_TYPE='ONNX',
       MODEL_PATH='TRANSFORMER_BUCKET_PATH')"

   將 TRANSFORMER_BUCKET_PATH 替換為您上傳至 Cloud Storage 的模型路徑。如果使用範例模型，請將 TRANSFORMER_BUCKET_PATH 替換為下列值：gs://cloud-samples-data/bigquery/ml/onnx/all-MiniLM-L6-v2/model_quantized.onnx。

   作業完成後，您會看到類似以下的訊息：Successfully created model named all-MiniLM-L6-v2。

3. 匯入模型後，請確認模型顯示在資料集中。

   bq ls -m bqml_tutorial

   輸出結果會與下列內容相似：

   tableId            Type
   ------------------------
   tokenizer          MODEL
   all-MiniLM-L6-v2   MODEL

API

使用 jobs.insert 方法匯入模型。在要求主體中，使用 CREATE MODEL 陳述式填入 QueryRequest 資源的 query 參數。

1. 如要建立 tokenizer 模型，請使用下列 query 參數：

   {
     "query": "CREATE MODEL `PROJECT_ID :bqml_tutorial.tokenizer` OPTIONS(MODEL_TYPE='ONNX' MODEL_PATH='TOKENIZER_BUCKET_PATH')"
   }

   更改下列內容：

   • PROJECT_ID：您的專案 ID。
   • TOKENIZER_BUCKET_PATH：上傳至 Cloud Storage 的模型路徑。如果使用範例模型，請將 TOKENIZER_BUCKET_PATH 替換為下列值：gs://cloud-samples-data/bigquery/ml/onnx/all-MiniLM-L6-v2/tokenizer.onnx。

2. 如要建立 all-MiniLM-L6-v2 模型，請使用下列 query 參數值：

   {
     "query": "CREATE MODEL `PROJECT_ID :bqml_tutorial.all-MiniLM-L6-v2` OPTIONS(MODEL_TYPE='ONNX' MODEL_PATH='TRANSFORMER_BUCKET_PATH')"
   }

   更改下列內容：

   • PROJECT_ID：您的專案 ID。
   • TRANSFORMER_BUCKET_PATH：上傳至 Cloud Storage 的模型路徑。如果使用範例模型，請將 TRANSFORMER_BUCKET_PATH 替換為下列值：gs://cloud-samples-data/bigquery/ml/onnx/all-MiniLM-L6-v2/model_quantized.onnx。

BigQuery DataFrames

試用這個範例前，請先按照使用 BigQuery DataFrames 的 BigQuery 快速入門導覽課程中的 BigQuery DataFrames 設定操作說明操作。詳情請參閱 BigQuery DataFrames 參考文件。

如要向 BigQuery 進行驗證，請設定應用程式預設憑證。 詳情請參閱「為本機開發環境設定 ADC」。

使用 ONNXModel 物件匯入 tokenizer 和句子轉換器模型。

import bigframes
from bigframes.ml.imported import ONNXModel

bigframes.options.bigquery.project = PROJECT_ID

bigframes.options.bigquery.location = "US"

tokenizer = ONNXModel(
  model_path= "TOKENIZER_BUCKET_PATH"
)
imported_onnx_model = ONNXModel(
  model_path="TRANSFORMER_BUCKET_PATH"
)

更改下列內容：

• PROJECT_ID：您的專案 ID。
• TOKENIZER_BUCKET_PATH：上傳至 Cloud Storage 的模型路徑。如果使用範例模型，請將 TOKENIZER_BUCKET_PATH 替換為下列值：gs://cloud-samples-data/bigquery/ml/onnx/all-MiniLM-L6-v2/tokenizer.onnx。
• TRANSFORMER_BUCKET_PATH：上傳至 Cloud Storage 的模型路徑。如果您使用範例模型，請將 TRANSFORMER_BUCKET_PATH 替換為下列值：gs://cloud-samples-data/bigquery/ml/onnx/all-MiniLM-L6-v2/model_quantized.onnx。

控制台

使用 ML.PREDICT 函式，透過模型生成嵌入。

查詢會使用巢狀 ML.PREDICT 呼叫，直接透過 tokenizer 和嵌入模型處理原始文字，如下所示：

• 權杖化 (內部查詢)：內部 ML.PREDICT 呼叫會使用 bqml_tutorial.tokenizer 模型。它會從 bigquery-public-data.imdb.reviews 公開資料集擷取 title 欄，做為 text 輸入。tokenizer 模型會將原始文字字串轉換為主要模型所需的數值符記輸入內容，包括 input_ids 和 attention_mask 輸入內容。
• 嵌入生成 (外部查詢)：外部 ML.PREDICT 呼叫會使用 bqml_tutorial.all-MiniLM-L6-v2 模型。查詢會從內部查詢的輸出內容中，擷取 input_ids 和 attention_mask 欄做為輸入內容。

SELECT 陳述式會擷取 sentence_embedding 資料欄，這是一組 FLOAT 值，代表文字的語意嵌入。

如要生成嵌入，請按照下列步驟操作：

1. 前往 Cloud de Confiance 控制台的 BigQuery「Studio」頁面。

   前往工作室

2. 在查詢編輯器中執行下列查詢。

   SELECT
   sentence_embedding
   FROM
   ML.PREDICT (MODEL `bqml_tutorial.all-MiniLM-L6-v2`,
     (
     SELECT
       input_ids, attention_mask
     FROM
       ML.PREDICT(MODEL `bqml_tutorial.tokenizer`,
         (
         SELECT
           title AS text
         FROM
           `bigquery-public-data.imdb.reviews` limit 10))));

   結果大致如下：

   +-----------------------+
   | sentence_embedding    |
   +-----------------------+
   | -0.02361682802438736  |
   | 0.02025664784014225   |
   | 0.005168713629245758  |
   | -0.026361213997006416 |
   | 0.0655381828546524    |
   | ...                   |
   +-----------------------+
   

bq

使用 bq 指令列工具 query 指令執行查詢。查詢會使用 ML.PREDICT 函式，透過模型生成嵌入。

查詢會使用巢狀 ML.PREDICT 呼叫，直接透過詞元分析器和嵌入模型處理原始文字，如下所示：

• 權杖化 (內部查詢)：內部 ML.PREDICT 呼叫會使用 bqml_tutorial.tokenizer 模型。它會從 bigquery-public-data.imdb.reviews 公開資料集擷取 title 欄，做為 text 輸入。tokenizer 模型會將原始文字字串轉換為主要模型所需的數值符記輸入內容，包括 input_ids 和 attention_mask 輸入內容。
• 嵌入生成 (外部查詢)：外部 ML.PREDICT 呼叫會使用 bqml_tutorial.all-MiniLM-L6-v2 模型。查詢會從內部查詢的輸出內容中，擷取 input_ids 和 attention_mask 欄做為輸入內容。

SELECT 陳述式會擷取 sentence_embedding 資料欄，這是一組 FLOAT 值，代表文字的語意嵌入。

在指令列執行下列指令，執行查詢。

bq query --use_legacy_sql=false \
'SELECT
sentence_embedding
FROM
ML.PREDICT (MODEL `bqml_tutorial.all-MiniLM-L6-v2`,
  (
  SELECT
    input_ids, attention_mask
  FROM
    ML.PREDICT(MODEL `bqml_tutorial.tokenizer`,
      (
      SELECT
        title AS text
      FROM
        `bigquery-public-data.imdb.reviews` limit 10))))'

結果大致如下：

+-----------------------+
| sentence_embedding    |
+-----------------------+
| -0.02361682802438736  |
| 0.02025664784014225   |
| 0.005168713629245758  |
| -0.026361213997006416 |
| 0.0655381828546524    |
| ...                   |
+-----------------------+

BigQuery DataFrames

試用這個範例前，請先按照使用 BigQuery DataFrames 的 BigQuery 快速入門導覽課程中的 BigQuery DataFrames 設定操作說明操作。詳情請參閱 BigQuery DataFrames 參考文件。

如要向 BigQuery 進行驗證，請設定應用程式預設憑證。 詳情請參閱「為本機開發環境設定 ADC」。

使用 predict 方法，透過 ONNX 模型生成嵌入。

import bigframes.pandas as bpd

df = bpd.read_gbq("bigquery-public-data.imdb.reviews", max_results=10)
df_pred = df.rename(columns={"title": "text"})
tokens = tokenizer.predict(df_pred)
predictions = imported_onnx_model.predict(tokens)
predictions.peek(5)

輸出結果會與下列內容相似：