使用 ONNX 格式的 Transformer 模型生成嵌入

控制台

1. 前往 Cloud de Confiance 控制台的「BigQuery」頁面。

   前往「BigQuery」

2. 點選左側窗格中的 explore「Explorer」。

   

   如果沒有看到左側窗格，請按一下 last_page「Expand left pane」(展開左側窗格)，開啟窗格。

3. 在「Explorer」中展開專案，然後按一下「Datasets」。

4. 在「資料集」頁面，按一下 add「建立資料集」。

5. 在「建立資料集」窗格中，執行下列操作：

   • 在「Dataset ID」(資料集 ID) 中輸入 bqml_tutorial。

   • 選取「資料位置」的「美國」。

   其餘預設設定均保留原樣。

6. 點選「建立資料集」。

bq

如要建立新的資料集，請使用 bq mk --dataset 指令。

1. 建立名為 bqml_tutorial 的資料集，並將資料位置設為 US：

   bq mk --dataset \
     --location=US \
     --description "BigQuery ML tutorial dataset." \
     bqml_tutorial

2. 確認資料集已建立完成：

   bq ls

API

使用已定義的資料集資源呼叫 datasets.insert 方法：

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

BigQuery DataFrames

在嘗試這個範例之前，請按照使用 BigQuery DataFrames 的 BigQuery 快速入門導覽課程，完成 BigQuery DataFrames 設定。詳情請參閱 BigQuery DataFrames 參考文件。

如要向 BigQuery 進行驗證，請設定應用程式預設憑證。 詳情請參閱「為本機開發環境設定 ADC」。

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

控制台

1. 前往 Cloud de Confiance 控制台的「BigQuery Studio」頁面。

   前往 Studio

2. 在查詢編輯器中執行下列 CREATE MODEL 陳述式，建立 tokenizer 模型：

    CREATE OR REPLACE MODEL `bqml_tutorial.tokenizer`
     OPTIONS (MODEL_TYPE='ONNX',
      MODEL_PATH='TOKENIZER_BUCKET_PATH');

   請將 TOKENIZER_BUCKET_PATH 改成您上傳至 Cloud Storage 的模型路徑。如果您使用範例模型，請將 TOKENIZER_BUCKET_PATH 替換為下列值：gs://cloud-samples-data/bigquery/ml/onnx/all-MiniLM-L6-v2/tokenizer.onnx。

   作業完成後，「查詢結果」窗格中會顯示類似以下的訊息：Successfully created model named tokenizer。

3. 如要開啟「詳細資料」窗格，請按一下「前往模型」。

4. 如要在「標籤資料欄」中查看模型輸入和模型輸出，請查看「特徵資料欄」部分：

   

5. 如要建立 all-MiniLM-L6-v2 模型，請在查詢編輯器中執行下列 CREATE MODEL 陳述式：

    CREATE OR REPLACE MODEL `bqml_tutorial.all-MiniLM-L6-v2`
     OPTIONS (MODEL_TYPE='ONNX',
      MODEL_PATH='TRANSFORMER_BUCKET_PATH');

   請將 TRANSFORMER_BUCKET_PATH 改成您上傳至 Cloud Storage 的模型路徑。如果您使用範例模型，請將 TRANSFORMER_BUCKET_PATH 替換為下列值：gs://cloud-samples-data/bigquery/ml/onnx/all-MiniLM-L6-v2/model_quantized.onnx。

   作業完成後，「查詢結果」窗格中會顯示類似以下的訊息：Successfully created model named all-MiniLM-L6-v2。

6. 如要開啟「詳細資料」窗格，請按一下「前往模型」。

7. 如要在「標籤資料欄」中查看模型輸入和模型輸出，請查看「特徵資料欄」部分：

   

bq

使用 bq 指令列工具 query 指令執行 CREATE MODEL 陳述式。

1. 建立 tokenizer 模型：

   bq query --use_legacy_sql=false \
   "CREATE OR REPLACE MODEL
   `bqml_tutorial.tokenizer`
   OPTIONS
   (MODEL_TYPE='ONNX',
     MODEL_PATH='TOKENIZER_BUCKET_PATH')"

   請將 TOKENIZER_BUCKET_PATH 改成您上傳至 Cloud Storage 的模型路徑。如果您使用範例模型，請將 TOKENIZER_BUCKET_PATH 替換為下列值：gs://cloud-samples-data/bigquery/ml/onnx/all-MiniLM-L6-v2/tokenizer.onnx。

   作業完成後，您會看到類似以下的訊息：Successfully created model named tokenizer。

2. 建立 all-MiniLM-L6-v2 模型：

   bq query --use_legacy_sql=false \
   "CREATE OR REPLACE MODEL
     `bqml_tutorial.all-MiniLM-L6-v2`
   OPTIONS
     (MODEL_TYPE='ONNX',
       MODEL_PATH='TRANSFORMER_BUCKET_PATH')"

   請將 TRANSFORMER_BUCKET_PATH 改成您上傳至 Cloud Storage 的模型路徑。如果您使用範例模型，請將 TRANSFORMER_BUCKET_PATH 替換為下列值：gs://cloud-samples-data/bigquery/ml/onnx/all-MiniLM-L6-v2/model_quantized.onnx。

   作業完成後，畫面上會顯示類似如下的訊息：Successfully created model named all-MiniLM-L6-v2。

3. 匯入模型後，請確認模型是否顯示在資料集中。

   bq ls -m bqml_tutorial

   輸出結果會與下列內容相似：

   tableId            Type
   ------------------------
   tokenizer          MODEL
   all-MiniLM-L6-v2   MODEL

API

使用 jobs.insert 方法匯入模型。在要求主體中，使用 CREATE MODEL 陳述式填入 QueryRequest 資源的 query 參數。

1. 如要建立 tokenizer 模型，請使用下列 query 參數：

   {
     "query": "CREATE MODEL `PROJECT_ID :bqml_tutorial.tokenizer` OPTIONS(MODEL_TYPE='ONNX' MODEL_PATH='TOKENIZER_BUCKET_PATH')"
   }

   更改下列內容：

   • PROJECT_ID：您的專案 ID。
   • TOKENIZER_BUCKET_PATH：您上傳至 Cloud Storage 的模型路徑。如果您使用範例模型，請將 TOKENIZER_BUCKET_PATH 替換為下列值：gs://cloud-samples-data/bigquery/ml/onnx/all-MiniLM-L6-v2/tokenizer.onnx。

2. 如要建立 all-MiniLM-L6-v2 模型，請使用下列 query 參數值：

   {
     "query": "CREATE MODEL `PROJECT_ID :bqml_tutorial.all-MiniLM-L6-v2` OPTIONS(MODEL_TYPE='ONNX' MODEL_PATH='TRANSFORMER_BUCKET_PATH')"
   }

   更改下列內容：

   • PROJECT_ID：您的專案 ID。
   • TRANSFORMER_BUCKET_PATH：您上傳至 Cloud Storage 的模型路徑。如果您使用範例模型，請將 TRANSFORMER_BUCKET_PATH 替換為下列值：gs://cloud-samples-data/bigquery/ml/onnx/all-MiniLM-L6-v2/model_quantized.onnx。

BigQuery DataFrames

在嘗試這個範例之前，請按照使用 BigQuery DataFrames 的 BigQuery 快速入門導覽課程，完成 BigQuery DataFrames 設定。詳情請參閱 BigQuery DataFrames 參考文件。

如要向 BigQuery 進行驗證，請設定應用程式預設憑證。 詳情請參閱「為本機開發環境設定 ADC」。

使用 ONNXModel 物件匯入權杖化工具和句子轉換器模型。

import bigframes
from bigframes.ml.imported import ONNXModel

bigframes.options.bigquery.project = PROJECT_ID

bigframes.options.bigquery.location = "US"

tokenizer = ONNXModel(
  model_path= "TOKENIZER_BUCKET_PATH"
)
imported_onnx_model = ONNXModel(
  model_path="TRANSFORMER_BUCKET_PATH"
)

更改下列內容：

• PROJECT_ID：您的專案 ID。
• TOKENIZER_BUCKET_PATH：您上傳至 Cloud Storage 的模型路徑。如果您使用範例模型，請將 TOKENIZER_BUCKET_PATH 替換為下列值：gs://cloud-samples-data/bigquery/ml/onnx/all-MiniLM-L6-v2/tokenizer.onnx。
• TRANSFORMER_BUCKET_PATH：您上傳至 Cloud Storage 的模型路徑。如果您使用範例模型，請將 TRANSFORMER_BUCKET_PATH 替換為下列值：gs://cloud-samples-data/bigquery/ml/onnx/all-MiniLM-L6-v2/model_quantized.onnx。

控制台

使用 ML.PREDICT 函式，透過模型生成嵌入。

這項查詢會使用巢狀 ML.PREDICT 呼叫，直接透過權杖化工具和嵌入模型處理原始文字，如下所示：

• 權杖化 (內部查詢)：內部 ML.PREDICT 呼叫會使用 bqml_tutorial.tokenizer 模型。並以 bigquery-public-data.imdb.reviews 公開資料集的 title 欄做為 text 輸入內容。tokenizer 模型會將原始文字字串轉換為主要模型所需的數值權杖輸入內容，包括 input_ids 和 attention_mask 輸入內容。
• 生成嵌入 (外部查詢)：外部 ML.PREDICT 呼叫會使用 bqml_tutorial.all-MiniLM-L6-v2 模型。這項查詢會將內部查詢輸出內容中的 input_ids 和 attention_mask 資料欄做為輸入內容。

SELECT 陳述式會擷取 sentence_embedding 資料欄，這是代表文字語意嵌入的 FLOAT 值陣列。

如要生成嵌入內容，請按照下列步驟操作：

1. 前往 Cloud de Confiance 控制台的「BigQuery Studio」頁面。

   前往 Studio

2. 在查詢編輯器中執行下列查詢。

   SELECT
   sentence_embedding
   FROM
   ML.PREDICT (MODEL `bqml_tutorial.all-MiniLM-L6-v2`,
     (
     SELECT
       input_ids, attention_mask
     FROM
       ML.PREDICT(MODEL `bqml_tutorial.tokenizer`,
         (
         SELECT
           title AS text
         FROM
           `bigquery-public-data.imdb.reviews` limit 10))));

   結果大致如下：

   +-----------------------+
   | sentence_embedding    |
   +-----------------------+
   | -0.02361682802438736  |
   | 0.02025664784014225   |
   | 0.005168713629245758  |
   | -0.026361213997006416 |
   | 0.0655381828546524    |
   | ...                   |
   +-----------------------+
   

bq

使用 bq 指令列工具的 query 指令執行查詢。這項查詢會使用 ML.PREDICT 函式，透過模型生成嵌入。

這項查詢會使用巢狀 ML.PREDICT 呼叫，直接透過權杖化工具和嵌入模型處理原始文字，如下所示：

• 權杖化 (內部查詢)：內部 ML.PREDICT 呼叫會使用 bqml_tutorial.tokenizer 模型。並以 bigquery-public-data.imdb.reviews 公開資料集的 title 欄做為 text 輸入內容。tokenizer 模型會將原始文字字串轉換為主要模型所需的數值權杖輸入內容，包括 input_ids 和 attention_mask 輸入內容。
• 生成嵌入 (外部查詢)：外部 ML.PREDICT 呼叫會使用 bqml_tutorial.all-MiniLM-L6-v2 模型。這項查詢會將內部查詢輸出內容中的 input_ids 和 attention_mask 資料欄做為輸入內容。

SELECT 陳述式會擷取 sentence_embedding 資料欄，這是代表文字語意嵌入的 FLOAT 值陣列。

在指令列中執行下列指令，即可執行查詢。

bq query --use_legacy_sql=false \
'SELECT
sentence_embedding
FROM
ML.PREDICT (MODEL `bqml_tutorial.all-MiniLM-L6-v2`,
  (
  SELECT
    input_ids, attention_mask
  FROM
    ML.PREDICT(MODEL `bqml_tutorial.tokenizer`,
      (
      SELECT
        title AS text
      FROM
        `bigquery-public-data.imdb.reviews` limit 10))))'

結果大致如下：

+-----------------------+
| sentence_embedding    |
+-----------------------+
| -0.02361682802438736  |
| 0.02025664784014225   |
| 0.005168713629245758  |
| -0.026361213997006416 |
| 0.0655381828546524    |
| ...                   |
+-----------------------+

BigQuery DataFrames

在嘗試這個範例之前，請按照使用 BigQuery DataFrames 的 BigQuery 快速入門導覽課程，完成 BigQuery DataFrames 設定。詳情請參閱 BigQuery DataFrames 參考文件。

如要向 BigQuery 進行驗證，請設定應用程式預設憑證。 詳情請參閱「為本機開發環境設定 ADC」。

使用 predict 方法，透過 ONNX 模型生成嵌入。

import bigframes.pandas as bpd

df = bpd.read_gbq("bigquery-public-data.imdb.reviews", max_results=10)
df_pred = df.rename(columns={"title": "text"})
tokens = tokenizer.predict(df_pred)
predictions = imported_onnx_model.predict(tokens)
predictions.peek(5)

輸出結果會與下列內容相似：