教學課程：使用特徵向量模型對物件資料表執行推論

本教學課程說明如何根據花卉資料集中的圖片建立物件資料表，然後使用 MobileNet V3 模型對該物件資料表執行推論。

MobileNet V3 模型

MobileNet V3 模型會分析圖片檔案，並傳回特徵向量陣列。特徵向量陣列是數值元素清單，用於描述所分析圖片的特徵。每個特徵向量都會說明多維度特徵空間，並提供圖片在這個空間中的座標。您可以運用圖片的特徵向量資訊進一步分類圖片，例如使用餘弦相似度將類似圖片分組。

MobileNet V3 模型輸入會採用 DType tf.float32 形狀的張量 [-1, 224, 224, 3]。輸出內容是形狀為 [-1, 1024] 的 tf.float32 張量陣列。

所需權限

  • 如要建立資料集，您必須具備 bigquery.datasets.create 權限。

  • 如要建立連線資源，您必須具備下列權限：

    • bigquery.connections.create
    • bigquery.connections.get

  • 如要將權限授予連線的服務帳戶，您必須具備下列權限：

    • resourcemanager.projects.setIamPolicy

  • 如要建立物件資料表，您必須具備下列權限：

    • bigquery.tables.create
    • bigquery.tables.update
    • bigquery.connections.delegate

  • 如要建立 bucket，您需要 storage.buckets.create 權限。

  • 如要將資料集和模型上傳至 Cloud Storage，您需要 storage.objects.create 和 storage.objects.get 權限。

  • 如要將模型載入 BigQuery ML，您需要下列權限：

    • bigquery.jobs.create
    • bigquery.models.create
    • bigquery.models.getData
    • bigquery.models.updateData

  • 如要執行推論，您需要下列權限：

    • bigquery.tables.getData 物件資料表
    • 模型上的 bigquery.models.getData
    • bigquery.jobs.create

費用

在本文件中，您會使用 Trusted Cloud by S3NS的下列計費元件：

  • BigQuery: You incur storage costs for the object table you create in BigQuery.
  • BigQuery ML: You incur costs for the model you create and the inference you perform in BigQuery ML.
  • Cloud Storage: You incur costs for the objects you store in Cloud Storage.

如要根據預測用量估算費用，請使用 Pricing Calculator。

初次使用 Trusted Cloud 的使用者可能符合免費試用資格。

如要進一步瞭解 BigQuery 儲存空間定價，請參閱 BigQuery 說明文件中的「儲存空間定價」。

如要進一步瞭解 BigQuery ML 定價，請參閱 BigQuery 說明文件中的「BigQuery ML 定價」。

如要進一步瞭解 Cloud Storage 定價，請參閱 Cloud Storage 定價頁面。

事前準備

  1. In the Trusted Cloud console, on the project selector page, select or create a Trusted Cloud project.

    Go to project selector

  2. Verify that billing is enabled for your Trusted Cloud project.

  3. Enable the BigQuery and BigQuery Connection API APIs.

    Enable the APIs

    4. 建立保留項目

    如要搭配物件資料表使用匯入的模型，您必須建立保留項目，並使用 BigQuery Enterprise 或 Enterprise Plus 版，然後建立保留項目指派作業，並使用 QUERY 工作類型。

    建立資料集

    建立名為 mobilenet_inference_test 的資料集：

    SQL

    1. 前往「BigQuery」頁面

      前往 BigQuery

    2. 在「編輯器」窗格中，執行下列 SQL 陳述式：

      CREATE SCHEMA `PROJECT_ID.mobilenet_inference_test`;

      將 PROJECT_ID 替換為您的專案 ID。

    bq

    1. 在 Trusted Cloud 控制台中，啟動 Cloud Shell。

      啟用 Cloud Shell

    2. 執行 bq mk 指令來建立資料集：

      bq mk --dataset --location=us PROJECT_ID:resnet_inference_test

      將 PROJECT_ID 替換為您的專案 ID。

    建立連線

    建立名為 lake-connection 的連線：

    主控台

    1. 前往「BigQuery」頁面

      前往 BigQuery

    2. 在「Explorer」窗格中，按一下 「新增資料」。

      「新增資料」對話方塊隨即開啟。

    3. 在「Filter By」(依條件篩選) 窗格的「Data Source Type」(資料來源類型) 區段中，選取「Databases」(資料庫)。

      或者，您也可以在「Search for data sources」(搜尋資料來源) 欄位中輸入 Vertex AI。

    4. 在「精選資料來源」部分，按一下「Vertex AI」。

    5. 按一下「Vertex AI Models: BigQuery Federation」解決方案資訊卡。

    6. 在「連線類型」清單中，選取「Vertex AI 遠端模型、遠端函式和 BigLake (Cloud 資源)」。

    7. 在「連線 ID」欄位中輸入 lake-connection。

    8. 點選「建立連線」。

    9. 在「Explorer」窗格中展開專案，展開「外部連線」節點，然後選取 us.lake-connection 連線。

    10. 在「連線資訊」窗格中，複製「服務帳戶 ID」欄位的值。您需要這項資訊，才能在下個步驟中，授予權限給您建立的 Cloud Storage 值區，讓連線的服務帳戶存取該值區。

    bq

    1. 在 Cloud Shell 中執行 bq mk 指令，建立連線：

      bq mk --connection --location=us --connection_type=CLOUD_RESOURCE \
lake-connection

    2. 執行 bq show 指令，擷取連線相關資訊：

      bq show --connection us.lake-connection

    3. 從 properties 欄複製 serviceAccountId 屬性的值，並儲存在其他位置。您需要這項資訊，才能將權限授予連線的服務帳戶。

    建立 Cloud Storage 值區

    1. 建立 Cloud Storage 值區。
    2. 在儲存區中建立兩個資料夾，一個命名為 mobilenet (用於模型檔案)，另一個命名為 flowers (用於資料集)。

    將權限授予連線的服務帳戶

    主控台

    1. 前往「IAM & Admin」(IAM 與管理) 頁面。

      前往「IAM & Admin」(IAM 與管理)

    2. 點選「授予存取權」。

      「新增主體」對話方塊隨即開啟。

    3. 在「新增主體」欄位，輸入先前複製的服務帳戶 ID。

    4. 在「Select a role」(請選擇角色) 欄位中，依序選取「Cloud Storage」和「Storage Object Viewer」(Storage 物件檢視者)。

    5. 按一下 [儲存]。

    gcloud

    在 Cloud Shell 中執行 gcloud storage buckets add-iam-policy-binding 指令：

    gcloud storage buckets add-iam-policy-binding gs://BUCKET_NAME \
--member=serviceAccount:MEMBER \
--role=roles/storage.objectViewer

    將 MEMBER 換成您先前複製的服務帳戶 ID。將 BUCKET_NAME 改成您先前建立的值區名稱。

    詳情請參閱「將主體新增至值區層級政策」。

    將資料集上傳至 Cloud Storage

    取得資料集檔案，並在 Cloud Storage 中提供：

    1. 下載花朵資料集至本機電腦。
    2. 解壓縮 flower_photos.tgz 檔案。
    3. 上傳 flower_photos 資料夾至先前建立的值區中的 flowers 資料夾。
    4. 上傳完成後，請刪除 flower_photos 資料夾中的 LICENSE.txt 檔案。

    建立物件資料表

    根據您上傳的 flowers 資料集，建立名為 sample_images 的物件資料表：

    SQL

    1. 前往「BigQuery」頁面

      前往 BigQuery

    2. 在「編輯器」窗格中，執行下列 SQL 陳述式：

      CREATE EXTERNAL TABLE mobilenet_inference_test.sample_images
WITH CONNECTION `us.lake-connection`
OPTIONS(
  object_metadata = 'SIMPLE',
  uris = ['gs://BUCKET_NAME/flowers/*']);

      請將 BUCKET_NAME 替換為您先前建立的值區名稱。

    bq

    在 Cloud Shell 中執行 bq mk 指令，建立連線：

    bq mk --table \
--external_table_definition='gs://BUCKET_NAME/flowers/*@us.lake-connection' \
--object_metadata=SIMPLE \
mobilenet_inference_test.sample_images

    請將 BUCKET_NAME 替換為您先前建立的值區名稱。

    將模型上傳至 Cloud Storage

    取得模型檔案，並在 Cloud Storage 中提供：

    1. 下載 MobileNet V3 模型到本機電腦。這會提供模型的 saved_model.pb 檔案和 variables 資料夾。
    2. 上傳 saved_model.pb 檔案和 variables 資料夾至先前建立的值區中的 mobilenet 資料夾。

    將模型載入 BigQuery ML

    1. 前往「BigQuery」頁面

      前往 BigQuery

    2. 在「編輯器」窗格中，執行下列 SQL 陳述式：

      CREATE MODEL `mobilenet_inference_test.mobilenet`
OPTIONS(
  model_type = 'TENSORFLOW',
  model_path = 'gs://BUCKET_NAME/mobilenet/*');

      將 BUCKET_NAME 替換為您先前建立的值區名稱。

    檢查模型

    檢查上傳的模型，查看輸入和輸出欄位：

    1. 前往「BigQuery」頁面

      前往 BigQuery

    2. 在「Explorer」窗格中，展開專案、mobilenet_inference_test 資料集，然後展開「Models」節點。

    3. 按一下 mobilenet 模型。

    4. 在隨即開啟的模型窗格中，按一下「結構定義」分頁標籤。

    5. 查看「標籤」部分。這會識別模型輸出的欄位。在本例中，欄位名稱值為 feature_vector。

    6. 查看「功能」部分。這會指出必須輸入模型中的欄位。您可以在 ML.DECODE_IMAGE 函式的 SELECT 陳述式中參照這些函式。在本例中，欄位名稱值為 inputs。

    執行推論

    使用 mobilenet 模型對 sample_images 物件資料表執行推論：

    1. 前往「BigQuery」頁面

      前往 BigQuery

    2. 在「編輯器」窗格中，執行下列 SQL 陳述式：

      SELECT *
FROM ML.PREDICT(
  MODEL `mobilenet_inference_test.mobilenet`,
  (SELECT uri, ML.RESIZE_IMAGE(ML.DECODE_IMAGE(data), 224, 224, FALSE) AS inputs
  FROM mobilenet_inference_test.sample_images)
);

      結果應如下所示：

      --------------------------------------------------------------------------------------------------------------
| feature_vector         | uri                                                        | inputs               |
—-------------------------------------------------------------------------------------------------------------
| 0.850297749042511      | gs://mybucket/flowers/dandelion/3844111216_742ea491a0.jpg  | 0.29019609093666077  |
—-------------------------------------------------------------------------------------------------------------
| -0.27427938580513      |                                                            | 0.31372550129890442  |
—-------------------------                                                            ------------------------
| -0.23189745843410492   |                                                            | 0.039215687662363052 |
—-------------------------                                                            ------------------------
| -0.058292809873819351  |                                                            | 0.29985997080802917  |
—-------------------------------------------------------------------------------------------------------------

    清除所用資源

    1. In the Trusted Cloud console, go to the Manage resources page.

      Go to Manage resources

    2. In the project list, select the project that you want to delete, and then click Delete.
    3. In the dialog, type the project ID, and then click Shut down to delete the project.