建立 Apache Iceberg 唯讀外部資料表

SQL

使用 CREATE EXTERNAL TABLE 陳述式。以下範例會建立名為 myexternal-table 的 Iceberg 唯讀資料表：

  CREATE EXTERNAL TABLE myexternal-table
  WITH CONNECTION `myproject.us.myconnection`
  OPTIONS (
         format = 'ICEBERG',
         uris = ["gs://mybucket/mydata/mytable/metadata/iceberg.metadata.json"]
   )

將 uris 值替換為特定資料表快照的最新 JSON 中繼資料檔案。

您可以設定 require_partition_filter 標記，啟用require 分區篩選器。

bq

在指令列環境中，請使用 bq mk --table 指令搭配 @connection 修飾符，指定 --external_table_definition 參數結尾要使用的連線。如要啟用所需的分區篩選器，請使用 --require_partition_filter。

bq mk 

    --table 

    --external_table_definition=TABLE_FORMAT=URI@projects/CONNECTION_PROJECT_ID/locations/CONNECTION_REGION/connections/CONNECTION_ID 

    PROJECT_ID:DATASET.EXTERNAL_TABLE

更改下列內容：

• TABLE_FORMAT：您要建立的資料表格式

  在這種情況下：ICEBERG。

• URI：特定資料表快照的最新 JSON 中繼資料檔案。

  例如 gs://mybucket/mydata/mytable/metadata/iceberg.metadata.json。

  URI 也可以指向外部雲端位置，例如 Amazon S3 或 Azure Blob 儲存體。

  • AWS 範例：s3://mybucket/iceberg/metadata/1234.metadata.json。
  • Azure 範例：azure://mystorageaccount.blob.core.windows.net/mycontainer/iceberg/metadata/1234.metadata.json。

• CONNECTION_PROJECT_ID：包含建立 Iceberg 唯讀資料表的連線的專案，例如 myproject

• CONNECTION_REGION：包含建立 Iceberg 唯讀資料表的連線的區域，例如 us

• CONNECTION_ID：資料表連結 ID，例如 myconnection

  在 Trusted Cloud 控制台查看連線詳細資料時，連線 ID 是 連線 ID 中顯示的完整連線 ID 最後一節的值，例如 projects/myproject/locations/connection_location/connections/myconnection。

• DATASET：您要在其中建立資料表的 BigQuery 資料集名稱

  例如 mydataset。

• EXTERNAL_TABLE：要建立的資料表名稱

  例如 mytable。

bq

1. 建立資料表定義檔：

   bq mkdef --source_format=ICEBERG \
   "URI" > TABLE_DEFINITION_FILE
   

2. 使用加上 --autodetect_schema 旗標的 bq update 指令：

   bq update --autodetect_schema --external_table_definition=TABLE_DEFINITION_FILE
   PROJECT_ID:DATASET.TABLE
   

   更改下列內容：

   • URI：Cloud Storage URI 和最新的 JSON 中繼資料檔案

     例如 gs://mybucket/us/iceberg/mytable/metadata/1234.metadata.json。

   • TABLE_DEFINITION_FILE：包含資料表結構描述的檔案名稱

   • PROJECT_ID：包含要更新的資料表的專案 ID

   • DATASET：包含要更新資料表的資料集

   • TABLE：要更新的資料表

API

使用 tables.patch 方法，並將 autodetect_schema 屬性設為 true：

PATCH https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET/tables/TABLE?autodetect_schema=true

更改下列內容：

• PROJECT_ID：包含要更新的資料表的專案 ID
• DATASET：包含要更新資料表的資料集
• TABLE：要更新的資料表

在要求主體中，指定下列欄位的更新值：

{
     "externalDataConfiguration": {
      "sourceFormat": "ICEBERG",
      "sourceUris": [
        "URI"
      ]
    },
    "schema": null
  }'

將 URI 替換為最新的 Iceberg 中繼資料檔案。例如：gs://mybucket/us/iceberg/mytable/metadata/1234.metadata.json。

SQL

使用 CREATE EXTERNAL TABLE 陳述式。以下範例會建立名為 TABLE 的 Iceberg 唯讀資料表，並啟用要求分區篩選器：

  CREATE EXTERNAL TABLE TABLE
  WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID`
  OPTIONS (
         format = 'ICEBERG',
         uris = [URI],
         require_partition_filter = true
   )

更改下列內容：

• TABLE：您要建立的資料表名稱。
• PROJECT_ID：包含要建立的表格的專案 ID。
• REGION：您要建立 Iceberg 資料表的位置。

• CONNECTION_ID：連線 ID。例如：myconnection。

• URI：含有最新 JSON 中繼資料檔案的 Cloud Storage URI。

  例如 gs://mybucket/us/iceberg/mytable/metadata/1234.metadata.json。

  URI 也可以指向外部雲端位置，例如 Amazon S3 或 Azure Blob 儲存體。

  • AWS 範例：s3://mybucket/iceberg/metadata/1234.metadata.json。
  • Azure 範例：azure://mystorageaccount.blob.core.windows.net/mycontainer/iceberg/metadata/1234.metadata.json。

bq

請使用 bq mk --table 指令搭配 @connection 修飾符，指定在 --external_table_definition 參數結尾要使用的連線。使用 --require_partition_filter 啟用必須使用分區篩選器。以下範例會建立名為 TABLE 的 Iceberg 唯讀資料表，並啟用需要分區篩選器：

bq mk \
    --table \
    --external_table_definition=ICEBERG=URI@projects/CONNECTION_PROJECT_ID/locations/CONNECTION_REGION/connections/CONNECTION_ID \
    PROJECT_ID:DATASET.EXTERNAL_TABLE \
    --require_partition_filter

更改下列內容：

• URI：特定資料表快照的最新 JSON 中繼資料檔案

  例如 gs://mybucket/mydata/mytable/metadata/iceberg.metadata.json。

  URI 也可以指向外部雲端位置，例如 Amazon S3 或 Azure Blob 儲存體。

  • AWS 範例：s3://mybucket/iceberg/metadata/1234.metadata.json。
  • Azure 範例：azure://mystorageaccount.blob.core.windows.net/mycontainer/iceberg/metadata/1234.metadata.json。

• CONNECTION_PROJECT_ID：包含建立 Iceberg 唯讀資料表的連線的專案，例如 myproject

• CONNECTION_REGION：包含建立 Iceberg 唯讀資料表的連線的區域。例如：us。

• CONNECTION_ID：連線 ID。例如：myconnection。

  在 Trusted Cloud 控制台查看連線詳細資料時，連線 ID 是 連線 ID 中顯示的完整連線 ID 最後一節的值，例如 projects/myproject/locations/connection_location/connections/myconnection。

• DATASET：BigQuery 的名稱

  包含要更新資料表的資料集。例如 mydataset。

• EXTERNAL_TABLE：您要建立的資料表名稱

  例如 mytable。

bq

請使用 bq update 指令，並加上 --require_partition_filter 旗標。

例如：

如要在預設專案中更新 mydataset 中的 mypartitionedtable，請輸入：

bq update --require_partition_filter PROJECT_ID:DATASET.TABLE