在 BigQuery 中與無邊界湖倉資料互動
Borderless Lakehouse 是儲存引擎，可整合 Cloud de Confiance by S3NS 和開放原始碼服務，為進階數據分析和 AI 建立統一介面。這項服務提供基礎，可讓您使用 Apache Iceberg 建構開放式、代管式且高效能的湖倉，並提供自動化資料管理和內建治理機制。
在 Lakehouse 建立資料表後，即可透過 BigQuery 查詢，並在 Cloud de Confiance 控制台的 BigQuery 頁面查看。Lakehouse 命名空間和結構定義也會自動對應至 BigQuery 資料集。此外，您也可以直接在 BigQuery Studio 中建立及更新 Lakehouse 目錄、命名空間和資料表。
Lakehouse 資源與其他 BigQuery 資源的差異
以下是 Lakehouse 和標準 BigQuery 資源的主要差異：
- Lakehouse 資料集會顯示在 Cloud de Confiance 控制台的 BigQuery 頁面中，旁邊有水滴圖示。
- Lakehouse 資源的「Details」(詳細資料) 專區中，有額外的中繼資料。
在 BigQuery Studio 建立 Lakehouse 資料表
前往「BigQuery」頁面
在「Explorer」窗格中，點選 「Add data」(新增資料)。
按一下「Google Cloud Storage」資料來源資訊卡。
在「原地存取外部資料」下方，點選「GCS 資料檔案」資訊卡。
在「GCS bucket source or file path」(GCS bucket 來源或檔案路徑) 部分，選取 Cloud Storage bucket。
在「File format」(檔案格式) 中選取 [Parquet]。
在「Table name」(資料表名稱) 部分，輸入資料表名稱。
在「Project」(專案) 部分，選取您的專案。
在「Catalog ID」(目錄 ID) 部分，選取 bucket 的現有 Lakehouse 目錄，或建立新的目錄。
在「Namespace ID」(命名空間 ID) 部分，選取現有的 Lakehouse 命名空間，或建立新的命名空間。命名空間 ID 只能使用英文字母、數字和底線。
(選用) 在「Schema」(結構定義) 部分，定義新資料表的欄位名稱和資料類型。
點選「建立資料表」。
Lakehouse 資料表現在會顯示在 BigQuery 中，您可以像查詢及修改標準 BigQuery 資料表一樣，對其執行查詢及修改。
您可以建立空白的 Lakehouse 資料表，而不必建立包含資料的資料表，方法與標準 BigQuery 資料表相同。唯一的差別在於選取 Lakehouse 命名空間做為目標資料集。
將其他目錄遷移或聯合至 Lakehouse
前往「BigQuery」頁面
在「Explorer」窗格中，點選 「Add data」(新增資料)。
按一下「Google Cloud Storage」資料來源資訊卡。
在「Access external data in place」(原地存取外部資料) 下方，按一下「External or legacy catalogs」(外部或舊版目錄) 資訊卡。
在「Select catalog source」(選取目錄來源)，選取目錄來源。
- 如果選取「Hive Metastore」，請執行下列操作：
- 在「Region」(區域) 部分，選取新 Lakehouse 目錄的區域。
- 在「遷移作業顯示名稱」部分，輸入新的遷移作業名稱。
- 按一下「繼續」。
- 在「Source system configuration」(來源系統設定) 部分，輸入網址、服務帳戶和網路連結。
- 如果選取其他目錄來源，請按照下列步驟操作：
- 在「Catalog name (in Lakehouse)」(目錄名稱 (位於 Lakehouse)) 部分，輸入目錄名稱。
- 在「Data location」(資料位置) 部分，選取新 Lakehouse 目錄的區域。
- 按一下「繼續」。
- 在「Catalog configuration」(目錄設定) 部分，輸入遠端目錄詳細資料、驗證方式和重新整理間隔。
- 如果選取「Hive Metastore」，請執行下列操作：
點選「建立」。
存取跨雲端資料
Lakehouse 的跨雲端資料存取功能可讓您直接從 BigQuery 查詢其他雲端服務供應商儲存的資料，不必遷移檔案或建構複雜的 ETL 管道。如需設定資訊，請參閱「查詢遠端資料」。
Iceberg 資料表功能比較
請參閱下表，比較 Lakehouse 執行階段目錄管理的 Apache Iceberg 資料表，與 BigQuery 管理的 Apache Iceberg 資料表功能。
| 功能 | 由 Lakehouse 執行階段目錄管理的 Apache Iceberg 資料表 | 由 BigQuery 代管的 Apache Iceberg 資料表 |
|---|---|---|
| 目錄 | Lakehouse 執行階段目錄 (與 Iceberg REST 目錄相容) | BigQuery |
| 儲存空間 | Cloud Storage | Cloud Storage |
| 可透過 Iceberg REST 目錄端點存取 | 是 | 是，使用 BigQuery 目錄聯合 |
| 讀寫互通性 | ||
| BigQuery 讀取查詢 (SELECT、BQML、AI 函式) | 支援 | 支援 |
| BigQuery DML (INSERT、UPDATE、DELETE、MERGE) | 支援 (預先發布版) | 支援 (正式發布版) |
| OSS 引擎讀取 | 支援 (正式發布版) | 支援 (正式發布版) (使用 BigQuery 目錄聯合) |
| OSS 引擎寫入 | 支援 (正式發布版) | 不支援 |
| OSS 引擎串流寫入 (Kafka、Spark、Dataflow 搭配 Iceberg I/O 接收器) | 支援 (正式發布版) | 不支援 |
| 代管和進階功能 | ||
| 資料表管理 (壓縮、垃圾收集) | 支援 (預先發布版) | 支援 (正式發布版) |
| BigQuery 串流寫入 (Storage Write API) | 不支援 | 支援 (正式發布版) |
| Pub/Sub 串流/訂閱、Dataflow 串流與 BigQuery I/O 接收器 | 不支援 | 支援 (正式發布版) |
| BigQuery 變更資料擷取 (CDC) | 支援 (預先發布版) | 支援 |
| BigQuery 多陳述式交易 | 不支援 | 支援 (預先發布版) |
| 代管災難復原 | 不支援 | 不支援 |
| 搜尋索引 | 不支援 | 不支援 |
| 向量索引 (包括自動生成嵌入) | 不支援 | 不支援 |
| 時間旅行 | ||
| 時間旅行 (使用 OSS 引擎) | 彈性 (透過資料表屬性設定) | 不支援 |
| 時間旅行 (使用 BigQuery) | 上限為 7 天 | 上限為 7 天 |
| 快照記錄和復原至先前的快照 | 支援 | 不支援 |
| 管理、安全性和共用 | ||
| BigQuery 授權檢視表 | 不支援 | 不支援 |
| BigQuery 資料欄層級安全防護機制 | 不支援 | 支援 (正式發布版) |
| BigQuery 資料遮蓋和政策標記 | 不支援 | 支援 (正式發布版) |
| BigQuery 資料列層級安全防護機制 | 不支援 | 支援 (正式發布版) |
| Analytics Hub 整合 | 不支援 | 支援 |
| Knowledge Catalog 功能 | ||
| 中繼資料分類、搜尋與發現 | 支援 | 支援 |
| 歷程 | 支援 | 支援 |
| 資料品質/剖析 | 支援 | 支援 |
| 深入分析 | 支援 | 支援 |
| AI 生成資料欄和資料表說明 | 支援 | 支援 |
後續步驟
- 進一步瞭解無邊界湖倉。