在 BigQuery 中与无边界 Lakehouse 数据互动
无边界湖仓一体是一种存储引擎，它将 Cloud de Confiance by S3NS 和开源服务结合在一起，为高级分析和 AI 创建统一的界面。它为使用 Apache Iceberg 构建开放式、托管式且高性能的湖仓一体架构奠定了基础，并提供自动化数据管理和内置治理功能。
当您在 Lakehouse 中创建表时，该表会自动在 BigQuery 中可供查询，并显示在 Cloud de Confiance 控制台的 BigQuery 页面上。您的 Lakehouse 命名空间和架构也会自动映射到 BigQuery 数据集。此外，您还可以直接在 BigQuery Studio 中创建和更新 Lakehouse 目录、命名空间和表。
Lakehouse 资源与其他 BigQuery 资源之间的区别
以下是 Lakehouse 与标准 BigQuery 资源之间的主要区别：
- Lakehouse 数据集会显示在 Cloud de Confiance 控制台的 BigQuery 页面中，旁边带有水滴图标。
- Lakehouse 资源在其各自的详细信息部分中包含其他元数据。
在 BigQuery Studio 中创建 Lakehouse 表
转到 BigQuery 页面。
在探索器窗格中，点击 添加数据。
点击 Google Cloud Storage 数据源卡片。
在就地访问外部数据下，点击 GCS 数据文件卡片。
对于 GCS 存储桶来源或文件路径，选择您的 Cloud Storage 存储桶。
在文件格式部分，选择 Parquet。
在表名称部分，输入表的名称。
在项目部分，选择您的项目。
对于目录 ID，请为存储桶选择现有 Lakehouse 目录，或者创建一个（如果尚不存在）。
对于命名空间 ID，选择现有的 Lakehouse 命名空间，或创建一个新命名空间。命名空间 ID 只能包含字母、数字和下划线。
（可选）对于架构，为新表定义字段名称和数据类型。
点击创建表。
现在，您可以在 BigQuery 中看到 Lakehouse 表，并可以像查询和修改标准 BigQuery 表一样对其进行查询和修改。
您可以采用与标准 BigQuery 表相同的方式创建空 Lakehouse 表，而不是创建包含数据的表。唯一的区别是选择 Lakehouse 命名空间作为目标数据集。
将其他目录迁移或联合到 Lakehouse
转到 BigQuery 页面。
在探索器窗格中，点击 添加数据。
点击 Google Cloud Storage 数据源卡片。
在就地访问外部数据下，点击外部或旧版目录卡片。
在选择目录来源部分，选择目录来源。
- 如果您选择了 Hive Metastore，请执行以下操作：
- 对于区域，为新 Lakehouse 目录选择一个区域。
- 在迁移显示名称部分，输入迁移的新名称。
- 点击继续。
- 对于源系统配置，输入网址、服务账号和网络连接。
- 如果您选择了其他目录来源，请执行以下操作：
- 在目录名称（在 Lakehouse 中）部分，输入目录的名称。
- 在数据位置部分，为新 Lakehouse 目录选择一个区域。
- 点击继续。
- 对于目录配置，请输入远程目录详细信息、身份验证方法和刷新间隔。
- 如果您选择了 Hive Metastore，请执行以下操作：
点击创建。
访问跨云数据
借助 Lakehouse 的跨云数据访问功能，您可以直接从 BigQuery 查询存储在其他云服务商处的数据，而无需迁移文件或构建复杂的 ETL 流水线。如需了解配置信息，请参阅查询远程数据。
Iceberg 表功能对比
使用下表比较由 Lakehouse 运行时目录管理的 Apache Iceberg 表与由 BigQuery 管理的 Apache Iceberg 表的功能。
| 能力 | 由 Lakehouse 运行时目录管理的 Apache Iceberg 表 | 由 BigQuery 管理的 Apache Iceberg 表 |
|---|---|---|
| 目录 | Lakehouse 运行时目录（与 Iceberg REST 目录兼容） | BigQuery |
| 存储 | Cloud Storage | Cloud Storage |
| 可通过 Iceberg REST Catalog 端点访问 | 是 | 是，使用 BigQuery 目录联合 |
| 读写互操作性 | ||
| BigQuery 读取查询（SELECT、BQML、AI 函数） | 支持 | 支持 |
| BigQuery DML（INSERT、UPDATE、DELETE、MERGE） | 支持（预览版） | 支持（正式版） |
| OSS 引擎读取 | 支持（正式版） | 受支持（正式版）（使用 BigQuery 目录联合） |
| OSS 引擎写入 | 支持（正式版） | 不支持 |
| OSS 引擎流式写入（Kafka、Spark、Dataflow 与 Iceberg I/O 接收器） | 支持（正式版） | 不支持 |
| 代管式功能和高级功能 | ||
| 表管理（压缩、垃圾回收） | 受支持（预览版） | 支持（正式版） |
| BigQuery 流式写入 (Storage Write API) | 不支持 | 支持（正式版） |
| Pub/Sub 流式传输/订阅、使用 BigQuery I/O 接收器的 Dataflow 流式传输 | 不支持 | 支持（正式版） |
| BigQuery 变更数据捕获 (CDC) | 支持（预览版） | 支持 |
| BigQuery 多语句事务 | 不支持 | 支持（预览版） |
| 托管式灾难恢复 | 不支持 | 不支持 |
| 搜索索引 | 不支持 | 不支持 |
| 向量索引（包括自动嵌入生成） | 不支持 | 不支持 |
| 时间旅行 | ||
| 时间旅行（使用 OSS 引擎） | 灵活（通过表属性进行配置） | 不支持 |
| 时间旅行（使用 BigQuery） | 限制为 7 天 | 限制为 7 天 |
| 概况历史记录和回滚到上一个概况 | 支持 | 不支持 |
| 治理、安全和共享 | ||
| BigQuery 授权视图 | 不支持 | 不支持 |
| BigQuery 列级安全性 | 不支持 | 支持（正式版） |
| BigQuery 数据遮盖和政策标记 | 不支持 | 支持（正式版） |
| BigQuery 行级安全性 | 不支持 | 支持（正式版） |
| Analytics Hub 集成 | 不支持 | 支持 |
| Knowledge Catalog 功能 | ||
| 元数据编目、搜索和发现 | 支持 | 支持 |
| 沿袭 | 支持 | 支持 |
| 数据质量/分析 | 支持 | 支持 |
| 数据分析 | 支持 | 支持 |
| 基于 AI 的列和表说明生成 | 支持 | 支持 |
后续步骤
- 详细了解无边界 Lakehouse。