BigQuery でボーダーレス Lakehouse データを使用する
ボーダーレス Lakehouse は、ストレージ エンジンで、 Cloud de Confiance by S3NS とオープンソース サービスを統合して、高度な分析と AI のための統合 インターフェースを作成します。Apache Iceberg を使用して、自動化されたデータ マネジメントと組み込みのガバナンスを備えたオープンでマネージドされた高パフォーマンスのレイクハウスを構築するための基盤を提供します。
Lakehouse でテーブルを作成すると、 BigQuery から自動的にクエリできるようになり、 Cloud de Confiance コンソールの BigQuery ページに表示されます。Lakehouse の名前空間とスキーマも、BigQuery データセットに自動的にマッピングされます。
Lakehouse リソースと他の BigQuery リソースの違い
Lakehouse リソースと標準の BigQuery リソースの主な違いは次のとおりです。
- Lakehouse データセットは、 コンソールの Cloud de Confiance BigQuery ページの 水のアイコンの横に表示されます。
- BigQuery から Lakehouse リソースを変更することはできません。
- Lakehouse リソースには、それぞれの [詳細] セクションに追加のメタデータがあります。
Iceberg テーブルの機能の比較
次の表を使用して、Lakehouse ランタイム カタログで管理される Apache Iceberg テーブルと BigQuery で管理される Apache Iceberg テーブルの機能を比較します。
| 能力 | Lakehouse ランタイム カタログで管理される Apache Iceberg テーブル | BigQuery で管理される Apache Iceberg テーブル |
|---|---|---|
| カタログ | Lakehouse ランタイム カタログ（Iceberg REST カタログ互換） | BigQuery |
| ストレージ | Cloud Storage | Cloud Storage |
| Iceberg REST カタログ エンドポイントからアクセス可能 | はい | はい（BigQuery カタログ連携を使用） |
| 読み取り/書き込みの相互運用性 | ||
| BigQuery 読み取りクエリ（SELECT、BQML、AI 関数） | サポート対象 | サポート対象 |
| BigQuery DML（INSERT、UPDATE、DELETE、MERGE） | サポート対象（プレビュー） | サポート対象（一般提供） |
| OSS エンジンの読み取り | サポート対象（一般提供） | サポート対象（一般提供）（BigQuery カタログ連携を使用） |
| OSS エンジンの書き込み | サポート対象（一般提供） | 対象外 |
| OSS エンジンのストリーミング書き込み（Kafka、Spark、Iceberg I/O シンクを使用した Dataflow） | サポート対象（一般提供） | 対象外 |
| マネージド機能と高度な機能 | ||
| テーブル管理（圧縮、ガベージ コレクション） | サポート対象（プレビュー） | サポート対象（一般提供） |
| BigQuery ストリーミング書き込み（Storage Write API） | 対象外 | サポート対象（一般提供） |
| Pub/Sub ストリーミング/サブスクリプション、BigQuery I/O シンクを使用した Dataflow ストリーミング | 対象外 | サポート対象（一般提供） |
| BigQuery 変更データ キャプチャ（CDC） | 対象外 | サポート対象（限定公開プレビュー） |
| BigQuery マルチステートメント トランザクション | 対象外 | サポート対象（プレビュー） |
| マネージド障害復旧 | 対象外 | 対象外 |
| 検索インデックス | 対象外 | 対象外 |
| ベクトル インデックス（自動エンベディング生成を含む） | 対象外 | 対象外 |
| タイムトラベル | ||
| タイムトラベル（OSS エンジンを使用） | 柔軟（テーブル プロパティで構成） | 対象外 |
| タイムトラベル（BigQuery を使用） | 最長 7 日間 | 最長 7 日間 |
| スナップショットの履歴と以前のスナップショットへのロールバック | サポート対象 | 対象外 |
| ガバナンス、セキュリティ、共有 | ||
| BigQuery の承認済みビュー | 対象外 | 対象外 |
| BigQuery の列レベル セキュリティ | 対象外 | サポート対象（一般提供） |
| BigQuery のデータ マスキングとポリシータグ | 対象外 | サポート対象（一般提供） |
| BigQuery の行レベル セキュリティ | 対象外 | 対象外 |
| Analytics Hub のインテグレーション | 対象外 | サポート対象 |
| Knowledge Catalog の機能 | ||
| メタデータのカタログ化、検索と見つけやすさ | サポート対象 | サポート対象 |
| リネージ | サポート対象 | サポート対象 |
| データ品質/プロファイリング | サポート対象 | サポート対象 |
| 分析情報 | サポート対象 | サポート対象 |
| AI ベースの列とテーブルの説明の生成 | サポート対象 | サポート対象 |
クロスクラウド データにアクセスする
Lakehouse のクロスクラウド データアクセス機能 を使用すると、ファイルを移行したり、複雑な ETL パイプラインを構築したりすることなく、他のクラウド プロバイダに保存されているデータを BigQuery から直接クエリできます。構成情報については、 リモートデータをクエリするをご覧ください。
次のステップ
- ボーダーレス Lakehouse の詳細を確認する。