このページの一部またはすべての情報は、S3NS の Cloud de Confiance に適用されない場合があります。詳細については、Google Cloud との違いをご確認ください。

Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

Apache Iceberg マネージドテーブル

Apache Iceberg マネージドテーブル（以前の BigQuery 内の Apache Iceberg 用 BigLake テーブル）は、 Cloud de Confiance by S3NSでオープン形式のレイクハウスを構築するための基盤になります。Iceberg マネージドテーブルは、標準の BigQuery テーブルと同じフルマネージドエクスペリエンスを提供しますが、お客様所有のストレージバケットにデータを保存します。Iceberg マネージドテーブルは、オープン Iceberg テーブル形式をサポートしているため、データの単一コピーでオープンソースとサードパーティのコンピューティングエンジンとの相互運用性が向上します。

Iceberg マネージドテーブルは、次の機能をサポートしています。

テーブルミューテーション: GoogleSQL データ操作言語（DML）を使用します。
統合されたバッチ処理と高スループットストリーミング: Spark、Dataflow、その他のエンジンなどのコネクタを介して BigQuery Storage Write API を使用します。
Iceberg V2 スナップショットのエクスポートと自動更新。Spark などのオープンソースとサードパーティのクエリエンジンを使用して直接クエリにアクセスするための各テーブルミューテーション。
スキーマの進化: ニーズに合わせて列の追加、削除、名前の変更が可能です。この機能を使用すると、既存の列のデータ型とモードを変更することもできます。詳細については、変換ルールをご覧ください。
ストレージの自動最適化: 適応型ファイルサイズ設定、自動クラスタリング、ガベージコレクション、メタデータの最適化などが含まれます。
BigQuery での過去のデータアクセス用のタイムトラベル。
列レベルのセキュリティとデータマスキング。
マルチステートメントトランザクション（プレビュー）。
テーブルのパーティショニング（プレビュー）。
Dataform ワークフローでのテーブル作成。

アーキテクチャ

Iceberg マネージドテーブルを使用すると、独自のクラウドバケットに存在するテーブルで、BigQuery リソース管理の利便性を享受できます。これらのテーブルでは、管理するバケットからデータを移動することなく、BigQuery とオープンソースのコンピューティングエンジンを使用できます。Iceberg マネージドテーブルの使用を開始する前に、Cloud Storage バケットを構成する必要があります。

Iceberg マネージドテーブルを使用すると、バケットに次のような影響があります。

BigQuery は、書き込みリクエストやバックグラウンドのストレージ最適化（DML ステートメントやストリーミングなど）に応じて、バケットに新しいデータファイルを作成します。
バケット内のデータファイルに対して自動圧縮とクラスタリングが実行されます。タイムトラベルウィンドウの有効期限が切れると、データファイルはガベージコレクションされます。ただし、テーブルが削除されても、関連付けられたデータファイルはガベージコレクションされません。詳細については、ストレージの最適化をご覧ください。

Iceberg マネージドテーブルの作成は、BigQuery テーブルの作成と似ています。データをオープン形式で Cloud Storage に保存するため、次の操作を行う必要があります。

WITH CONNECTION を使用して Cloud リソース接続を指定し、BigQuery が Cloud Storage にアクセスするための接続認証情報を構成します。
file_format = PARQUET ステートメントを使用して、データストレージのファイル形式を PARQUET として指定します。
table_format = ICEBERG ステートメントを使用して、オープンソースのメタデータテーブル形式を ICEBERG として指定します。

ベストプラクティス

BigQuery の外部でバケットのファイルを直接変更または追加すると、データ損失や回復不能エラーが発生する可能性があります。次の表に、考えられるシナリオを示します。

操作	結果	予防策
BigQuery の外部にあるバケットに新しいファイルを追加する。	データ損失: BigQuery の外部で追加された新しいファイルやオブジェクトは、BigQuery によって追跡されません。追跡されないファイルは、バックグラウンドのガベージコレクションプロセスによって削除されます。	データの追加を常に BigQuery を介して行うと、BigQuery によってファイルが追跡され、ガベージコレクションを防止できます。誤って追加されることやデータが失われることがないように、Iceberg マネージドテーブルを含むバケットに対して、外部ツールの書き込み権限を制限することもおすすめします。
空でない接頭辞に新しい Iceberg マネージドテーブルを作成する。	データ損失: 既存のデータは BigQuery によって追跡されないため、これらのファイルは追跡対象外とみなされ、バックグラウンドのガベージコレクションプロセスによって削除されます。	空の接頭辞にのみ新しい Iceberg マネージドテーブルを作成します。
Iceberg マネージドテーブルのデータファイルを変更または置換する。	データ損失: 外部で変更または置換を行うと、テーブルの整合性チェックが失敗して読み取り不能になり、テーブルに対するクエリが失敗します。この状態からセルフサービスで復元する方法はありません。データ復元のサポートが必要な場合は、サポートにご連絡ください。	データの変更を常に BigQuery を介して行うと、BigQuery によってファイルが追跡され、ガベージコレクションを防止できます。誤って追加されることやデータが失われることがないように、Iceberg マネージドテーブルを含むバケットに対して、外部ツールの書き込み権限を制限することもおすすめします。
同じ、または重複する URI に Iceberg マネージドテーブルを 2 つ作成する。	データ損失: BigQuery は、Iceberg マネージドテーブルの同じ URI インスタンスをブリッジしません。各テーブルのバックグラウンドのガベージコレクションプロセスは、もう一方のテーブルにあるファイルを追跡対象外とみなして削除するため、データ損失が発生します。	Iceberg マネージドテーブルごとに一意の URI を使用します。

Cloud Storage バケットの構成に関するベストプラクティス

Cloud Storage バケットの構成と BigQuery との接続は、Iceberg マネージドテーブルのパフォーマンス、費用、データの整合性、セキュリティ、ガバナンスに直接影響します。この構成に役立つベストプラクティスは次のとおりです。

バケットが Iceberg マネージドテーブル専用であることを明確に示す名前を選択します。
BigQuery データセットと同じリージョンに配置されている単一リージョン Cloud Storage バケットを選択します。この調整により、データ転送料金を回避できるため、パフォーマンスが向上し、費用が削減されます。
デフォルトでは、Cloud Storage はデータを Standard ストレージクラスに保存します。このクラスは十分なパフォーマンスを提供します。データストレージ費用を最適化するには、Autoclass を有効にして、ストレージクラスの移行を自動的に管理します。Autoclass は Standard Storage クラスから始まり、アクセスされないオブジェクトをよりコールドなクラスに移動して、ストレージ費用を削減します。オブジェクトが再度読み取られると、Standard クラスに戻ります。
均一なバケットレベルのアクセスと公開アクセスの防止を有効にします。
必要なロールが適切なユーザーとサービスアカウントに割り当てられていることを確認します。
Cloud Storage バケット内のデータの誤った削除や破損を防ぐには、組織内のほとんどのユーザーの書き込み権限と削除権限を制限します。これを行うには、指定したユーザーを除くすべてのユーザーに対して PUT リクエストと DELETE リクエストを拒否する条件で、バケット権限ポリシーを設定します。
機密データをさらに保護するために、Google 管理または顧客管理の暗号鍵を適用します。
運用の透明性、トラブルシューティング、データアクセスのモニタリングのために、監査ロギングを有効にします。
誤って削除された場合に備えて、デフォルトの削除（復元可能）ポリシー（7 日間の保持）を維持します。ただし、データが削除された場合は、オブジェクトを手動で復元するのではなく、サポートにお問い合わせください。BigQuery の外部で追加または変更されたオブジェクトは、BigQuery メタデータで追跡されません。
適応型ファイルサイズ設定、自動クラスタリング、ガベージコレクションは自動的に有効になり、ファイルパフォーマンスと費用の最適化に役立ちます。
Iceberg マネージドテーブルではサポートされていないため、次の Cloud Storage 機能は使用しないでください。
- 階層型名前空間
- オブジェクトアクセス制御リスト（ACL）
- 顧客指定の暗号鍵
- オブジェクトのバージョニング
- オブジェクトロック
- バケットロック
- BigQuery API または bq CLI を使用して削除済み（復元可能）オブジェクトを復元する

これらのベストプラクティスを実装するには、次のコマンドを使用してバケットを作成します。

gcloud storage buckets create gs://BUCKET_NAME \
    --project=PROJECT_ID \
    --location=LOCATION \
    --enable-autoclass \
    --public-access-prevention \
    --uniform-bucket-level-access

次のように置き換えます。

BUCKET_NAME: 新しいバケットの名前
PROJECT_ID: オブジェクトの ID
LOCATION: 新しいバケットのロケーション

Iceberg マネージドテーブルのワークフロー

次のセクションでは、Iceberg マネージドテーブルの作成、読み込み、管理、クエリの方法について説明します。

始める前に

Iceberg マネージドテーブルを作成して使用する前に、ストレージバケットへの Cloud リソース接続が設定されていることを確認してください。次の必要なロールセクションで指定されているように、接続にはストレージバケットへの書き込み権限が必要です。接続に必要なロールと権限の詳細については、接続を管理するをご覧ください。

必要なロール

プロジェクト内のテーブルを BigQuery が管理できるようにするために必要な権限を取得するには、次の IAM ロールの付与を管理者に依頼してください。

Iceberg マネージドテーブルを作成するには:
- プロジェクトに対する BigQuery データオーナー（roles/bigquery.dataOwner）
- プロジェクトに対する BigQuery Connection 管理者（roles/bigquery.connectionAdmin）
Iceberg マネージドテーブルをクエリするには:
- プロジェクトに対する BigQuery データ閲覧者（roles/bigquery.dataViewer）
- プロジェクトに対する BigQuery ユーザー（roles/bigquery.user）
Cloud Storage でのデータの読み取りと書き込みを接続サービスアカウントで行えるように、次のロールを付与します。
- バケットに対するストレージオブジェクトユーザー（roles/storage.objectUser）
- バケットに対する Storage レガシーバケット読み取り（roles/storage.legacyBucketReader）

ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

これらの事前定義ロールには、プロジェクト内のテーブルの BigQuery による管理を許可するために必要な権限が含まれています。必要とされる正確な権限については、「必要な権限」セクションを開いてご確認ください。

必要な権限

プロジェクト内のテーブルの BigQuery による管理を許可するには、次の権限が必要です。

すべて:
- プロジェクトに対する bigquery.connections.delegate
- プロジェクトに対する bigquery.jobs.create
- プロジェクトに対する bigquery.readsessions.create
- プロジェクトに対する bigquery.tables.create
- プロジェクトに対する bigquery.tables.get
- プロジェクトに対する bigquery.tables.getData
- バケットに対する storage.buckets.get
- バケットに対する storage.objects.create
- バケットに対する storage.objects.delete
- バケットに対する storage.objects.get
- バケットに対する storage.objects.list

カスタムロールや他の事前定義ロールを使用して、これらの権限を取得することもできます。

Iceberg マネージドテーブルを作成する

Iceberg マネージドテーブルを作成するには、次のいずれかの方法を選択します。

SQL

CREATE TABLE [PROJECT_ID.]DATASET_ID.TABLE_NAME (
COLUMN DATA_TYPE[, ...]
)
CLUSTER BY CLUSTER_COLUMN_LIST
WITH CONNECTION {CONNECTION_NAME | DEFAULT}
OPTIONS (
file_format = 'PARQUET',
table_format = 'ICEBERG',
storage_uri = 'STORAGE_URI');

次のように置き換えます。

PROJECT_ID: データセットを含むプロジェクト。未定義の場合、コマンドはデフォルトのプロジェクトを想定します。
DATASET_ID: 既存のデータセット。
TABLE_NAME: 作成するテーブルの名前。
DATA_TYPE: 列に含まれる情報のデータ型。
CLUSTER_COLUMN_LIST（省略可）: 最大 4 つの列を含むカンマ区切りリスト。最上位の非繰り返し列である必要があります。
CONNECTION_NAME: 接続の名前。例: myproject.us.myconnectionデフォルトの接続を使用するには、接続名の代わりに DEFAULT を指定します。
STORAGE_URI: 完全修飾の Cloud Storage URI。例: gs://mybucket/table

bq

bq --project_id=PROJECT_ID mk \
    --table \
    --file_format=PARQUET \
    --table_format=ICEBERG \
    --connection_id=CONNECTION_NAME \
    --storage_uri=STORAGE_URI \
    --schema=COLUMN_NAME:DATA_TYPE[, ...] \
    --clustering_fields=CLUSTER_COLUMN_LIST \
    DATASET_ID.MANAGED_TABLE_NAME

次のように置き換えます。

PROJECT_ID: データセットを含むプロジェクト。未定義の場合、コマンドはデフォルトのプロジェクトを想定します。
CONNECTION_NAME: 接続の名前。例: myproject.us.myconnection
STORAGE_URI: 完全修飾の Cloud Storage URI。例: gs://mybucket/table
COLUMN_NAME: 列の名前。
DATA_TYPE: 列に含まれる情報のデータ型。
CLUSTER_COLUMN_LIST（省略可）: 最大 4 つの列を含むカンマ区切りリスト。最上位の非繰り返し列である必要があります。
DATASET_ID: 既存のデータセットの ID。
MANAGED_TABLE_NAME: 作成するテーブルの名前。

API

次のように、定義済みのテーブルリソースを使用して tables.insert メソッドを呼び出します。

{
"tableReference": {
  "tableId": "TABLE_NAME"
},
"biglakeConfiguration": {
  "connectionId": "CONNECTION_NAME",
  "fileFormat": "PARQUET",
  "tableFormat": "ICEBERG",
  "storageUri": "STORAGE_URI"
},
"schema": {
  "fields": [
    {
      "name": "COLUMN_NAME",
      "type": "DATA_TYPE"
    }
    [, ...]
  ]
}
}

次のように置き換えます。

TABLE_NAME: 作成するテーブルの名前。
CONNECTION_NAME: 接続の名前。例: myproject.us.myconnection
STORAGE_URI: 完全修飾の Cloud Storage URI。ワイルドカードもサポートされています。例: gs://mybucket/table
COLUMN_NAME: 列の名前。
DATA_TYPE: 列に含まれる情報のデータ型。

Iceberg マネージドテーブルにデータをインポートする

次のセクションでは、さまざまなテーブル形式から Iceberg マネージドテーブルにデータをインポートする方法について説明します。

フラットファイルからのデータの標準読み込み

Iceberg マネージドテーブルは、BigQuery 読み込みジョブを使用して外部ファイルを Iceberg マネージドテーブルに読み込みます。既存の Iceberg マネージドテーブルがある場合は、bq load CLI ガイドまたは LOAD SQL ガイドに沿って外部データを読み込みます。データの読み込み後、新しい Parquet ファイルが STORAGE_URI/data フォルダに書き込まれます。

既存の Iceberg マネージドテーブルがない場合に前述の手順を行うと、代わりに BigQuery テーブルが作成されます。

Iceberg マネージドテーブルへのバッチ読み込みの、ツール固有の例については、以下をご覧ください。

SQL

LOAD DATA INTO MANAGED_TABLE_NAME
FROM FILES (
uris=['STORAGE_URI'],
format='FILE_FORMAT');

次のように置き換えます。

MANAGED_TABLE_NAME: 既存の Iceberg マネージドテーブルの名前。
STORAGE_URI: 完全修飾された Cloud Storage URI または URI のカンマ区切りのリスト。ワイルドカードもサポートされています。例: gs://mybucket/table
FILE_FORMAT: ソーステーブルの形式。サポートされている形式については、load_option_list の format 行をご覧ください。

bq

bq load \
  --source_format=FILE_FORMAT \
  MANAGED_TABLE \
  STORAGE_URI

次のように置き換えます。

FILE_FORMAT: ソーステーブルの形式。サポートされている形式については、load_option_list の format 行をご覧ください。
MANAGED_TABLE_NAME: 既存の Iceberg マネージドテーブルの名前。
STORAGE_URI: 完全修飾の Cloud Storage URI または URI のカンマ区切りのリスト。ワイルドカードもサポートされています。例: gs://mybucket/table

Apache Hive パーティション分割ファイルからの標準読み込み

BigQuery の標準読み込みジョブを使用して、Hive パーティション分割ファイルを Iceberg マネージドテーブルに読み込むことができます。詳細については、外部パーティション分割データの読み込みをご覧ください。

Pub/Sub からストリーミングデータを読み込む

Pub/Sub BigQuery サブスクリプションを使用して、ストリーミングデータを Iceberg マネージドテーブルに読み込むことができます。

Iceberg マネージドテーブルからデータをエクスポートする

次のセクションでは、Iceberg マネージドテーブルからさまざまなテーブル形式にデータをエクスポートする方法について説明します。

データをフラット形式にエクスポートする

Iceberg マネージドテーブルをフラット形式にエクスポートするには、EXPORT DATA ステートメントを使用してエクスポート先の形式を選択します。詳細については、データのエクスポートをご覧ください。

Iceberg マネージドテーブルのメタデータスナップショットを作成する

Iceberg マネージドテーブルのメタデータスナップショットを作成する手順は次のとおりです。

EXPORT TABLE METADATA SQL ステートメントを使用して、メタデータを Iceberg V2 形式にエクスポートします。
省略可: Iceberg メタデータスナップショットの更新をスケジュールします。設定された時間間隔で Iceberg メタデータスナップショットを更新するには、スケジュールされたクエリを使用します。
省略可: プロジェクトのメタデータの自動更新を有効にして、テーブルミューテーションごとに Iceberg テーブルのメタデータスナップショットを自動的に更新します。メタデータの自動更新を有効にするには、bigquery-tables-for-apache-iceberg-help@google.com にお問い合わせください。更新オペレーションごとに EXPORT METADATA 費用が適用されます。

次の例では、DDL ステートメント EXPORT TABLE METADATA FROM mydataset.test を使用して、My Scheduled Snapshot Refresh Query という名前のスケジュールされたクエリを作成します。DDL ステートメントは 24 時間ごとに実行されます。

bq query \
    --use_legacy_sql=false \
    --display_name='My Scheduled Snapshot Refresh Query' \
    --schedule='every 24 hours' \
    'EXPORT TABLE METADATA FROM mydataset.test'

Iceberg マネージドテーブルのメタデータスナップショットを表示する

Iceberg マネージドテーブルのメタデータスナップショットを更新すると、Iceberg マネージドテーブルが最初に作成された Cloud Storage URI でスナップショットを確認できます。/data フォルダには Parquet ファイルのデータシャードが含まれ、/metadata フォルダには Iceberg マネージドテーブルのメタデータスナップショットが含まれます。

SELECT
  table_name,
  REGEXP_EXTRACT(ddl, r"storage_uri\s*=\s*\"([^\"]+)\"") AS storage_uri
FROM
  `mydataset`.INFORMATION_SCHEMA.TABLES;

mydataset と table_name は、実際のデータセットとテーブルのプレースホルダです。

Spark で Iceberg マネージドテーブルを読み取る

次のサンプルでは、Spark で Spark SQL を使用するように環境を設定し、クエリを実行して指定された Iceberg マネージドテーブルからデータを取得します。

spark-sql \
  --packages org.apache.iceberg:iceberg-spark-runtime-ICEBERG_VERSION_NUMBER \
  --conf spark.sql.catalog.CATALOG_NAME=org.apache.iceberg.spark.SparkCatalog \
  --conf spark.sql.catalog.CATALOG_NAME.type=hadoop \
  --conf spark.sql.catalog.CATALOG_NAME.warehouse='BUCKET_PATH' \

# Query the table
SELECT * FROM CATALOG_NAME.FOLDER_NAME;

次のように置き換えます。

ICEBERG_VERSION_NUMBER: 現在のランタイムバージョン。Iceberg のリリースから最新バージョンをダウンロードします。
CATALOG_NAME: Iceberg マネージドテーブルを参照するカタログ。
BUCKET_PATH: テーブルファイルを含むバケットへのパス。例: gs://mybucket/
FOLDER_NAME: テーブルファイルを含むフォルダ。例: myfolder

Iceberg マネージドテーブルを変更する

Iceberg マネージドテーブルを変更するには、テーブルスキーマの変更の手順に沿って操作します。

マルチステートメントトランザクションを使用する

Iceberg マネージドテーブルのマルチステートメントトランザクションを利用するには、登録フォームに必要事項を記入してお申し込みください。

パーティショニングを使用する

Iceberg マネージドテーブルのパーティショニングを利用するには、登録フォームに必要事項を記入してお申し込みください。

テーブルを分割するには、テーブルの分割に使用するパーティション列を指定します。Iceberg マネージドテーブルでは、次の列型がサポートされています。

DATE
DATETIME
TIMESTAMP

DATE、DATETIME、または TIMESTAMP 列でテーブルをパーティショニングすることを、時間単位列パーティショニングと呼びます。パーティションの粒度を時間単位、日単位、月単位、年単位のいずれにするかを選択します。

Iceberg マネージドテーブルは、クラスタリングとクラスタ化テーブルとパーティション分割テーブルの結合もサポートしています。

パーティショニングの制限事項

BigQuery パーティション分割テーブルの制限事項がすべて適用されます。
DATE、DATETIME、TIMESTAMP 以外のパーティショニング列の型はサポートされていません。
パーティションの有効期限はサポートされていません。
パーティションの進化はサポートされていません。

パーティション分割された Iceberg マネージドテーブルを作成する

パーティション分割された Iceberg マネージドテーブルを作成するには、標準の Iceberg マネージドテーブルを作成するの手順に沿って、環境に応じて次のいずれかを含めます。

パーティション分割された Iceberg マネージドテーブルを変更してクエリを実行する

パーティション分割された Iceberg マネージドテーブルの BigQuery データ操作言語（DML）ステートメントとクエリは、標準の Iceberg マネージドテーブルと同じです。BigQuery は、Iceberg の非表示パーティショニングと同様に、ジョブを適切なパーティションに自動的にスコープします。また、テーブルに追加する新しいデータは自動的にパーティション分割されます。

パーティション分割された Iceberg マネージドテーブルに対して、標準の Iceberg マネージドテーブルと同じように他のエンジンでクエリを実行することもできます。最適なエクスペリエンスを実現するには、メタデータスナップショットを有効にすることをおすすめします。

セキュリティを強化するため、Iceberg マネージドテーブルのパーティショニング情報はデータパスから切り離され、メタデータレイヤによって完全に管理されます。

料金

Iceberg マネージドテーブルの料金は、ストレージ、ストレージ最適化、クエリとジョブで構成されます。

ストレージ

Iceberg マネージドテーブルは、すべてのデータを Cloud Storage に保存します。保存されたすべてのデータ（過去のテーブルデータを含む）に対して課金されます。Cloud Storage のデータ処理と転送料金も適用される場合があります。BigQuery または BigQuery Storage API を介して処理されるオペレーションについては、一部の Cloud Storage オペレーション料金が免除される場合があります。BigQuery 固有のストレージ料金はありません。詳細については、Cloud Storage の料金をご覧ください。

ストレージ最適化

Iceberg マネージドテーブルは、クエリのパフォーマンスを最適化し、ストレージ費用を削減するために、圧縮、クラスタリング、ガベージコレクション、BigQuery メタデータの生成/更新などのテーブルの自動管理を行います。テーブル管理のコンピューティングリソースの使用量は、秒単位で、Data Compute Unit（DCU）で課金されます。詳細については、Iceberg マネージドテーブルの料金をご覧ください。

Storage Write API を介してストリーミング中に実行されるデータエクスポートオペレーションは、Storage Write API の料金に含まれており、バックグラウンドメンテナンスとしては課金されません。詳細については、データの取り込みの料金をご覧ください。

これらのバックグラウンドオペレーションのログとコンピューティング使用状況を表示するには、INFORMATION_SCHEMA.JOBS ビューをクエリします。クエリの例については、以下をご覧ください。

クエリとジョブ

BigQuery テーブルと同様に、BigQuery オンデマンド料金を使用する場合はクエリと読み取りバイト数（TiB 単位）、BigQuery 容量コンピューティングの料金を使用する場合はスロットの使用量（スロット時間単位）に基づいて課金されます。

BigQuery の料金は、BigQuery Storage Read API と Storage Write API にも適用されます。

読み込みオペレーションとエクスポートオペレーション（EXPORT METADATA など）は、Enterprise エディションの従量課金制スロットを使用します。BigQuery テーブルでは異なり、これらのオペレーションに対して料金が発生しません。Enterprise または Enterprise Plus のスロットによる PIPELINE 予約が使用できる場合、読み込みオペレーションとエクスポートオペレーションには、これらの予約スロットが優先的に使用されます。

制限事項

Iceberg マネージドテーブルには次の制限があります。

Iceberg マネージドテーブルは、名前変更オペレーションや ALTER TABLE RENAME TO ステートメントをサポートしていません。
Iceberg マネージドテーブルは、テーブルのコピーや CREATE TABLE COPY ステートメントをサポートしていません。
Iceberg マネージドテーブルは、テーブルクローンや CREATE TABLE CLONE ステートメントをサポートしていません。
Iceberg マネージドテーブルは、テーブルスナップショットや CREATE SNAPSHOT TABLE ステートメントをサポートしていません。
Iceberg マネージドテーブルは、次のテーブルスキーマをサポートしていません。
- 空のスキーマ
- BIGNUMERIC、INTERVAL、JSON、RANGE、GEOGRAPHY のデータ型のスキーマ。
- フィールドの照合順序を含むスキーマ。
- デフォルト値の式を含むスキーマ。
Iceberg マネージドテーブルは、次のスキーマ進化のケースをサポートしていません。
- NUMERIC から FLOAT への型強制変換
- INT から FLOAT への型強制変換
- SQL DDL ステートメントを使用した、新しいネストされたフィールドの既存の RECORD 列への追加
Iceberg マネージドテーブルでは、コンソールまたは API でクエリが実行されると、ストレージサイズが 0 バイトと表示されます。
Iceberg マネージドテーブルはマテリアライズドビューをサポートしていません。
Iceberg マネージドテーブルは承認済みビューをサポートしていませんが、列レベルのアクセス制御はサポートしています。
Iceberg マネージドテーブルは、変更データキャプチャ（CDC）の更新をサポートしていません。
Iceberg マネージドテーブルは、マネージド障害復旧をサポートしていません
Iceberg マネージドテーブルは、行レベルのセキュリティをサポートしていません。
Iceberg マネージドテーブルは、フェイルセーフ期間をサポートしていません。
Iceberg マネージドテーブルは抽出ジョブをサポートしていません。
INFORMATION_SCHEMA.TABLE_STORAGE ビューには、Iceberg マネージドテーブルは含まれません。
Iceberg マネージドテーブルは、クエリ結果の宛先としてサポートされていません。代わりに、CREATE TABLE ステートメントを使用し、AS query_statement 引数を指定して、クエリ結果の宛先としてテーブルを作成できます。
CREATE OR REPLACE は、標準テーブルの Iceberg マネージドテーブルへの置き換え、または Iceberg マネージドテーブルの標準テーブルへの置き換えをサポートしていません。
バッチ読み込みと LOAD DATA ステートメントは、既存の Iceberg マネージドテーブルへのデータの追加のみをサポートします。
バッチ読み込みと LOAD DATA ステートメントは、スキーマの更新をサポートしていません。
TRUNCATE TABLE は Iceberg マネージドテーブルをサポートしていません。これに代わる方法が 2 つあります。
- CREATE OR REPLACE TABLE（同じテーブル作成オプションを使用）。
- WHERE 句 true での DELETE FROM テーブル
APPENDS テーブル値関数（TVF）は、Iceberg マネージドテーブルをサポートしていません。
Iceberg メタデータには、過去 90 分以内に Storage Write API によって BigQuery にストリーミングされたデータは含まれない場合があります。
tabledata.list を使用したレコードベースのページ分割アクセスは、Iceberg マネージドテーブルをサポートしていません。
Iceberg マネージドテーブルごとに 1 つの同時変更 DML ステートメント（UPDATE、DELETE、MERGE）のみが実行されます。追加の変更 DML ステートメントはキューに入ります。

Apache Iceberg マネージド テーブル

アーキテクチャ

ベスト プラクティス

Cloud Storage バケットの構成に関するベスト プラクティス

Iceberg マネージド テーブルのワークフロー

始める前に

必要なロール

必要な権限

Iceberg マネージド テーブルを作成する

SQL

bq

API

Iceberg マネージド テーブルにデータをインポートする

フラット ファイルからのデータの標準読み込み

SQL

bq

Apache Hive パーティション分割ファイルからの標準読み込み

Pub/Sub からストリーミング データを読み込む

Iceberg マネージド テーブルからデータをエクスポートする

データをフラット形式にエクスポートする

Iceberg マネージド テーブルのメタデータ スナップショットを作成する

Iceberg マネージド テーブルのメタデータ スナップショットを表示する

Spark で Iceberg マネージド テーブルを読み取る

Iceberg マネージド テーブルを変更する

マルチステートメント トランザクションを使用する

パーティショニングを使用する

パーティショニングの制限事項

パーティション分割された Iceberg マネージド テーブルを作成する

パーティション分割された Iceberg マネージド テーブルを変更してクエリを実行する

料金

ストレージ

ストレージ最適化

クエリとジョブ

制限事項

Apache Iceberg マネージドテーブル

ベストプラクティス

Cloud Storage バケットの構成に関するベストプラクティス

Iceberg マネージドテーブルのワークフロー

Iceberg マネージドテーブルを作成する

Iceberg マネージドテーブルにデータをインポートする

フラットファイルからのデータの標準読み込み

Pub/Sub からストリーミングデータを読み込む

Iceberg マネージドテーブルからデータをエクスポートする

Iceberg マネージドテーブルのメタデータスナップショットを作成する

Iceberg マネージドテーブルのメタデータスナップショットを表示する

Spark で Iceberg マネージドテーブルを読み取る

Iceberg マネージドテーブルを変更する

マルチステートメントトランザクションを使用する

パーティション分割された Iceberg マネージドテーブルを作成する

パーティション分割された Iceberg マネージドテーブルを変更してクエリを実行する