Tabel terkelola Apache Iceberg

Tabel terkelola Apache Iceberg (sebelumnya tabel BigLake untuk Apache Iceberg di BigQuery) memberikan fondasi untuk membangun lakehouse berformat terbuka di Cloud de Confiance by S3NS. Tabel terkelola Iceberg menawarkan pengalaman terkelola sepenuhnya yang sama dengan tabel BigQuery standar, tetapi menyimpan data di bucket penyimpanan milik pelanggan. Tabel terkelola Iceberg mendukung format tabel Iceberg terbuka untuk interoperabilitas yang lebih baik dengan mesin komputasi open source dan pihak ketiga pada satu salinan data.

Tabel terkelola Iceberg mendukung fitur berikut:

• Mutasi tabel menggunakan bahasa pengolahan data (DML) GoogleSQL.
• Streaming batch dan throughput tinggi terpadu menggunakan BigQuery Storage Write API melalui konektor seperti Spark, Dataflow, dan mesin lainnya.
• Ekspor snapshot Iceberg V2 dan refresh otomatis pada setiap mutasi tabel untuk akses kueri langsung dengan mesin kueri open source dan pihak ketiga, seperti Spark.
• Evolusi skema, yang memungkinkan Anda menambahkan, menghapus, dan mengganti nama kolom agar sesuai dengan kebutuhan Anda. Fitur ini juga memungkinkan Anda mengubah jenis data dan mode kolom yang ada. Untuk mengetahui informasi selengkapnya, lihat Aturan konversi.
• Pengoptimalan penyimpanan otomatis, termasuk penyesuaian ukuran file adaptif, pengelompokan otomatis, pengumpulan sampah, dan pengoptimalan metadata.
• Perjalanan waktu untuk akses data historis di BigQuery.
• Keamanan tingkat kolom dan penyamaran data.
• Transaksi multi-pernyataan (dalam Pratinjau).
• Partisi tabel (dalam Pratinjau).
• Pembuatan tabel dalam alur kerja Dataform.

Arsitektur

Tabel terkelola Iceberg menghadirkan kemudahan pengelolaan resource BigQuery untuk tabel yang berada di bucket cloud Anda sendiri. Anda dapat menggunakan BigQuery dan mesin komputasi open source di tabel ini tanpa memindahkan data dari bucket yang Anda kontrol. Anda harus mengonfigurasi bucket Cloud Storage sebelum mulai menggunakan tabel terkelola Iceberg.

Penggunaan tabel terkelola Iceberg memiliki implikasi berikut pada bucket Anda:

• BigQuery membuat file data baru di bucket sebagai respons terhadap permintaan penulisan dan pengoptimalan penyimpanan di latar belakang, seperti pernyataan DML dan streaming.
• Pemadatan dan pengelompokan otomatis dilakukan pada file data di bucket. Setelah masa berlaku periode perjalanan waktu berakhir, file data akan dikumpulkan sampah. Namun, jika tabel dihapus, file data terkait tidak akan dikumpulkan sampah. Untuk mengetahui informasi selengkapnya, lihat Pengoptimalan penyimpanan.

Membuat tabel terkelola Iceberg mirip dengan membuat tabel BigQuery. Karena menyimpan data dalam format terbuka di Cloud Storage, Anda harus melakukan hal berikut:

• Tentukan koneksi resource Cloud dengan WITH CONNECTION untuk mengonfigurasi kredensial koneksi agar BigQuery dapat mengakses Cloud Storage.
• Tentukan format file penyimpanan data sebagai PARQUET dengan pernyataan file_format = PARQUET.
• Tentukan format tabel metadata open source sebagai ICEBERG dengan pernyataan table_format = ICEBERG.

Praktik terbaik

Mengubah atau menambahkan file secara langsung ke bucket di luar BigQuery dapat menyebabkan hilangnya data atau error yang tidak dapat dipulihkan. Tabel berikut menjelaskan kemungkinan skenario:

Praktik terbaik konfigurasi bucket Cloud Storage

Konfigurasi bucket Cloud Storage dan koneksinya dengan BigQuery memiliki dampak langsung pada performa, biaya, integritas data, keamanan, dan tata kelola tabel yang dikelola Iceberg. Berikut adalah praktik terbaik untuk membantu konfigurasi ini:

• Pilih nama yang dengan jelas menunjukkan bahwa bucket hanya ditujukan untuk tabel yang dikelola Iceberg.

• Pilih bucket Cloud Storage satu region yang ditempatkan bersama di region yang sama dengan set data BigQuery Anda. Koordinasi ini meningkatkan performa dan menurunkan biaya dengan menghindari biaya transfer data.

• Secara default, Cloud Storage menyimpan data di class penyimpanan Standard, yang memberikan performa yang memadai. Untuk mengoptimalkan biaya penyimpanan data, Anda dapat mengaktifkan Autoclass untuk mengelola transisi kelas penyimpanan secara otomatis. Autoclass dimulai dengan kelas penyimpanan Standard dan memindahkan objek yang tidak diakses ke kelas yang semakin jarang diakses untuk mengurangi biaya penyimpanan. Saat objek dibaca lagi, objek akan dipindahkan kembali ke kelas Standard.

• Aktifkan akses level bucket yang seragam dan pencegahan akses publik.

• Verifikasi bahwa peran yang diperlukan ditetapkan ke pengguna dan akun layanan yang benar.

• Untuk mencegah penghapusan atau kerusakan data yang tidak disengaja di bucket Cloud Storage, batasi izin penulisan dan penghapusan untuk sebagian besar pengguna di organisasi Anda. Anda dapat melakukannya dengan menetapkan kebijakan izin bucket dengan kondisi yang menolak permintaan PUT dan DELETE untuk semua pengguna, kecuali pengguna yang Anda tentukan.

• Terapkan kunci enkripsi yang dikelola Google atau yang dikelola pelanggan untuk perlindungan ekstra data sensitif.

• Aktifkan logging audit untuk transparansi operasional, pemecahan masalah, dan pemantauan akses data.

• Pertahankan kebijakan penghapusan sementara default (retensi 7 hari) untuk melindungi dari penghapusan yang tidak disengaja. Namun, jika Anda menemukan bahwa data telah dihapus, hubungi dukungan, bukan memulihkan objek secara manual, karena objek yang ditambahkan atau diubah di luar BigQuery tidak dilacak oleh metadata BigQuery.

• Penentuan ukuran file adaptif, pengelompokan otomatis, dan pengumpulan sampah diaktifkan secara otomatis dan membantu mengoptimalkan performa dan biaya file.

• Hindari fitur Cloud Storage berikut, karena tidak didukung untuk tabel terkelola Iceberg:

  • Namespace hierarkis
  • Daftar kontrol akses (ACL) objek
  • Kunci enkripsi yang disediakan pelanggan
  • Pembuatan versi objek
  • Kunci objek
  • Kunci bucket
  • Memulihkan objek yang dihapus sementara dengan BigQuery API atau bq CLI

Anda dapat menerapkan praktik terbaik ini dengan membuat bucket menggunakan perintah berikut:

gcloud storage buckets create gs://BUCKET_NAME \
    --project=PROJECT_ID \
    --location=LOCATION \
    --enable-autoclass \
    --public-access-prevention \
    --uniform-bucket-level-access

Ganti kode berikut:

• BUCKET_NAME: nama untuk bucket baru Anda
• PROJECT_ID: ID project Anda
• LOCATION: lokasi untuk bucket baru Anda

Alur kerja tabel terkelola Iceberg

Bagian berikut menjelaskan cara membuat, memuat, mengelola, dan membuat kueri tabel terkelola Iceberg.

Sebelum memulai

Sebelum membuat dan menggunakan tabel terkelola Iceberg, pastikan Anda telah menyiapkan Koneksi resource cloud ke bucket penyimpanan. Koneksi Anda memerlukan izin tulis pada bucket penyimpanan, seperti yang ditentukan di bagian Peran yang diperlukan berikut. Untuk mengetahui informasi selengkapnya tentang peran dan izin yang diperlukan untuk koneksi, lihat Mengelola koneksi.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan agar BigQuery dapat mengelola tabel di project Anda, minta administrator Anda untuk memberi Anda peran IAM berikut:

• Untuk membuat tabel terkelola Iceberg:
  • BigQuery Data Owner (roles/bigquery.dataOwner) di project Anda
  • BigQuery Connection Admin (roles/bigquery.connectionAdmin) di project Anda
• Untuk membuat kueri tabel terkelola Iceberg:
  • BigQuery Data Viewer (roles/bigquery.dataViewer) di project Anda
  • Pengguna BigQuery (roles/bigquery.user) di project Anda
• Beri akun layanan koneksi peran berikut agar dapat membaca dan menulis data di Cloud Storage:
  • Storage Object User (roles/storage.objectUser) di bucket
  • Storage Legacy Bucket Reader (roles/storage.legacyBucketReader) di bucket

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk mengizinkan BigQuery mengelola tabel di project Anda. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Membuat tabel terkelola Iceberg

Untuk membuat tabel terkelola Iceberg, pilih salah satu metode berikut:

CREATE TABLE [PROJECT_ID.]DATASET_ID.TABLE_NAME (
COLUMN DATA_TYPE[, ...]
)
CLUSTER BY CLUSTER_COLUMN_LIST
WITH CONNECTION {CONNECTION_NAME | DEFAULT}
OPTIONS (
file_format = 'PARQUET',
table_format = 'ICEBERG',
storage_uri = 'STORAGE_URI');

bq --project_id=PROJECT_ID mk \
    --table \
    --file_format=PARQUET \
    --table_format=ICEBERG \
    --connection_id=CONNECTION_NAME \
    --storage_uri=STORAGE_URI \
    --schema=COLUMN_NAME:DATA_TYPE[, ...] \
    --clustering_fields=CLUSTER_COLUMN_LIST \
    DATASET_ID.MANAGED_TABLE_NAME

{
"tableReference": {
  "tableId": "TABLE_NAME"
},
"biglakeConfiguration": {
  "connectionId": "CONNECTION_NAME",
  "fileFormat": "PARQUET",
  "tableFormat": "ICEBERG",
  "storageUri": "STORAGE_URI"
},
"schema": {
  "fields": [
    {
      "name": "COLUMN_NAME",
      "type": "DATA_TYPE"
    }
    [, ...]
  ]
}
}

Mengimpor data ke tabel yang dikelola Iceberg

Bagian berikut menjelaskan cara mengimpor data dari berbagai format tabel ke dalam tabel yang dikelola Iceberg.

Memuat data standar dari file datar

Tabel yang dikelola Iceberg menggunakan tugas pemuatan BigQuery untuk memuat file eksternal ke dalam tabel yang dikelola Iceberg. Jika Anda memiliki tabel yang dikelola Iceberg, ikuti panduan CLI bq load atau panduan SQL LOAD untuk memuat data eksternal. Setelah memuat data, file Parquet baru akan ditulis ke folder STORAGE_URI/data.

Jika petunjuk sebelumnya digunakan tanpa tabel terkelola Iceberg yang ada, tabel BigQuery akan dibuat.

Lihat contoh khusus alat berikut untuk batch load ke dalam tabel yang dikelola Iceberg:

LOAD DATA INTO MANAGED_TABLE_NAME
FROM FILES (
uris=['STORAGE_URI'],
format='FILE_FORMAT');

bq load \
  --source_format=FILE_FORMAT \
  MANAGED_TABLE \
  STORAGE_URI

Pemuatan standar dari file yang dipartisi Apache Hive

Anda dapat memuat file berpartisi Hive ke dalam tabel terkelola Iceberg menggunakan tugas pemuatan BigQuery standar. Untuk informasi selengkapnya, lihat Memuat data yang dipartisi secara eksternal.

Memuat data streaming dari Pub/Sub

Anda dapat memuat data streaming ke dalam tabel yang dikelola Iceberg menggunakan langganan Pub/Sub BigQuery.

Mengekspor data dari tabel yang dikelola Iceberg

Bagian berikut menjelaskan cara mengekspor data dari tabel yang dikelola Iceberg ke dalam berbagai format tabel.

Mengekspor data ke dalam format datar

Untuk mengekspor tabel yang dikelola Iceberg ke dalam format datar, gunakan pernyataan EXPORT DATA dan pilih format tujuan. Untuk mengetahui informasi selengkapnya, lihat Mengekspor data.

Membuat snapshot metadata tabel terkelola Iceberg

Untuk membuat snapshot metadata tabel yang dikelola Iceberg, ikuti langkah-langkah berikut:

1. Ekspor metadata ke dalam format Iceberg V2 dengan pernyataan SQL EXPORT TABLE METADATA.

2. Opsional: Jadwalkan refresh snapshot metadata Iceberg. Untuk memuat ulang snapshot metadata Iceberg berdasarkan interval waktu yang ditetapkan, gunakan kueri terjadwal.

3. Opsional: Aktifkan pemuatan ulang otomatis metadata untuk project Anda guna memperbarui snapshot metadata tabel Iceberg secara otomatis pada setiap mutasi tabel. Untuk mengaktifkan pemuatan ulang otomatis metadata, hubungi bigquery-tables-for-apache-iceberg-help@google.com. Biaya EXPORT METADATA diterapkan pada setiap operasi pemuatan ulang.

Contoh berikut membuat kueri terjadwal bernama My Scheduled Snapshot Refresh Query menggunakan pernyataan DDL EXPORT TABLE METADATA FROM mydataset.test. Pernyataan DDL dijalankan setiap 24 jam.

bq query \
    --use_legacy_sql=false \
    --display_name='My Scheduled Snapshot Refresh Query' \
    --schedule='every 24 hours' \
    'EXPORT TABLE METADATA FROM mydataset.test'

Melihat snapshot metadata tabel terkelola Iceberg

Setelah memperbarui snapshot metadata tabel terkelola Iceberg, Anda dapat menemukan snapshot di URI Cloud Storage tempat tabel terkelola Iceberg dibuat pertama kali. Folder /data berisi sharding data file Parquet, dan folder /metadata berisi snapshot metadata tabel yang dikelola Iceberg.

SELECT
  table_name,
  REGEXP_EXTRACT(ddl, r"storage_uri\s*=\s*\"([^\"]+)\"") AS storage_uri
FROM
  `mydataset`.INFORMATION_SCHEMA.TABLES;

Perhatikan bahwa mydataset dan table_name adalah placeholder untuk set data dan tabel Anda yang sebenarnya.

Membaca tabel terkelola Iceberg dengan Spark

Contoh berikut menyiapkan lingkungan Anda untuk menggunakan Spark SQL dengan Spark, lalu menjalankan kueri untuk mengambil data dari tabel terkelola Iceberg yang ditentukan.

spark-sql \
  --packages org.apache.iceberg:iceberg-spark-runtime-ICEBERG_VERSION_NUMBER \
  --conf spark.sql.catalog.CATALOG_NAME=org.apache.iceberg.spark.SparkCatalog \
  --conf spark.sql.catalog.CATALOG_NAME.type=hadoop \
  --conf spark.sql.catalog.CATALOG_NAME.warehouse='BUCKET_PATH' \

# Query the table
SELECT * FROM CATALOG_NAME.FOLDER_NAME;

Ganti kode berikut:

• ICEBERG_VERSION_NUMBER: versi runtime saat ini. Download versi terbaru dari rilisan Iceberg.
• CATALOG_NAME: katalog untuk mereferensikan tabel terkelola Iceberg Anda.
• BUCKET_PATH: jalur ke bucket yang berisi file tabel. Contoh, gs://mybucket/.
• FOLDER_NAME: folder yang berisi file tabel. Contoh, myfolder.

Mengubah tabel terkelola Iceberg

Untuk mengubah tabel yang dikelola Iceberg, ikuti langkah-langkah yang ditunjukkan dalam Mengubah skema tabel.

Menggunakan transaksi multi-pernyataan

Untuk mendapatkan akses ke transaksi multi-pernyataan untuk tabel terkelola Iceberg, isi formulir pendaftaran.

Menggunakan partisi

Untuk mendapatkan akses ke pemartisian untuk tabel terkelola Iceberg, isi formulir pendaftaran.

Anda mempartisi tabel dengan menentukan kolom partisi, yang digunakan untuk menyegmentasi tabel. Jenis kolom berikut didukung untuk tabel yang dikelola Iceberg:

• DATE
• DATETIME
• TIMESTAMP

Mempartisi tabel pada kolom DATE, DATETIME, atau TIMESTAMP dikenal sebagai partisi kolom satuan waktu. Anda dapat memilih apakah partisi memiliki perincian per jam, harian, bulanan, atau tahunan.

Tabel terkelola Iceberg juga mendukung pengelompokan dan penggabungan tabel yang dikelompokkan dan berpartisi.

Batasan partisi

• Semua batasan tabel berpartisi BigQuery berlaku.
• Jenis kolom partisi selain DATE, DATETIME, atau TIMESTAMP tidak didukung.
• Masa berlaku partisi tidak didukung.
• Evolusi partisi tidak didukung.

Membuat tabel terkelola Iceberg berpartisi

Untuk membuat tabel terkelola Iceberg berpartisi, ikuti petunjuk untuk membuat tabel terkelola Iceberg standar, dan sertakan salah satu hal berikut, bergantung pada lingkungan Anda:

• Klausul PARTITION BY
• Tanda --time_partitioning_field dan --time_partitioning_type
• Properti timePartitioning

Mengubah dan membuat kueri tabel Iceberg terkelola berpartisi

Pernyataan dan kueri bahasa pengolahan data (DML) BigQuery untuk tabel Iceberg terkelola berpartisi sama dengan pernyataan dan kueri untuk tabel Iceberg terkelola standar. BigQuery secara otomatis mencakup tugas ke partisi yang tepat, mirip dengan partisi tersembunyi Iceberg. Selain itu, semua data baru yang Anda tambahkan ke tabel akan otomatis dipartisi.

Anda juga dapat membuat kueri tabel terkelola Iceberg berpartisi dengan mesin lain dengan cara yang sama seperti tabel terkelola Iceberg standar. Sebaiknya aktifkan snapshot metadata untuk mendapatkan pengalaman terbaik.

Untuk keamanan yang ditingkatkan, informasi partisi untuk tabel yang dikelola Iceberg dipisahkan dari jalur data dan dikelola sepenuhnya oleh lapisan metadata.

Harga

Harga tabel terkelola Iceberg terdiri dari penyimpanan, pengoptimalan penyimpanan, serta kueri dan tugas.

Penyimpanan

Tabel terkelola Iceberg menyimpan semua data di Cloud Storage. Anda akan ditagih untuk semua data yang disimpan, termasuk data tabel historis. Biaya pemrosesan data dan transfer data Cloud Storage juga mungkin berlaku. Beberapa biaya operasi Cloud Storage mungkin dibebaskan untuk operasi yang diproses melalui BigQuery atau BigQuery Storage API. Tidak ada biaya penyimpanan khusus BigQuery. Untuk mengetahui informasi selengkapnya, lihat Harga Cloud Storage.

Pengoptimalan penyimpanan

Tabel yang dikelola Iceberg melakukan pengelolaan tabel otomatis, termasuk pemadatan, pengelompokan, pengumpulan sampah, dan pembuatan/pembaruan metadata BigQuery untuk mengoptimalkan performa kueri dan mengurangi biaya penyimpanan. Penggunaan resource komputasi untuk pengelolaan tabel ditagih dalam Unit Komputasi Data (DCU) dari waktu ke waktu, dengan peningkatan per detik. Untuk mengetahui detail selengkapnya, lihat Harga tabel terkelola Iceberg.

Operasi ekspor data yang berlangsung saat streaming melalui Storage Write API disertakan dalam harga Storage Write API dan tidak ditagih sebagai pemeliharaan latar belakang. Untuk mengetahui informasi selengkapnya, lihat Harga penyerapan data.

Untuk melihat log dan penggunaan komputasi untuk operasi latar belakang ini, kueri tampilan INFORMATION_SCHEMA.JOBS. Untuk contoh kueri, lihat berikut ini:

• Tugas pengoptimalan penyimpanan
• EXPORT TABLE METADATA lowongan

Kueri dan tugas

Mirip dengan tabel BigQuery, Anda akan ditagih untuk kueri dan byte yang dibaca (per TiB) jika Anda menggunakan harga BigQuery on-demand, atau konsumsi slot (per jam slot) jika Anda menggunakan harga komputasi kapasitas BigQuery.

Harga BigQuery juga berlaku untuk BigQuery Storage Read API dan Storage Write API.

Operasi pemuatan dan ekspor (seperti EXPORT METADATA) menggunakan slot edisi Enterprise dengan model bayar sesuai penggunaan. Hal ini berbeda dengan tabel BigQuery, yang tidak dikenai biaya untuk operasi ini. Jika pemesanan PIPELINE dengan slot Enterprise atau Enterprise Plus tersedia, operasi pemuatan dan ekspor akan lebih memilih menggunakan slot pemesanan ini.

Batasan

Tabel terkelola Iceberg memiliki batasan berikut:

• Tabel yang dikelola Iceberg tidak mendukung operasi penggantian nama atau pernyataan ALTER TABLE RENAME TO.
• Tabel yang dikelola Iceberg tidak mendukung salinan tabel atau pernyataan CREATE TABLE COPY.
• Tabel yang dikelola Iceberg tidak mendukung clone tabel atau pernyataan CREATE TABLE CLONE.
• Tabel terkelola Iceberg tidak mendukung snapshot tabel atau pernyataan CREATE SNAPSHOT TABLE.
• Tabel terkelola Iceberg tidak mendukung skema tabel berikut:
  • Skema kosong
  • Skema dengan jenis data BIGNUMERIC, INTERVAL, JSON, RANGE, atau GEOGRAPHY.
  • Skema dengan kolasi kolom.
  • Skema dengan ekspresi nilai default.
• Tabel terkelola Iceberg tidak mendukung kasus evolusi skema berikut:
  • Pemaksaan jenis NUMERIC ke FLOAT
  • Pemaksaan jenis INT ke FLOAT
  • Menambahkan kolom bertingkat baru ke kolom RECORD yang sudah ada menggunakan pernyataan DDL SQL
• Tabel yang dikelola Iceberg menampilkan ukuran penyimpanan 0 byte saat dikueri oleh konsol atau API.
• Tabel terkelola Iceberg tidak mendukung tampilan terwujud.
• Tabel terkelola Iceberg tidak mendukung tabel virtual yang diizinkan, tetapi kontrol akses tingkat kolom didukung.
• Tabel terkelola Iceberg tidak mendukung update pengambilan data perubahan (CDC).
• Tabel terkelola Iceberg tidak mendukung disaster recovery terkelola
• Tabel terkelola Iceberg tidak mendukung keamanan tingkat baris.
• Tabel terkelola Iceberg tidak mendukung periode pemulihan dari kegagalan.
• Tabel terkelola Iceberg tidak mendukung tugas ekstraksi.
• Tampilan INFORMATION_SCHEMA.TABLE_STORAGE tidak menyertakan tabel terkelola Iceberg.
• Tabel terkelola Iceberg tidak didukung sebagai tujuan hasil kueri. Sebagai gantinya, Anda dapat menggunakan pernyataan CREATE TABLE dengan argumen AS query_statement untuk membuat tabel sebagai tujuan hasil kueri.
• CREATE OR REPLACE tidak mendukung penggantian tabel standar dengan tabel yang dikelola Iceberg, atau tabel yang dikelola Iceberg dengan tabel standar.
• Pemuatan batch dan pernyataan LOAD DATA hanya mendukung penambahan data ke tabel terkelola Iceberg yang ada.
• Pemuatan batch dan pernyataan LOAD DATA tidak mendukung pembaruan skema.
• TRUNCATE TABLE tidak mendukung tabel terkelola Iceberg. Ada dua alternatif:
  • CREATE OR REPLACE TABLE, menggunakan opsi pembuatan tabel yang sama.
  • DELETE FROM table WHERE benar (true)
• Fungsi bernilai tabel (TVF) APPENDS tidak mendukung tabel yang dikelola Iceberg.
• Metadata Iceberg mungkin tidak berisi data yang di-streaming ke BigQuery oleh Storage Write API dalam 90 menit terakhir.
• Akses yang dipaginasi berbasis rekaman menggunakan tabledata.list tidak mendukung tabel terkelola Iceberg.
• Hanya satu pernyataan DML bermutasi serentak (UPDATE, DELETE, dan MERGE) yang berjalan untuk setiap tabel yang dikelola Iceberg. Pernyataan DML bermutasi tambahan dimasukkan ke dalam antrean.