Membuat tabel eksternal BigLake untuk Delta Lake
BigLake memungkinkan Anda mengakses tabel Delta Lake dengan kontrol akses yang lebih terperinci. Delta Lake adalah format penyimpanan data tabulasi open source yang dikembangkan oleh Databricks yang mendukung tabel data berskala petabyte.
BigQuery mendukung fitur berikut dengan tabel Delta Lake:
- Delegasi akses: Buat kueri data terstruktur di penyimpanan data eksternal dengan delegasi akses. Delegasi akses memisahkan akses ke tabel Delta Lake dari akses ke penyimpanan data pokok.
- Kontrol akses terperinci: Terapkan keamanan terperinci di tingkat tabel, termasuk keamanan tingkat baris dan tingkat kolom. Untuk tabel Delta Lake berdasarkan Cloud Storage, Anda juga dapat menggunakan penyamaran data dinamis.
- Evolusi skema: Perubahan skema dalam tabel Delta Lake terdeteksi secara otomatis. Perubahan pada skema ditampilkan di tabel BigQuery.
Tabel Delta Lake juga mendukung semua fitur BigLake saat Anda mengonfigurasinya sebagai tabel BigLake.
Sebelum memulai
-
In the Trusted Cloud console, on the project selector page, select or create a Trusted Cloud project.
-
Verify that billing is enabled for your Trusted Cloud project.
-
Enable the BigQuery Connection and BigQuery Reservation APIs.
-
In the Trusted Cloud console, activate Cloud Shell.
Pastikan Anda memiliki set data BigQuery.
Pastikan versi Google Cloud SDK Anda adalah 366.0.0 atau yang lebih baru:
gcloud version
Jika perlu, update Google Cloud SDK.
Buat koneksi resource Cloud berdasarkan sumber data eksternal Anda, dan berikan koneksi tersebut akses ke Cloud Storage. Jika Anda tidak memiliki izin yang sesuai untuk membuat koneksi, minta administrator BigQuery untuk membuat koneksi dan membagikannya kepada Anda.
bigquery.tables.create
bigquery.connections.delegate
- Peran BigQuery Viewer (
roles/bigquery.viewer
) - Peran BigQuery Connection User (
roles/bigquery.connectionUser
) - Akses ke bucket Cloud Storage yang berisi data tersebut
- PROJECT_ID: ID project tempat Anda ingin membuat tabel Delta Lake
- DATASET: set data BigQuery yang akan berisi tabel Delta Lake
- DELTALAKE_TABLE_NAME: nama tabel Delta Lake Anda
- REGION: region yang berisi koneksi untuk membuat tabel Delta Lake—misalnya,
us
CONNECTION_ID: ID koneksi—misalnya,
myconnection
Saat Anda melihat detail koneksi di konsol Trusted Cloud , ID koneksi adalah nilai di bagian terakhir dari ID koneksi yang sepenuhnya memenuhi syarat yang ditampilkan di ID Koneksi—misalnya,
projects/myproject/locations/connection_location/connections/myconnection
.DELTA_TABLE_GCS_BASE_PATH: awalan tabel Delta Lake
- DEFINITION_FILE: jalur ke file definisi tabel
- PROJECT_ID: ID project tempat Anda ingin membuat tabel Delta Lake
- DATASET: set data BigQuery yang akan berisi tabel Delta Lake
- DELTALAKE_TABLE_NAME: nama tabel Delta Lake Anda
- PROJECT_ID: ID project tempat Anda ingin membuat tabel Delta Lake
- REGION: region yang berisi koneksi untuk membuat tabel Delta Lake—misalnya,
us
CONNECTION_ID: ID koneksi—misalnya,
myconnection
Saat Anda melihat detail koneksi di konsol Trusted Cloud , ID koneksi adalah nilai di bagian terakhir dari ID koneksi yang sepenuhnya memenuhi syarat yang ditampilkan di ID Koneksi—misalnya,
projects/myproject/locations/connection_location/connections/myconnection
.DELTA_TABLE_GCS_BASE_PATH: awalan tabel Delta Lake
DELTALAKE_TABLE_NAME: nama tabel Delta Lake Anda
DATASET: set data BigQuery yang akan berisi tabel Delta Lake
- Pengguna mungkin mengalami error
ACCESS_DENIED
saat mencoba mengakses file di Cloud Storage. - Fitur seperti kontrol akses terperinci hanya tersedia di tabel BigLake Delta Lake.
- PROJECT_ID: ID project tempat Anda ingin membuat tabel Delta Lake
- DATASET: set data BigQuery yang akan berisi tabel Delta Lake
- DELTALAKE_TABLE_NAME: nama tabel Delta Lake Anda
- DELTA_TABLE_GCS_BASE_PATH: awalan tabel Delta Lake
- PROJECT_ID: ID project tempat Anda ingin membuat tabel Delta Lake
- REGION: region yang berisi koneksi untuk membuat tabel Delta Lake—misalnya,
us
CONNECTION_ID: ID koneksi—misalnya,
myconnection
Saat Anda melihat detail koneksi di konsol Trusted Cloud , ID koneksi adalah nilai di bagian terakhir dari ID koneksi yang sepenuhnya memenuhi syarat yang ditampilkan di ID Koneksi—misalnya,
projects/myproject/locations/connection_location/connections/myconnection
.DELTALAKE_TABLE_NAME: nama tabel Delta Lake Anda
DATASET: set data BigQuery yang akan berisi tabel Delta Lake
- Mendukung versi pembaca Delta Lake 3 dengan vektor penghapusan jalur relatif dan pemetaan kolom.
- Tidak mendukung titik pemeriksaan Delta Lake V2.
- Anda harus mencantumkan versi pembaca dalam file entri log terakhir. Misalnya,
tabel baru harus menyertakan
00000..0.json
. - Operasi pengambilan data perubahan (CDC) tidak didukung. Semua operasi CDC yang ada akan diabaikan.
- Skema terdeteksi secara otomatis. Memodifikasi skema menggunakan BigQuery tidak didukung.
- Nama kolom tabel harus mematuhi batasan nama kolom BigQuery.
- Tampilan terwujud tidak didukung.
- Read API tidak didukung untuk Delta Lake.
Pastikan Anda menggunakan tabel BigLake Delta Lake (dengan koneksi).
Pengguna memiliki izin yang diperlukan seperti yang dijelaskan.
Gunakan utilitas Delta Lake untuk memadatkan file data pokok dan menghapus file yang berlebihan, seperti data dan metadata.
Pastikan
delta.checkpoint.writeStatsAsStruct
disetel ketrue
.Pastikan variabel yang sering digunakan dalam klausa predikat berada di kolom partisi.
Peran yang diperlukan
Izin berikut diperlukan untuk membuat tabel Delta Lake:
Peran Identity and Access Management bawaan Admin (roles/bigquery.admin
) BigQuery mencakup izin ini.
Jika Anda bukan akun utama dalam peran ini, minta administrator untuk memberi Anda izin ini atau membuatkan tabel Delta Lake.
Selain itu, agar pengguna BigQuery dapat membuat kueri tabel, akun layanan yang terkait dengan koneksi harus memiliki izin dan akses berikut:
Untuk mengetahui informasi selengkapnya tentang peran dan izin Identity and Access Management di BigQuery, lihat Peran dan izin yang telah ditetapkan.
Membuat tabel dengan Delta Lake
Untuk membuat tabel Delta Lake, ikuti langkah-langkah berikut.
SQL
Gunakan
pernyataan CREATE EXTERNAL TABLE
untuk membuat tabel Delta Lake:
CREATE EXTERNAL TABLE `PROJECT_ID.DATASET.DELTALAKE_TABLE_NAME`
WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID`
OPTIONS (
format ="DELTA_LAKE",
uris=['DELTA_TABLE_GCS_BASE_PATH']);
Ganti nilai berikut:
bq
Di lingkungan command line, gunakan perintah
bq mk
untuk membuat tabel Delta Lake:
bq mk --table --external_table_definition=DEFINITION_FILE PROJECT_ID:DATASET.DELTALAKE_TABLE_NAME
Ganti nilai berikut:
REST
Gunakan BigQuery API untuk
membuat tabel Delta Lake dengan memanggil metode API tables.insert
:
REQUEST='{
"autodetect": true,
"externalDataConfiguration": {
"sourceFormat": "DELTA_LAKE",
"connectionId": "PROJECT_ID.REGION.CONNECTION_ID",
"sourceUris": [
"DELTA_TABLE_GCS_BASE_PATH"
],
},
"tableReference": {
"tableId": "DELTALAKE_TABLE_NAME"
}
}'
echo $REQUEST | curl -X POST -d @- -H "Content-Type: application/json" -H "Authorization: Bearer $(gcloud auth print-access-token)" https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET/tables?autodetect_schema=true
Ganti nilai berikut:
Saat Anda membuat tabel Delta Lake, awalan Delta Lake digunakan sebagai URI untuk tabel. Misalnya, untuk tabel yang memiliki log di bucket gs://bucket/warehouse/basictable/_delta_log
, URI tabelnya adalah gs://bucket/warehouse/basictable
. Saat Anda menjalankan kueri pada tabel Delta Lake, BigQuery membaca data di bawah awalan untuk mengidentifikasi versi tabel saat ini, lalu menghitung metadata dan file untuk tabel tersebut.
Meskipun Anda dapat membuat tabel eksternal Delta Lake tanpa koneksi, hal ini tidak direkomendasikan karena alasan berikut:
Memperbarui tabel Delta Lake
Untuk memperbarui (memuat ulang) skema tabel Delta Lake, ikuti langkah-langkah berikut.
bq
Di lingkungan command line, gunakan perintah
bq update
untuk memperbarui (memuat ulang) skema tabel Delta Lake:
bq update --autodetect_schema PROJECT_ID:DATASET.DELTALAKE_TABLE_NAME
Ganti nilai berikut:
REST
Gunakan BigQuery API untuk
memperbarui tabel Delta Lake dengan memanggil metode API tables.patch
:
REQUEST='{
"externalDataConfiguration": {
"sourceFormat": "DELTA_LAKE",
"sourceUris": [
"DELTA_TABLE_GCS_BASE_PATH"
],
"connectionId": "PROJECT_ID.REGION.CONNECTION_ID",
"autodetect": true
}
}'
echo $REQUEST |curl -X PATCH -d @- -H "Content-Type: application/json" -H "Authorization: Bearer $(gcloud auth print-access-token)" https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET/tables/DELTALAKE_TABLE_NAME?autodetect_schema=true
Ganti nilai berikut:
Membuat kueri tabel Delta Lake
Setelah membuat tabel BigLake Delta Lake, Anda dapat membuat kuerinya menggunakan sintaksis GoogleSQL, sama seperti tabel BigQuery standar. Contoh:
SELECT field1, field2 FROM mydataset.my_cloud_storage_table;
Untuk informasi selengkapnya, baca artikel Membuat kueri data Cloud Storage di tabel BigLake.
Koneksi eksternal yang terkait dengan akun layanan digunakan untuk terhubung ke penyimpanan data. Karena akun layanan mengambil data dari penyimpanan data, pengguna hanya memerlukan akses ke tabel Delta Lake.
Pemetaan data
BigQuery mengonversi jenis data Delta Lake menjadi jenis data BigQuery seperti yang ditampilkan dalam tabel berikut:
Delta Lake Type | Jenis BigQuery |
---|---|
boolean |
BOOL |
byte |
INT64 |
int |
INT64 |
long |
INT64 |
float |
FLOAT64 |
double |
FLOAT64 |
Decimal(P/S) |
NUMERIC atau BIG_NUMERIC bergantung pada presisi |
date |
DATE |
time |
TIME |
timestamp (not partition column) |
TIMESTAMP |
timestamp (partition column) |
DATETIME |
string |
STRING |
binary |
BYTES |
array<Type> |
ARRAY<Type> |
struct |
STRUCT |
map<KeyType, ValueType> |
ARRAY<Struct<key KeyType, value ValueType>> |
Batasan
Tabel Delta Lake memiliki batasan tabel BigLake dan juga batasan berikut:
Pemecahan masalah
Bagian ini memberikan bantuan terkait tabel BigLake Delta Lake. Untuk bantuan umum lainnya terkait pemecahan masalah kueri BigQuery, lihat Memecahkan masalah kueri.
Error waktu tunggu kueri dan resource
Periksa direktori log (gs://bucket/warehouse/basictable/_delta_log
) tabel
Delta Lake dan cari file JSON dengan nomor versi yang lebih besar daripada titik pemeriksaan sebelumnya. Anda dapat memperoleh nomor versi dengan mencantumkan direktori atau memeriksa file _delta_log/_last_checkpoint.
File JSON yang lebih besar dari 10 MiB dapat memperlambat perluasan tabel yang dapat menyebabkan masalah waktu tunggu dan resource. Untuk mengatasi masalah ini, gunakan perintah berikut
untuk membuat titik pemeriksaan baru sehingga kueri melewati pembacaan file JSON:
spark.sql("ALTER TABLE delta.`gs://bucket/mydeltatabledir` SET TBLPROPERTIES ('delta.checkpointInterval' = '1')");
Pengguna kemudian dapat menggunakan perintah yang sama untuk mereset interval titik pemeriksaan ke nilai default 10 atau ke nilai yang menghindari penggunaan lebih dari 50 MB file JSON di antara titik pemeriksaan.
Nama kolom tidak valid
Pastikan pemetaan kolom diaktifkan untuk tabel Delta Lake. Pemetaan kolom didukung dengan Reader versi 2 atau yang lebih baru. Untuk Reader versi 1, tetapkan 'delta.columnMapping.mode' ke 'name' menggunakan perintah berikut:
spark.sql("ALTER TABLE delta.`gs://bucket/mydeltatabledir` SET TBLPROPERTIES ('delta.columnMapping.mode' = 'name', 'delta.minReaderVersion' = '3', 'delta.minWriterVersion' = '7')");
Jika nama kolom yang tidak valid mematuhi batasan nama kolom fleksibel, hubungi Layanan Pelanggan Cloud atau biglake-help@google.com.
Error akses ditolak
Untuk mendiagnosis masalah pada tabel BigLake Delta Lake, periksa hal berikut:
Performa
Untuk meningkatkan performa kueri, coba langkah-langkah berikut:
Set data besar (lebih dari 100 TB) mungkin memerlukan konfigurasi dan fitur tambahan. Jika langkah-langkah sebelumnya tidak menyelesaikan masalah Anda, pertimbangkan untuk menghubungi Customer Care atau biglake-help@google.com, terutama untuk set data yang lebih besar dari 100 TB.