Pengantar pipeline BigQuery
Anda dapat menggunakan pipeline BigQuery untuk mengotomatiskan dan menyederhanakan proses data BigQuery. Dengan pipeline, Anda dapat menjadwalkan dan mengeksekusi aset kode secara berurutan untuk meningkatkan efisiensi dan mengurangi upaya manual.
Ringkasan
Pipeline didukung oleh Dataform.
Pipeline terdiri dari satu atau beberapa aset kode berikut:
Anda dapat menggunakan pipeline untuk menjadwalkan eksekusi aset kode. Misalnya, Anda dapat menjadwalkan kueri SQL untuk dijalankan setiap hari dan memperbarui tabel dengan data sumber terbaru, yang kemudian dapat mendukung dasbor.
Dalam pipeline dengan beberapa aset kode, Anda menentukan urutan eksekusi. Misalnya, untuk melatih model machine learning, Anda dapat membuat alur kerja yang kueri SQL-nya menyiapkan data, lalu notebook berikutnya melatih model menggunakan data tersebut.
Kemampuan
Anda dapat melakukan hal berikut dalam pipeline:
- Buat yang baru atau impor yang sudah ada Kueri SQL atau notebook ke dalam pipeline.
- Jadwalkan pipeline agar otomatis berjalan pada waktu dan frekuensi yang ditentukan.
- Bagikan pipeline kepada pengguna atau grup yang Anda tentukan.
- Membagikan link ke pipeline.
Batasan
Pipeline tunduk pada batasan berikut:
- Pipeline hanya tersedia di konsol Cloud de Confiance .
- Anda tidak dapat mengubah region untuk menyimpan pipeline setelah dibuat.
- Anda dapat memberikan akses kepada pengguna atau grup ke pipeline yang dipilih, tetapi Anda tidak dapat memberikan akses ke setiap tugas dalam pipeline.
- Jika proses pipeline terjadwal tidak selesai sebelum dimulainya proses terjadwal berikutnya, proses terjadwal berikutnya akan dilewati dan ditandai dengan error.
Menetapkan region default untuk aset kode
Semua aset kode baru di project Cloud de Confiance Anda menggunakan region default. Setelah aset dibuat, Anda tidak dapat mengubah regionnya.
Untuk menetapkan region default untuk aset kode baru, lakukan hal berikut:
Buka halaman BigQuery.
Di panel kiri, klik File untuk membuka browser file:
Di samping nama project, klik View files panel actions > Switch code region.
Pilih region kode yang ingin Anda gunakan sebagai default.
Klik Simpan.
Untuk mengetahui daftar wilayah yang didukung, lihat Lokasi BigQuery Studio.
Region yang didukung
Semua aset kode disimpan di region default untuk aset kode. Mengupdate region default akan mengubah region untuk semua aset kode yang dibuat setelah waktu tersebut.
Tabel berikut mencantumkan region tempat pipeline tersedia:
| Deskripsi region | Nama region | Detail | |
|---|---|---|---|
| Afrika | |||
| Johannesburg | africa-south1 |
||
| Amerika | |||
| Columbus | us-east5 |
||
| Dallas | us-south1 |
 CO Rendah2
|
|
| Iowa | us-central1 |
CO2 Rendah
|
|
| Las Vegas | us-west4 |
||
| Los Angeles | us-west2 |
||
| Meksiko | northamerica-south1 |
||
| Montréal | northamerica-northeast1 |
CO2 rendah
|
|
| Virginia Utara | us-east4 |
||
| Oklahoma | us-central2 |
CO2 Rendah
|
|
| Oregon | us-west1 |
CO2 Rendah |
|
| Salt Lake City | us-west3 |
||
| Santiago | southamerica-west1 |
CO2 rendah
|
|
| Sao Paulo | southamerica-east1 |
CO2 rendah
|
|
| South Carolina | us-east1 |
||
| Toronto | northamerica-northeast2 |
CO2 Rendah
|
|
| Asia Pasifik | |||
| Bangkok | asia-southeast3 |
||
| Delhi | asia-south2 |
||
| Hong Kong | asia-east2 |
||
| Jakarta | asia-southeast2 |
||
| Melbourne | australia-southeast2 |
||
| Mumbai | asia-south1 |
||
| Osaka | asia-northeast2 |
||
| Seoul | asia-northeast3 |
||
| Singapura | asia-southeast1 |
||
| Sydney | australia-southeast1 |
||
| Taiwan | asia-east1 |
||
| Tokyo | asia-northeast1 |
||
| Eropa | |||
| Belgia | europe-west1 |
CO Rendah2
|
|
| Berlin | europe-west10 |
||
| Finlandia | europe-north1 |
CO Rendah2
|
|
| Frankfurt | europe-west3 |
||
| London | europe-west2 |
CO Rendah2
|
|
| Madrid | europe-southwest1 |
CO Rendah2
|
|
| Milan | europe-west8 |
||
| Belanda | europe-west4 |
CO2 rendah
|
|
| Paris | europe-west9 |
CO2 rendah
|
|
| Stockholm | europe-north2 |
CO2 Rendah
|
|
| Turin | europe-west12 |
||
| Warsawa | europe-central2 |
||
| Zürich | europe-west6 |
CO2 rendah
|
|
| Timur Tengah | |||
| Dammam | me-central2 |
||
| Doha | me-central1 |
||
| Tel Aviv | me-west1 |
||
Kuota dan batas
Pipeline BigQuery tunduk pada kuota dan batas Dataform.
Harga
Eksekusi tugas pipeline BigQuery menimbulkan biaya komputasi dan penyimpanan di BigQuery. Untuk informasi lebih lanjut, lihat Harga BigQuery.
Pipeline yang berisi notebook akan dikenai biaya runtime Colab Enterprise berdasarkan jenis mesin default. Untuk mengetahui detail harga, lihat Harga Colab Enterprise.
Setiap operasi pipeline BigQuery dicatat menggunakan Cloud Logging. Logging otomatis diaktifkan untuk proses pipeline BigQuery, yang dapat menimbulkan biaya penagihan Cloud Logging. Untuk mengetahui informasi selengkapnya, lihat harga Cloud Logging.
Langkah berikutnya
- Pelajari cara membuat pipeline.
- Pelajari cara mengelola pipeline.
- Pelajari cara menjadwalkan pipeline.