Menjadwalkan persiapan data

Dokumen ini menjelaskan cara menjadwalkan dan menjalankan tugas persiapan data secara manual di BigQuery untuk mengotomatiskan alur kerja transformasi data. Meskipun penjadwalan memastikan data Anda tetap terbaru dan akurat tanpa memerlukan intervensi manual, Anda juga dapat melakukan persiapan data secara manual untuk menguji dan memvalidasi transformasi sebelum deployment. Persiapan data didukung oleh Dataform.

Anda dapat menjadwalkan persiapan data dengan kredensial pengguna untuk Google Akun atau dengan akun layanan kustom.

Sebelum memulai

Sebelum memulai, buat persiapan data.

Persyaratan Kontrol Layanan VPC

Jika Anda menggunakan Kontrol Layanan VPC untuk melindungi persiapan data, Anda harus mengetahui bahwa proses yang dijadwalkan didukung oleh Dataform. Saat mengonfigurasi Kontrol Layanan VPC untuk proses yang dijadwalkan, pastikan persyaratan berikut terpenuhi:

• Anda harus menetapkan dataform.restrictGitRemotes Layanan Kebijakan Organisasi.
• Dataform dan BigQuery harus dibatasi oleh perimeter layanan Kontrol Layanan VPC yang sama.
• Untuk mengizinkan pengguna melakukan autentikasi dengan kredensial pengguna untuk Akun Google mereka saat menjadwalkan atau memicu proses secara manual, Anda harus menambahkan identitas pengguna mereka ke aturan ingress Anda. Untuk mengetahui informasi selengkapnya, lihat Memperbarui kebijakan ingress dan egress untuk perimeter layanan dan Referensi aturan ingress.

Untuk mengetahui langkah-langkah konfigurasi mendetail dan pertimbangan keamanan, lihat Mengonfigurasi Kontrol Layanan VPC untuk Dataform.

Peran yang diperlukan

Untuk mengotorisasi persiapan data dengan akun layanan saat menjalankan persiapan data secara manual dalam pengembangan atau menjadwalkan persiapan data, Anda harus memberikan peran ke akun layanan yang akan Anda gunakan untuk menjalankan proses persiapan data. Untuk mengetahui informasi selengkapnya, lihat Memberikan akses ke akun layanan Dataform.

Untuk menjadwalkan persiapan data, lakukan hal berikut:

• Minta administrator Anda untuk memberikan peran Pengguna Akun Layanan (roles/iam.serviceAccountUser) kepada Anda di akun layanan kustom.
• Berikan peran Pengguna Akun Layanan (roles/iam.serviceAccountUser) dan peran Pembuat Token Akun Layanan (roles/iam.serviceAccountTokenCreator) kepada agen layanan Dataform default di akun layanan kustom.

Untuk meningkatkan keamanan penjadwalan, lihat Menerapkan izin penjadwalan yang ditingkatkan.

Mengembangkan persiapan data

Saat mengembangkan persiapan data, Anda dapat menjalankan langkah-langkah secara manual dan memeriksa output sebelum men-deploy perubahan ke produksi. Anda dapat menguji versi saat ini yang sedang Anda kembangkan pada data Anda, sementara BigQuery terus menjalankan versi terbaru yang di-deploy, sesuai jadwal. Sebelum dapat menjalankan proses, Anda harus mengonfigurasi tujuan, dan memperbaiki error validasi apa pun.

Menjalankan persiapan data secara manual dalam pengembangan

Untuk menguji langkah-langkah persiapan data dan memvalidasi hasilnya di tabel tujuan, jalankan persiapan data secara manual dari editor persiapan data:

1. Di Cloud de Confiance konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik explore Explorer:

   

   Jika Anda tidak melihat panel kiri, klik last_page Luaskan panel kiri untuk membuka panel.

3. Di panel Explorer, luaskan project Anda dan klik Data preparations.

4. Klik nama persiapan data yang ingin Anda jalankan.

5. Di toolbar editor persiapan data, klik More > Configure run now experience.

6. Di bagian Authentication, otorisasi persiapan data dengan kredensial pengguna Akun Google Anda atau akun layanan.

   • Untuk menggunakan kredensial pengguna Akun Google Anda (Pratinjau), pilih Execute with my user credentials. Setelan ini adalah opsi default.

     Opsional: Di bagian Extended access options, pilih layanan tambahan yang diperlukan persiapan data Anda:

     • Google Drive: Memungkinkan akses hanya baca ke file Google Drive.

   • Untuk menggunakan akun layanan, pilih Execute with selected service account, lalu pilih akun layanan. Jika akun layanan memerlukan izin tambahan, berikan peran yang diperlukan dengan mengklik Grant all.

7. Klik Save.

8. Perbaiki error validasi yang muncul.

9. Dari toolbar editor persiapan data, klik Run.

10. Di dialog Run now, klik Confirm untuk mengonfirmasi bahwa proses manual ini menulis data ke tabel tujuan, yang mungkin juga Anda gunakan untuk proses yang dijadwalkan.

    Jika Anda memilih Execute with my user credentials untuk metode autentikasi, Anda harus mengotorisasi Akun Google Anda (Pratinjau).

    Proses tersebut kemudian akan menjalankan langkah-langkah Anda dan memuat output ke tujuan.

11. Opsional: Setelah proses selesai, Anda dapat melihat detail tentang eksekusi di panel Executions.

Men-deploy persiapan data

Untuk menjadwalkan proses untuk versi persiapan data Anda, Anda harus menyimpan dan men-deploy perubahan terlebih dahulu. Jadwal selalu menjalankan versi terbaru yang di-deploy, dan mengabaikan perubahan yang belum di-deploy.

Untuk men-deploy persiapan data, ikuti langkah-langkah berikut:

1. Di Cloud de Confiance konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik explore Explorer:

   

3. Di panel Explorer, luaskan project Anda dan klik Data preparations.

4. Klik nama persiapan data yang dipilih.

   Editor persiapan data akan terbuka.

5. Di toolbar editor persiapan data, klik Deploy.

Membuat jadwal

Untuk membuat jadwal yang menjalankan langkah-langkah persiapan data yang di-deploy dan memuat data yang disiapkan ke dalam tabel tujuan, Anda harus menjadwalkan proses persiapan data terlebih dahulu. Untuk menjadwalkan proses, Anda harus mengonfigurasi tujuan, dan memperbaiki error validasi apa pun.

Untuk membuat jadwal persiapan data, ikuti langkah-langkah berikut:

Memberi otorisasi pada Akun Google Anda

Untuk mengautentikasi resource dengan Akun Google kredensial pengguna Anda, Anda harus memberikan izin secara manual agar pipeline BigQuery mendapatkan token akses untuk Akun Google Anda dan mengakses data sumber atas nama Anda. Anda dapat memberikan persetujuan manual dengan antarmuka dialog OAuth. Jika Anda memilih Extended access options, Anda harus memberikan akses ke layanan tersebut—misalnya, Google Drive atau Knowledge Catalog.

Anda hanya perlu memberikan izin ke pipeline BigQuery satu kali.

Untuk mencabut izin yang Anda berikan, ikuti langkah-langkah berikut:

1. Buka halaman Akun Google Anda.
2. Klik BigQuery Pipelines.
3. Klik Remove access.

Mengubah pemilik jadwal persiapan data dengan mengupdate kredensial juga memerlukan persetujuan manual jika pemilik Akun Google baru tidak pernah membuat jadwal sebelumnya.

Menjalankan persiapan data terjadwal secara manual

Saat Anda menjalankan persiapan data secara manual dalam jadwal yang dipilih, BigQuery akan menjalankan persiapan data satu kali, secara terpisah dari jadwal.

Untuk menjalankan persiapan data terjadwal secara manual, ikuti langkah-langkah berikut:

1. Di Cloud de Confiance konsol, buka halaman Scheduling.

   Buka Scheduling

2. Klik nama jadwal persiapan data yang dipilih.

3. Di halaman Schedule details, klik Run.

Melihat jadwal

Anda dapat melihat jadwal persiapan data dari editor persiapan data atau halaman Scheduling.

Mengedit jadwal

Anda dapat mengedit jadwal dari editor persiapan data atau halaman Scheduling.

Menghapus jadwal

Untuk menghapus jadwal secara permanen untuk persiapan data yang dipilih, ikuti langkah-langkah berikut:

1. Di Cloud de Confiance konsol, buka halaman Scheduling.

   Buka Scheduling

2. Di baris yang berisi jadwal, klik more_vert Actions > Delete.

Langkah berikutnya

• Pelajari cara membuat persiapan data.
• Pelajari lebih lanjut cara mengelola persiapan data.