Menjadwalkan persiapan data

Dokumen ini menjelaskan cara menjadwalkan pipeline persiapan data dan menjalankan operasi secara manual.

Persiapan data didukung oleh Dataform. Setiap jadwal persiapan data dijalankan menggunakan kredensial pengguna Akun Google Anda atau akun layanan kustom yang Anda pilih saat mengonfigurasi jadwal atau menjalankan uji.

Perubahan yang Anda buat pada langkah-langkah persiapan data tidak akan disimpan secara otomatis. Anda harus menyimpan dan men-deploy perubahan sebelum dapat dijalankan dengan jadwal. Jadwal selalu menjalankan versi persiapan data Anda yang di-deploy terbaru dan mengecualikan perubahan yang belum di-deploy yang mungkin Anda kembangkan.

Sebelum memulai

Sebelum memulai, buat persiapan data.

Peran yang diperlukan

Untuk mengotorisasi persiapan data dengan akun layanan saat menjalankan persiapan data secara manual dalam pengembangan atau menjadwalkan persiapan data, Anda harus memberikan peran ke akun layanan yang Anda rencanakan untuk digunakan dalam menjalankan persiapan data. Untuk mengetahui informasi selengkapnya, lihat Memberikan akses ke akun layanan Dataform.

Untuk menjadwalkan persiapan data, lakukan hal berikut:

• Minta administrator Anda untuk memberikan peran Pengguna Akun Layanan (roles/iam.serviceAccountUser) kepada Anda di akun layanan kustom.
• Berikan peran Pengguna Akun Layanan (roles/iam.serviceAccountUser) dan peran Pembuat Token Akun Layanan (roles/iam.serviceAccountTokenCreator) kepada agen layanan Dataform default di akun layanan kustom.

Untuk meningkatkan keamanan penjadwalan, lihat Menerapkan izin penjadwalan yang ditingkatkan.

Mengembangkan persiapan data

Saat mengembangkan persiapan data, Anda dapat menjalankan langkah-langkah secara manual dan memeriksa output sebelum men-deploy perubahan ke produksi. Anda dapat menguji versi saat ini yang sedang Anda kembangkan pada data Anda, sementara BigQuery terus menjalankan versi yang di-deploy terbaru, sesuai jadwal. Sebelum dapat menjalankan operasi, Anda harus mengonfigurasi tujuan, dan memperbaiki error validasi apa pun.

Menjalankan persiapan data secara manual dalam pengembangan

Untuk menguji langkah-langkah persiapan data dan memvalidasi hasilnya di tabel tujuan, jalankan persiapan data secara manual dari editor persiapan data:

1. Di Cloud de Confiance konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik explore Explorer:

   

   Jika Anda tidak melihat panel kiri, klik last_page Luaskan panel kiri untuk membuka panel.

3. Di panel Explorer, luaskan project Anda dan klik Data preparations.

4. Klik nama persiapan data yang ingin Anda jalankan.

5. Di toolbar editor persiapan data, klik More > Configure run now experience.

6. Di bagian Authentication, berikan otorisasi pada persiapan data dengan kredensial pengguna Akun Google Anda atau akun layanan.

   • Untuk menggunakan kredensial pengguna Akun Google Anda (Pratinjau), pilih Execute with my user credentials. Opsi ini adalah opsi default.
   • Untuk menggunakan akun layanan, pilih Execute with selected service account, lalu pilih akun layanan. Jika akun layanan memerlukan izin tambahan, berikan peran yang diperlukan dengan mengklik Grant all.

7. Klik Save.

8. Perbaiki error validasi yang muncul.

9. Dari toolbar editor persiapan data, klik Run.

10. Di dialog Run now, klik Confirm untuk mengonfirmasi bahwa operasi manual ini menulis data ke tabel tujuan, yang mungkin juga Anda gunakan untuk operasi terjadwal.

    Jika Anda memilih Execute with my user credentials untuk metode autentikasi, Anda harus mengotorisasi Akun Google Anda (Pratinjau).

    Operasi tersebut kemudian akan menjalankan langkah-langkah Anda dan memuat output ke tujuan.

11. Opsional: Setelah operasi selesai, Anda dapat melihat detail tentang eksekusi di panel Executions.

Men-deploy persiapan data

Untuk menjadwalkan operasi untuk versi persiapan data Anda, Anda harus men-deploy-nya terlebih dahulu. Jadwal menjalankan versi yang di-deploy terbaru.

Untuk men-deploy persiapan data, ikuti langkah-langkah berikut:

1. Di Cloud de Confiance konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik explore Explorer:

   

3. Di panel Explorer, luaskan project Anda dan klik Data preparations.

4. Klik nama persiapan data yang dipilih.

   Editor persiapan data akan terbuka.

5. Di toolbar editor persiapan data, klik Deploy.

Membuat jadwal

Untuk membuat jadwal yang menjalankan langkah-langkah persiapan data yang di-deploy dan memuat data yang disiapkan ke dalam tabel tujuan, Anda harus menjadwalkan operasi persiapan data terlebih dahulu. Untuk menjadwalkan operasi, Anda harus mengonfigurasi tujuan, dan memperbaiki error validasi apa pun.

Untuk membuat jadwal persiapan data, ikuti langkah-langkah berikut:

Memberi otorisasi pada Akun Google Anda

Untuk mengautentikasi resource dengan Akun Google kredensial pengguna Anda, Anda harus memberikan izin secara manual agar pipeline BigQuery mendapatkan token akses untuk Akun Google Anda dan mengakses data sumber atas nama Anda. Anda dapat memberikan persetujuan manual dengan antarmuka dialog OAuth.

Anda hanya perlu memberikan izin ke pipeline BigQuery satu kali.

Untuk mencabut izin yang Anda berikan, ikuti langkah-langkah berikut:

1. Buka halaman Akun Google Anda.
2. Klik BigQuery Pipelines.
3. Klik Remove access.

Mengubah pemilik jadwal persiapan data dengan mengupdate kredensial juga memerlukan persetujuan manual jika pemilik Akun Google baru belum pernah membuat jadwal sebelumnya.

Menjalankan persiapan data terjadwal secara manual

Saat Anda menjalankan persiapan data secara manual dalam jadwal yang dipilih, BigQuery akan menjalankan persiapan data satu kali, secara terpisah dari jadwal.

Untuk menjalankan persiapan data terjadwal secara manual, ikuti langkah-langkah berikut:

1. Di Cloud de Confiance konsol, buka halaman Scheduling.

   Buka Penjadwalan

2. Klik nama jadwal persiapan data yang dipilih.

3. Di halaman Schedule details, klik Run.

Melihat jadwal

Anda dapat melihat jadwal persiapan data dari editor persiapan data atau halaman Scheduling.

Mengedit jadwal

Anda dapat mengedit jadwal dari editor persiapan data atau halaman Scheduling.

Menghapus jadwal

Untuk menghapus jadwal secara permanen untuk persiapan data yang dipilih, ikuti langkah-langkah berikut:

1. Di Cloud de Confiance konsol, buka halaman Scheduling.

   Buka Penjadwalan

2. Di baris yang berisi jadwal, klik more_vert Actions > Delete.

Langkah berikutnya

• Pelajari cara membuat persiapan data.
• Pelajari lebih lanjut cara mengelola persiapan data.