Membuat pipeline

Dokumen ini menjelaskan cara membuat pipeline di BigQuery. Pipeline didukung oleh Dataform.

Sebelum memulai

1. In the Trusted Cloud console, on the project selector page, select or create a Trusted Cloud project.

   Go to project selector

2. Verify that billing is enabled for your Trusted Cloud project.

3. Enable the BigQuery, Dataform, and Vertex AI APIs.

   Enable the APIs

Peran yang diperlukan untuk pipeline

Untuk mendapatkan izin yang Anda perlukan untuk membuat pipeline, minta administrator Anda untuk memberi Anda peran IAM berikut di project:

• Untuk membuat pipeline: Pembuat Kode (roles/dataform.codeCreator)
• Untuk mengedit dan menjalankan pipeline: Editor Dataform (roles/dataform.editor)

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya tentang IAM Dataform, lihat Mengontrol akses dengan IAM.

Peran yang diperlukan untuk opsi notebook

Untuk mendapatkan izin yang diperlukan guna memilih template runtime di opsi notebook, minta administrator untuk memberi Anda peran IAM Notebook Runtime User (roles/aiplatform.notebookRuntimeUser) di project. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Jika tidak memiliki peran ini, Anda dapat memilih spesifikasi runtime notebook default.

Menetapkan region default untuk aset kode

Jika ini adalah pertama kalinya Anda membuat aset kode, Anda harus menetapkan region default untuk aset kode. Anda tidak dapat mengubah region untuk aset kode setelah dibuat.

Semua aset kode di BigQuery Studio menggunakan region default yang sama. Untuk menetapkan region default untuk aset kode, ikuti langkah-langkah berikut:

1. Buka halaman BigQuery.

   Buka BigQuery

2. Di panel Explorer, temukan project yang aset kodenya telah Anda aktifkan.

3. Klik more_vert View actions di samping project, lalu klik Change my default code region.

4. Untuk Region, pilih region yang ingin Anda gunakan untuk aset kode.

5. Klik Pilih.

Untuk mengetahui daftar region tempat BigQuery Studio tersedia, lihat Lokasi BigQuery Studio.

Membuat pipeline

Untuk membuat pipeline, ikuti langkah-langkah berikut:

1. Buka halaman BigQuery.

   Buka BigQuery

2. Di panel tab panel editor, klik arrow_drop_down panah di samping tanda +, lalu klik Pipeline.

3. Opsional: Untuk mengganti nama pipeline, klik nama pipeline, lalu ketik nama baru.

4. Klik Mulai, lalu buka tab Setelan.

5. Di bagian Authentication, pilih untuk mengizinkan pipeline dengan kredensial pengguna Akun Google Anda atau akun layanan.

   • Untuk menggunakan kredensial pengguna Akun Google Anda (Pratinjau), pilih Jalankan dengan kredensial pengguna saya.
   • Untuk menggunakan akun layanan, pilih Jalankan dengan akun layanan yang dipilih, lalu pilih akun layanan.

6. Di bagian Location, pilih region pemrosesan untuk pipeline.

   1. Untuk memilih region tertentu, pilih Region, lalu pilih region di menu Region.
   2. Untuk memilih multi-region, pilih Multi-region, lalu pilih multi-region di menu Multi-region.

   Wilayah pemrosesan pipeline tidak harus cocok dengan wilayah penyimpanan default Anda untuk aset kode.

Opsi notebook

1. Jika Anda berencana menambahkan notebook ke pipeline, lakukan hal berikut di bagian Opsi notebook:

   1. Di kolom template runtime, terima runtime notebook default, atau telusuri dan pilih runtime yang ada.

      • Untuk melihat spesifikasi runtime default, klik panah di sampingnya.
      • Untuk membuat runtime baru, lihat Membuat template runtime.

   2. Di kolom Cloud Storage bucket, klik Browse lalu pilih atau buat bucket Cloud Storage untuk menyimpan output notebook di pipeline Anda.

   3. Ikuti Menambahkan akun utama ke kebijakan tingkat bucket untuk menambahkan akun layanan Dataform kustom Anda sebagai akun utama ke bucket Cloud Storage yang akan Anda gunakan untuk menyimpan output dari jalur pipeline terjadwal, dan berikan peran Storage Admin (roles/storage.admin) ke akun utama ini.

      Akun layanan Dataform kustom yang dipilih harus diberi peran IAM Storage Admin di bucket yang dipilih.

Menambahkan tugas pipeline

Untuk menambahkan tugas ke pipeline, ikuti langkah-langkah berikut:

1. Di konsol Trusted Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel Explorer, luaskan project Anda dan folder Pipelines, lalu pilih pipeline.

3. Untuk menambahkan aset kode, seperti kueri SQL, notebook, atau penyiapan data, lakukan hal berikut:

   Kueri SQL

   1. Klik Add task, lalu pilih Query. Anda dapat membuat kueri baru atau mengimpor kueri yang sudah ada.

   2. Opsional: Di panel Query task details, di menu Run after, pilih tugas yang akan mendahului kueri Anda.

      Kueri Anda akan bergantung pada tugas sebelumnya.

   Membuat kueri baru

   1. Klik menu panah arrow_drop_down di samping Edit Query, lalu pilih In context atau In new tab.

   2. Telusuri kueri yang ada.

   3. Pilih nama kueri, lalu tekan Enter.

   4. Klik Simpan.

   5. Opsional: Untuk mengganti nama kueri, klik nama kueri di panel pipeline, klik Edit Kueri, klik nama kueri yang ada di bagian atas layar, lalu ketik nama baru.

   Mengimpor kueri yang ada

   1. Klik menu panah arrow_drop_down di samping Edit Kueri, lalu klik Impor salinan.

   2. Telusuri kueri yang ada untuk diimpor atau pilih kueri yang ada dari panel penelusuran. Saat Anda mengimpor kueri, kueri asli tidak berubah karena file sumber kueri disalin ke dalam pipeline.

   3. Klik Edit untuk membuka kueri yang diimpor.

   4. Klik Simpan.

   Notebook

   1. Klik Tambahkan tugas, lalu pilih Notebook. Anda dapat membuat notebook baru atau mengimpor notebook yang sudah ada. Untuk mengubah setelan template runtime notebook, lihat Opsi notebook.

   2. Opsional: Di panel Detail tugas notebook, di menu Jalankan setelah, pilih tugas yang akan mendahului notebook Anda.

      Notebook Anda akan bergantung pada tugas sebelumnya.

   Membuat notebook baru

   1. Klik menu panah arrow_drop_down di samping Edit Notebook, lalu pilih Dalam konteks atau Di tab baru.

   2. Telusuri notebook yang ada.

   3. Pilih nama notebook, lalu tekan Enter.

   4. Klik Simpan.

   5. Opsional: Untuk mengganti nama notebook, klik nama notebook di panel pipeline, klik Edit Notebook, klik nama notebook yang ada di bagian atas layar, lalu ketik nama baru.

   Mengimpor notebook yang ada

   1. Klik menu panah arrow_drop_down di samping Edit Notebook, lalu klik Impor salinan.

   2. Telusuri notebook yang ada untuk diimpor atau pilih notebook yang ada dari panel penelusuran. Saat Anda mengimpor notebook, notebook asli tidak berubah karena file sumber notebook disalin ke dalam pipeline.

   3. Untuk membuka notebook yang diimpor, klik Edit.

   4. Klik Simpan.

   Persiapan data

   1. Klik Tambahkan tugas, lalu pilih Penyiapan data. Anda dapat membuat penyiapan data baru atau mengimpor penyiapan data yang sudah ada.

   2. Opsional: Di panel Detail tugas penyiapan data, di menu Jalankan setelah, pilih tugas yang akan mendahului penyiapan data Anda.

      Persiapan data Anda akan bergantung pada tugas sebelumnya.

   Membuat persiapan data baru

   1. Klik menu panah arrow_drop_down di samping Edit Penyiapan data, lalu pilih Dalam konteks atau Di tab baru.

   2. Telusuri persiapan data yang ada.

   3. Pilih nama penyiapan data, lalu tekan enter.

   4. Klik Simpan.

   5. Opsional: Untuk mengganti nama penyiapan data, klik nama penyiapan data di panel pipeline, klik Edit Penyiapan data, klik nama di bagian atas layar, lalu masukkan nama baru.

   Mengimpor persiapan data yang ada

   1. Klik menu drop-down panah arrow_drop_down di samping Edit Penyiapan data, lalu klik Impor salinan.

   2. Telusuri persiapan data yang ada untuk diimpor atau pilih persiapan data yang ada dari panel penelusuran. Saat Anda mengimpor penyiapan data, penyiapan data asli tidak akan berubah karena file sumber penyiapan data disalin ke dalam pipeline.

   3. Untuk membuka penyiapan data yang diimpor, klik Edit.

   4. Klik Simpan.

Mengedit tugas pipeline

Untuk mengedit tugas pipeline, ikuti langkah-langkah berikut:

1. Di konsol Trusted Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel Explorer, luaskan project Anda dan folder Pipelines, lalu pilih pipeline.

3. Klik tugas yang dipilih.

4. Untuk mengubah tugas sebelumnya, di menu Run after, pilih tugas yang akan mendahului kueri atau notebook Anda.

5. Untuk mengedit konten tugas yang dipilih, klik Edit.

6. Di tab baru yang terbuka, edit konten tugas, lalu simpan perubahan pada tugas.

Menghapus tugas pipeline

Untuk menghapus tugas dari pipeline, ikuti langkah-langkah berikut:

1. Di konsol Trusted Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel Explorer, luaskan project Anda dan folder Pipelines, lalu pilih pipeline.

3. Klik tugas yang dipilih.

4. Di panel Detail tugas, klik ikon HapusHapus.

Membagikan pipeline

Untuk membagikan pipeline, ikuti langkah-langkah berikut:

1. Di konsol Trusted Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel Explorer, luaskan project Anda dan folder Pipelines, lalu pilih pipeline.

3. Klik Bagikan, lalu pilih Kelola izin.

4. Klik Tambahkan pengguna/grup.

5. Di kolom Akun utama baru, masukkan nama setidaknya satu pengguna atau grup.

6. Untuk Tetapkan Peran, pilih peran.

7. Klik Simpan.

Membagikan link ke pipeline

1. Di konsol Trusted Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel Explorer, luaskan project Anda dan folder Pipelines, lalu pilih pipeline.

3. Klik Bagikan, lalu pilih Bagikan link. URL untuk pipeline disalin ke papan klip komputer Anda.

Menjalankan pipeline

Untuk menjalankan versi pipeline saat ini secara manual, ikuti langkah-langkah berikut:

1. Di konsol Trusted Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel Explorer, luaskan project Anda dan folder Pipelines, lalu pilih pipeline.

3. Klik Run. Jika Anda memilih Jalankan dengan kredensial pengguna saya untuk autentikasi, Anda harus memberi otorisasi ke Akun Google Anda (Pratinjau).

4. Opsional: Untuk memeriksa proses, lihat proses manual sebelumnya.

Memberi otorisasi pada Akun Google Anda

Untuk mengautentikasi resource dengan kredensial pengguna Akun Google Anda, Anda harus memberikan izin secara manual agar pipeline BigQuery mendapatkan token akses untuk Akun Google Anda dan mengakses data sumber atas nama Anda. Anda dapat memberikan persetujuan manual dengan antarmuka dialog OAuth.

Anda hanya perlu memberikan izin ke pipeline BigQuery satu kali.

Untuk mencabut izin yang Anda berikan, ikuti langkah-langkah berikut:

1. Buka halaman Akun Google Anda.
2. Klik BigQuery Pipelines.
3. Klik Hapus akses.

Jika pipeline Anda berisi notebook, Anda juga harus memberikan izin secara manual agar Colab Enterprise mendapatkan token akses untuk Akun Google Anda dan mengakses data sumber atas nama Anda. Anda hanya perlu memberikan izin satu kali. Anda dapat mencabut izin ini di halaman Akun Google.

Langkah berikutnya

• Pelajari lebih lanjut pipeline BigQuery.
• Pelajari cara mengelola pipeline.
• Pelajari cara menjadwalkan pipeline.