Membuat pipeline

Dokumen ini menjelaskan cara membuat pipeline di BigQuery. Pipeline didukung oleh Dataform.

Sebelum memulai

1. In the Trusted Cloud console, on the project selector page, select or create a Trusted Cloud project.

   Go to project selector

2. Make sure that billing is enabled for your Trusted Cloud project.

3. Enable the BigQuery, Dataform, and Vertex AI APIs.

   Enable the APIs

Peran yang diperlukan untuk pipeline

Untuk mendapatkan izin yang Anda perlukan untuk membuat pipeline, minta administrator untuk memberi Anda peran IAM berikut pada project:

• Untuk membuat pipeline: Code Creator (roles/dataform.codeCreator)
• Untuk mengedit dan menjalankan pipeline: Dataform Editor (roles/dataform.editor)

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Untuk informasi selengkapnya tentang IAM Dataform, lihat Mengontrol akses dengan IAM.

Peran yang diperlukan untuk opsi notebook

Untuk mendapatkan izin yang diperlukan guna memilih template runtime di opsi notebook, minta administrator untuk memberi Anda peran IAM Notebook Runtime User (roles/aiplatform.notebookRuntimeUser) di project. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Jika tidak memiliki peran ini, Anda dapat memilih spesifikasi runtime notebook default.

Menetapkan region default untuk aset kode

Jika ini adalah pertama kalinya Anda membuat aset kode, Anda harus menetapkan region default untuk aset kode. Anda tidak dapat mengubah region untuk aset kode setelah dibuat.

Semua aset kode di BigQuery Studio menggunakan region default yang sama. Untuk menetapkan region default untuk aset kode, ikuti langkah-langkah berikut:

1. Buka halaman BigQuery.

   Buka BigQuery

2. Di panel Explorer, temukan project yang aset kodenya telah Anda aktifkan.

3. Klik more_vert View actions di samping project, lalu klik Change my default code region.

4. Untuk Region, pilih region yang ingin Anda gunakan untuk aset kode.

5. Klik Pilih.

Untuk mengetahui daftar region tempat BigQuery Studio tersedia, lihat Lokasi BigQuery Studio.

Membuat pipeline

Untuk membuat pipeline, ikuti langkah-langkah berikut:

1. Buka halaman BigQuery.

   Buka BigQuery

2. Di panel tab panel editor, klik panah arrow_drop_down di samping tanda +, lalu klik Pipeline.

3. Opsional: Untuk mengganti nama pipeline, klik nama pipeline, lalu ketik nama baru.

4. Klik Mulai, lalu buka tab Setelan.

5. Di bagian Autentikasi, pilih untuk memberikan otorisasi ke pipeline dengan kredensial pengguna Akun Google atau akun layanan Anda.

   • Untuk menggunakan kredensial pengguna Akun Google Anda (Pratinjau), pilih Jalankan dengan kredensial pengguna saya.
   • Untuk menggunakan akun layanan, pilih Jalankan dengan akun layanan yang dipilih, lalu pilih akun layanan.

6. Di bagian Location, pilih region pemrosesan untuk pipeline.

   1. Untuk memilih region tertentu, pilih Region, lalu pilih region di menu Region.
   2. Untuk memilih multi-region, pilih Multi-region, lalu pilih multi-region di menu Multi-region.

   Wilayah pemrosesan pipeline tidak perlu cocok dengan wilayah penyimpanan default untuk aset kode.

Opsi notebook

1. Jika Anda berencana menambahkan notebook ke pipeline, lakukan hal berikut di bagian Opsi notebook:

   1. Di kolom Runtime template, terima runtime notebook default, atau telusuri dan pilih runtime yang ada.

      • Untuk melihat spesifikasi runtime default, klik panah di samping.
      • Untuk membuat runtime baru, lihat Membuat template runtime.

   2. Di kolom Cloud Storage bucket, klik Browse, lalu pilih atau buat bucket Cloud Storage untuk menyimpan output notebook di pipeline Anda.

   3. Ikuti Menambahkan akun utama ke kebijakan tingkat bucket untuk menambahkan akun layanan Dataform kustom sebagai akun utama ke bucket Cloud Storage yang ingin Anda gunakan untuk menyimpan output operasi pipeline terjadwal, dan berikan peran Storage Admin (roles/storage.admin) ke akun utama ini.

      Akun layanan Dataform kustom yang dipilih harus diberi peran IAM Storage Admin di bucket yang dipilih.

Menambahkan tugas pipeline

Untuk menambahkan tugas ke pipeline, ikuti langkah-langkah berikut:

1. Di Trusted Cloud konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di panel Explorer, luaskan project dan folder Pipelines, lalu pilih pipeline.

3. Untuk menambahkan aset kode, seperti kueri SQL, notebook, atau persiapan data, lakukan hal berikut:

   Kueri SQL

   1. Klik Tambahkan tugas, lalu pilih Kueri. Anda dapat membuat kueri baru atau mengimpor kueri yang sudah ada.

   2. Opsional: Di panel Query task details, di menu Run after, pilih tugas yang akan mendahului kueri Anda.

      Kueri Anda akan bergantung pada tugas sebelumnya.

   Membuat kueri baru

   1. Klik menu panah arrow_drop_down di samping Edit Kueri, lalu pilih Dalam konteks atau Di tab baru.

   2. Menelusuri kueri yang ada.

   3. Pilih nama kueri, lalu tekan Enter.

   4. Klik Simpan.

   5. Opsional: Untuk mengganti nama kueri, klik nama kueri di panel pipeline, klik Edit Kueri, klik nama kueri yang ada di bagian atas layar, lalu ketik nama baru.

   Mengimpor kueri yang ada

   1. Klik menu panah arrow_drop_down di samping Edit Kueri, lalu klik Impor salinan.

   2. Telusuri kueri yang ada untuk diimpor atau pilih kueri yang ada dari panel penelusuran. Saat Anda mengimpor kueri, kueri asli tidak akan berubah karena file sumber kueri disalin ke pipeline.

   3. Klik Edit untuk membuka kueri yang diimpor.

   4. Klik Simpan.

   Notebook

   1. Klik Tambahkan tugas, lalu pilih Notebook. Anda dapat membuat notebook baru atau mengimpor notebook yang sudah ada. Untuk mengubah setelan template runtime notebook, lihat Opsi notebook.

   2. Opsional: Di panel Notebook task details, di menu Run after, pilih tugas yang akan mendahului notebook Anda.

      Notebook Anda akan bergantung pada tugas sebelumnya.

   Membuat notebook baru

   1. Klik menu panah arrow_drop_down di samping Edit Notebook dan pilih Dalam konteks atau Dalam tab baru.

   2. Telusuri notebook yang ada.

   3. Pilih nama notebook, lalu tekan Enter.

   4. Klik Simpan.

   5. Opsional: Untuk mengganti nama notebook, klik nama notebook di panel pipeline, klik Edit Notebook, klik nama notebook yang ada di bagian atas layar, lalu ketik nama baru.

   Mengimpor notebook yang ada

   1. Klik menu panah arrow_drop_down di samping Edit Notebook, lalu klik Import a copy.

   2. Telusuri notebook yang ada untuk diimpor atau pilih notebook yang ada dari panel penelusuran. Saat Anda mengimpor notebook, notebook asli tidak akan berubah karena file sumber notebook disalin ke pipeline.

   3. Untuk membuka notebook yang diimpor, klik Edit.

   4. Klik Simpan.

   Persiapan data

   1. Klik Tambahkan tugas, lalu pilih Persiapan data. Anda dapat membuat persiapan data baru atau mengimpor persiapan data yang sudah ada.

   2. Opsional: Di panel Data preparation task details, di menu Run after, pilih tugas yang akan mendahului persiapan data Anda.

      Persiapan data Anda akan bergantung pada tugas sebelumnya.

   Membuat persiapan data baru

   1. Klik menu panah arrow_drop_down di samping Edit Persiapan data, lalu pilih Dalam konteks atau Dalam tab baru.

   2. Telusuri persiapan data yang ada.

   3. Pilih nama persiapan data, lalu tekan enter.

   4. Klik Simpan.

   5. Opsional: Untuk mengganti nama persiapan data, klik nama persiapan data di panel pipeline, klik Edit Persiapan data, klik nama di bagian atas layar, lalu masukkan nama baru.

   Mengimpor persiapan data yang ada

   1. Klik menu drop-down panah arrow_drop_down di samping Edit Persiapan data, lalu klik Impor salinan.

   2. Telusuri persiapan data yang ada untuk diimpor atau pilih persiapan data yang ada dari panel penelusuran. Saat Anda mengimpor persiapan data, file asli tidak akan berubah karena file sumber persiapan data disalin ke pipeline.

   3. Untuk membuka persiapan data yang diimpor, klik Edit.

   4. Klik Simpan.

Mengedit tugas pipeline

Untuk mengedit tugas pipeline, ikuti langkah-langkah berikut:

1. Di Trusted Cloud konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di panel Explorer, luaskan project dan folder Pipelines, lalu pilih pipeline.

3. Klik tugas yang dipilih.

4. Untuk mengubah tugas sebelumnya, di menu Run after, pilih tugas yang akan mendahului kueri atau notebook Anda.

5. Untuk mengedit konten tugas yang dipilih, klik Edit.

6. Di tab baru yang terbuka, edit konten tugas, lalu simpan perubahan pada tugas.

Menghapus tugas pipeline

Untuk menghapus tugas dari pipeline, ikuti langkah-langkah berikut:

1. Di Trusted Cloud konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di panel Explorer, luaskan project dan folder Pipelines, lalu pilih pipeline.

3. Klik tugas yang dipilih.

4. Di panel Detail tugas, klik ikon HapusHapus.

Membagikan pipeline

Untuk membagikan pipeline, ikuti langkah-langkah berikut:

1. Di Trusted Cloud konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di panel Explorer, luaskan project dan folder Pipelines, lalu pilih pipeline.

3. Klik Bagikan, lalu pilih Kelola izin.

4. Klik Tambahkan pengguna/grup.

5. Di kolom Akun utama baru, masukkan nama minimal satu pengguna atau grup.

6. Untuk Menetapkan Peran, pilih peran.

7. Klik Simpan.

Membagikan link ke pipeline

1. Di Trusted Cloud konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di panel Explorer, luaskan project dan folder Pipelines, lalu pilih pipeline.

3. Klik Bagikan, lalu pilih Bagikan link. URL untuk pipeline Anda akan disalin ke papan klip komputer.

Menjalankan pipeline

Untuk menjalankan versi pipeline saat ini secara manual, ikuti langkah-langkah berikut:

1. Di Trusted Cloud konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di panel Explorer, luaskan project dan folder Pipelines, lalu pilih pipeline.

3. Klik Run. Jika Anda memilih Jalankan dengan kredensial pengguna saya untuk autentikasi, Anda harus memberikan otorisasi ke Akun Google Anda (Pratinjau).

4. Opsional: Untuk memeriksa operasi, lihat operasi manual sebelumnya.

Memberi otorisasi pada Akun Google Anda

Untuk mengautentikasi resource dengan kredensial pengguna Akun Google, Anda harus memberikan izin secara manual agar pipeline BigQuery mendapatkan token akses untuk Akun Google Anda dan mengakses data sumber atas nama Anda. Anda dapat memberikan persetujuan manual dengan antarmuka dialog OAuth.

Anda hanya perlu memberikan izin ke pipeline BigQuery satu kali.

Untuk mencabut izin yang Anda berikan, ikuti langkah-langkah berikut:

1. Buka halaman Akun Google Anda.
2. Klik BigQuery Pipelines.
3. Klik Hapus akses.

Jika pipeline Anda berisi notebook, Anda juga harus memberikan izin secara manual untuk Colab Enterprise agar dapat mendapatkan token akses untuk Akun Google Anda dan mengakses data sumber atas nama Anda. Anda hanya perlu memberikan izin satu kali. Anda dapat mencabut izin ini di halaman Akun Google.

Langkah berikutnya

• Pelajari pipeline BigQuery lebih lanjut.
• Pelajari cara mengelola pipeline.
• Pelajari cara menjadwalkan pipeline.