Merencanakan migrasi dengan silsilah migrasi

Anda dapat menggunakan layanan silsilah migrasi untuk memvisualisasikan aliran data dan koneksi di database sumber saat merencanakan migrasi data warehouse BigQuery.

Saat Anda membuat silsilah migrasi, layanan silsilah menyediakan grafik yang memvisualisasikan cara data berpindah melalui sistem sumber, dan cara setiap tabel atau tampilan dalam sistem sumber terhubung, seperti yang ditunjukkan diagram berikut:

Layanan silsilah migrasi mendukung dialek SQL berikut:

• Amazon Redshift SQL
• Snowflake SQL
• Teradata SQL
• GoogleSQL (BigQuery)

Batasan

Layanan silsilah memproses 5 GB pertama log terlama dari database sumber Anda.

Lokasi yang didukung

Layanan silsilah migrasi tersedia di lokasi tertentu. Untuk mengetahui informasi selengkapnya, lihat Lokasi layanan silsilah dan penerjemah SQL BigQuery.

Izin yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk menggunakan layanan silsilah migrasi, minta administrator untuk memberi Anda peran IAM MigrationWorkflow Editor (roles/bigquerymigration.editor) pada project. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran yang telah ditetapkan ini berisi izin yang diperlukan untuk menggunakan layanan silsilah migrasi. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya tentang peran dan izin IAM di BigQuery, lihat Peran dan izin IAM BigQuery.

Melacak silsilah migrasi

Untuk melacak silsilah migrasi, jalankan alat dwh-migration-dumper terlebih dahulu untuk membuat file log SQL input sumber yang Anda upload ke Cloud Storage. Setelah mengupload file input ke Cloud Storage, Anda dapat melacak silsilah migrasi dengan konsol Cloud de Confiance atau BigQuery Migration API.

Menjalankan alat dwh-migration-dumper

Pilih salah satu opsi berikut:

Melacak silsilah

Setelah mengupload file ZIP yang berisi metadata dan log kueri ke Cloud Storage, Anda dapat melacak silsilahnya. Pilih salah satu opsi berikut:

  curl -d "{
    \"tasks\": {
      \"TASK_NAME\": {
        \"type\": \"Experimental_Lineage\",
        \"translation_details\": {
          \"target_base_uri\": \"BUCKET_PATH\",
          \"source_target_mapping\": {
            \"source_spec\": {
              \"base_uri\": \"BUCKET_PATH\"
            }
          },
          \"target_types\": \"LINEAGE\"
        }
      }
    }
  }
  " \
    -H "Content-Type:application/json" \
    -H "Authorization: Bearer TOKEN" -X POST https://bigquerymigration.googleapis.com/v2/projects/PROJECT_ID/locations/LOCATION/workflows

  {
    "name": "projects/PROJECT_ID/locations/LOCATION/workflows/WORKFLOW_ID",
    "tasks": {
      "task_name": { /*...*/ }
    },
    "state": "RUNNING"
  }

  curl \
  -H "Content-Type:application/json" \
  -H "Authorization:Bearer " -X GET https://bigquerymigration.googleapis.com/v2/projects/PROJECT_ID/locations/LOCATION/workflows/WORKFLOW_ID

Membuka silsilah migrasi

Setelah melacak silsilah migrasi, Anda dapat membuka silsilah migrasi dengan menggunakan salah satu opsi berikut:

  curl \
  -H "Content-Type:application/json" \
  -H "Authorization:Bearer " -X GET https://bigquerymigration.googleapis.com/v2/projects/PROJECT_ID/locations/LOCATION/workflows/WORKFLOW_ID

Menggunakan silsilah migrasi

Bagian berikut menjelaskan cara menggunakan silsilah migrasi untuk menangani data dan database sumber Anda.

Memahami istilah silsilah migrasi

Istilah berikut digunakan dalam silsilah migrasi:

Bagian berikut menjelaskan berbagai halaman dalam silsilah migrasi.

Meninjau halaman landing

Halaman landing silsilah migrasi menampilkan ID tugas silsilah, kolom penelusuran untuk menemukan objek silsilah berdasarkan nama, dan daftar saran yang menyoroti beberapa objek silsilah yang mungkin menarik. Halaman ini juga menyertakan jumlah total tabel, pipeline, dan pengguna di seluruh silsilah migrasi.

Untuk membuka tabel, tampilan, atau kolom tertentu, telusuri objek di kolom penelusuran, atau klik salah satu objek yang disarankan di halaman landing.

Meninjau halaman node

Untuk meninjau node dalam silsilah migrasi Anda, klik salah satu tab berikut.

Tab Aliran Data

Tab Data Flow menampilkan representasi visual dari bagian grafik silsilah. Halaman ini adalah halaman default saat Anda melihat tabel atau kolom untuk pertama kalinya di layanan silsilah. Grafik ini memvisualisasikan cara data berpindah melalui sistem sumber Anda. Node dalam grafik ini mewakili tabel atau tampilan, sedangkan tepi di antara node mewakili data yang mengalir dari node di sebelah kiri, menuju node di sebelah kanan.

Setiap tabel dalam grafik Data Flow menampilkan nama yang tidak memenuhi syarat. Untuk melihat nama tabel yang sepenuhnya memenuhi syarat dengan awalan database dan skema, tahan kursor di atas node untuk menampilkan tooltip-nya. Setiap tabel menunjukkan skemanya seperti yang ditunjukkan oleh batang vertikal pada node. Semua skema dalam silsilah diurutkan berdasarkan abjad dan diberi warna, sehingga tabel dalam skema yang sama memiliki batang berwarna sama, dan tabel dalam skema dengan nama yang mirip memiliki batang berwarna serupa.

Setiap node menampilkan ikon, yang menunjukkan properti node:

• monitor: tampilan, bukan tabel.
• cached: tabel yang selalu diperbarui sepenuhnya (dipotong, lalu ditulis ulang). Klik ikon untuk melihat skrip di samping tabel ini.
• cached: tabel yang tidak selalu diperbarui sepenuhnya (dipotong, lalu ditulis ulang). Klik ikon untuk melihat skrip di samping tabel ini.
• timer: tabel yang berumur pendek. Tahan kursor di atas ikon untuk melihat durasi keberadaan tabel.
• snowflake: tabel yang terakhir ditulis lebih dari tujuh hari yang lalu, yang menunjukkan tabel dengan data statis atau jarang ditulis.

Untuk meninjau objek dalam grafik Data Flow, lakukan tindakan berikut:

• Untuk melihat daftar kolom tabel, klik tabel. Tampilan ini mencakup nama setiap kolom beserta jenis datanya, seperti yang ditentukan dari dump metadata yang disediakan atau disimpulkan dari SQL yang terlihat di log kueri.
• Untuk melihat grafik silsilah tingkat kolom untuk sebuah kolom, klik kolom. Dalam grafik silsilah tingkat kolom, edge mewakili aliran data yang memengaruhi kolom target.

• Untuk melihat detail tentang edge, klik edge di grafik. Tampilan ini menyertakan link ke skrip SQL yang memicu edge.

  Edge dihasilkan dari node sumber ke node target saat pernyataan SQL mereferensikan node sumber saat pernyataan tersebut menghitung data yang dimasukkan ke dalam node target. Biasanya, hal ini melibatkan transfer data dari sumber ke target, tetapi tab Data Flow juga menampilkan edge saat node sumber digunakan dalam klausa WHERE atau GROUP BY yang memengaruhi target. Untuk memfilter transfer data saja, aktifkan tombol Show non-data edges di toolbar.

Tab Connections

Tab Connections dari node silsilah menampilkan daftar node di sekitar dalam grafik silsilah. Secara default, node yang terhubung diurutkan berdasarkan jarak jalur terpendek dari node saat ini—node yang memerlukan lebih sedikit edge untuk dijangkau dari node saat ini akan dicantumkan terlebih dahulu. Anda dapat mengubah pengurutan dengan opsi Urutkan.

Daftar koneksi mencakup node upstream (produsen) dan downstream (konsumen) dari node saat ini secara default. Anda dapat mengubah filter ini dengan kontrol Jenis. Di kolom Distance, node yang berada di upstream node saat ini ditampilkan dengan panah mengarah ke atas dengan jarak jalur mundur terpendek ke node tersebut dari node saat ini; demikian pula, node yang berada di downstream node saat ini ditampilkan dengan panah mengarah ke bawah dengan jarak jalur penerusan terpendek ke node tersebut dari node saat ini. Node dapat berada di upstream dan downstream node saat ini jika merupakan bagian dari siklus.

Untuk mendownload file yang berisi semua node yang ditampilkan, klik download CSV

Tab Pengguna

Tab Users dari sebuah node menampilkan pengguna yang menjalankan skrip yang membaca atau menulis node atau node yang berada di upstream atau downstream-nya. Secara default, pengguna yang melakukan tindakan paling terpisah akan dicantumkan terlebih dahulu. Anda dapat mengubah pengurutan dengan opsi Urutkan.

Untuk mendownload file yang berisi semua pengguna yang ditampilkan, klik download CSV.

Tab Pipelines

Tab Pipelines dari sebuah node menampilkan pipeline yang menjalankan skrip yang membaca atau menulis node atau node yang berada di upstream atau downstream-nya. Secara default, pipeline yang melakukan tindakan paling terpisah akan dicantumkan terlebih dahulu. Anda dapat mengubah pengurutan dengan opsi Urutkan.

Untuk mendownload file yang berisi semua pipeline yang ditampilkan, klik download CSV.

Tab Code

Tab Code untuk node menampilkan semua skrip SQL yang terlihat dalam file input yang membaca data dari atau menulis data ke node tersebut. Penyebutan node ditandai dalam teks SQL. Klik skrip untuk meluaskan teks lengkap. Anda dapat mengubah setelan filter untuk memfilter daftar skrip yang ditampilkan.

Untuk mendownload file yang berisi semua skrip yang ditampilkan, klik download CSV.

Meninjau halaman edge

Untuk meninjau edge node dalam grafik silsilah Anda, klik salah satu tab berikut.

Tab detail

Tab Details untuk edge menampilkan predikat dan kategori, yang menjelaskan operasi yang dilakukan oleh skrip yang memicu edge.

Predikat dinotasikan sebagai kode tiga bagian yang dipisahkan oleh tanda hubung. Bagian pertama adalah r, yang menunjukkan bahwa sumber edge adalah relasi, atau a, yang menunjukkan bahwa sumber edge adalah atribut. Bagian kedua adalah salah satu singkatan berikut yang menunjukkan cara node sumber memengaruhi data di node target:

• has: relasi sumber berisi atribut target.
• dat: sumber menyalin atau mentransfer data ke target.
• res: sumber memfilter atau membatasi kardinalitas target dalam klausa seperti WHERE, HAVING, atau JOIN ON.
• grp: sumber digunakan dalam klausa GROUP BY yang memengaruhi target.

Bagian ketiga juga berupa r atau a, yang menunjukkan apakah target edge adalah relasi atau atribut.

Kategori edge dapat mencakup hal berikut:

• Predikat dat:
  • AGGREGATE: sumber digunakan dalam komputasi gabungan yang menulis target.
  • EXACT_COPY: data dari sumber disalin secara keseluruhan ke target.
  • FUNCTION: sumber digunakan untuk menghitung target.
  • IDENTITY_COPY: target tidak dihitung. Targetnya adalah salinan literal dari sumber tanpa transmisi atau konversi apa pun.
  • PARTITION_PROMOTION: target berisi data dari sumber sebagai hasil dari promosi partisi sumber ke target.
  • WEAK_COPY: data dari sumber disalin setidaknya sebagian ke target.
• Predikat res:
  • FILTER: sumber digunakan dalam perbandingan yang menulis target.
  • KEY: data dari sumber digunakan sebagai kunci dalam perbandingan gabungan yang menulis target.
• grp predikat:
  • GROUP: data dari sumber digunakan sebagai kunci dalam klausa GROUP BY yang memengaruhi target.

Tab Code

Tab Code untuk edge menampilkan skrip SQL yang memicu edge tersebut. Node sumber dan target edge ditandai di tempat node tersebut disebutkan dalam teks SQL.

Langkah berikutnya

• Jalankan penilaian migrasi untuk menilai kelayakan dan potensi manfaat dari migrasi data warehouse Anda ke BigQuery.
• Gunakan layanan terjemahan SQL, seperti penerjemah SQL interaktif, API terjemahan, dan penerjemah SQL batch untuk mengotomatiskan konversi kueri SQL Anda ke GoogleSQL, termasuk penyesuaian SQL yang ditingkatkan Gemini.