Pengantar migrasi Teradata ke BigQuery
Dokumen ini menguraikan alasan Anda mungkin bermigrasi dari Teradata ke BigQuery, membandingkan fitur antara Teradata dan BigQuery, serta memberikan ringkasan langkah-langkah untuk memulai migrasi BigQuery.
Mengapa bermigrasi dari Teradata ke BigQuery?
Teradata adalah inovator awal dalam mengelola dan menganalisis volume data yang substansial. Namun, seiring berkembangnya kebutuhan cloud computing, Anda mungkin memerlukan solusi yang lebih modern untuk analisis data.
Jika sebelumnya Anda telah menggunakan Teradata, pertimbangkan untuk bermigrasi ke BigQuery karena alasan berikut:
- Mengatasi batasan platform lama
- Arsitektur konvensional Teradata sering kali kesulitan memenuhi permintaan analisis modern, terutama kebutuhan akan konkurensi tanpa batas dan performa tinggi secara konsisten untuk berbagai workload. Arsitektur serverless di BigQuery dirancang untuk menangani permintaan ini dengan upaya minimal.
- Mengadopsi strategi native cloud
- Banyak organisasi beralih secara strategis dari infrastruktur lokal ke cloud. Pergeseran ini memerlukan perubahan dari solusi konvensional yang terikat hardware seperti Teradata ke layanan terkelola sepenuhnya, skalabel, dan on-demand seperti BigQuery untuk mengurangi overhead operasional.
- Berintegrasi dengan sumber data dan analisis modern
- Data perusahaan utama semakin banyak berada di sumber berbasis cloud. BigQuery terintegrasi secara native dengan ekosistem Trusted Cloud by S3NS , yang menyediakan akses lancar ke sumber ini dan memungkinkan analisis lanjutan, machine learning, dan pemrosesan data real-time tanpa batasan infrastruktur Teradata.
- Mengoptimalkan biaya dan skalabilitas
- Teradata sering kali melibatkan proses penskalaan yang kompleks dan mahal. BigQuery menawarkan penskalaan penyimpanan dan komputasi secara transparan dan otomatis secara terpisah, sehingga Anda tidak perlu melakukan konfigurasi ulang secara manual dan memberikan total biaya kepemilikan yang lebih dapat diprediksi dan sering kali lebih rendah.
Perbandingan fitur
Tabel berikut membandingkan fitur dan konsep di Teradata dengan fitur yang setara di BigQuery:
| Konsep Teradata | Setara BigQuery | Deskripsi |
|---|---|---|
| Teradata (On-premise, Cloud, Hybrid) | BigQuery (Platform Data AI Terpadu). BigQuery menyediakan serangkaian besar kemampuan tambahan dibandingkan dengan data warehouse konvensional. | BigQuery adalah data warehouse native cloud yang terkelola sepenuhnya di Trusted Cloud by S3NS. Teradata menawarkan opsi lokal, cloud, dan hybrid. BigQuery bersifat serverless dan tersedia di semua cloud sebagai BQ Omni. |
| Alat Teradata (Teradata Studio, BTEQ) | Trusted Cloud konsol, BigQuery Studio, alat command line bq | Keduanya menawarkan antarmuka untuk mengelola dan berinteraksi dengan data warehouse. BigQuery Studio berbasis web dan terintegrasi dengan Trusted Cloud by S3NS serta memberikan kemampuan untuk menulis SQL, Python, dan Apache Spark. |
| Database/Skema | Set data | Di Teradata, database dan skema digunakan untuk mengatur tabel dan tampilan, mirip dengan set data BigQuery. Namun, cara pengelolaan dan penggunaannya dapat berbeda. |
| Tabel | Tabel | Kedua platform tersebut menggunakan tabel untuk menyimpan data dalam baris dan kolom. |
| Lihat | Lihat | Tampilan berfungsi dengan cara yang sama di kedua platform, yang menyediakan cara untuk membuat tabel virtual berdasarkan kueri. |
| Kunci Utama | Kunci Utama (tidak diterapkan di SQL Standar) | BigQuery mendukung kunci utama yang tidak diterapkan di SQL Standar. Hal ini terutama untuk membantu BigQuery melakukan pengoptimalan dengan pengoptimalan kueri. |
| Kunci Asing | Kunci Asing (tidak diterapkan di SQL Standar) | BigQuery mendukung kunci asing yang tidak diterapkan di SQL Standar. Hal ini terutama untuk membantu BigQuery melakukan pengoptimalan dengan pengoptimalan kueri. |
| Indeks | Pengelompokan, Indeks Penelusuran, Indeks Vektor (otomatis atau terkelola) | Teradata memungkinkan pembuatan indeks eksplisit. Sebaiknya lakukan pengelompokan di BigQuery. Meskipun tidak setara dengan indeks Database, pengelompokan membantu menyimpan data yang diurutkan di disk dan hal ini membantu mengoptimalkan pengambilan data saat kolom yang dikelompokkan digunakan sebagai predikat. BigQuery mendukung Indeks Penelusuran dan Indeks Vektor. |
| Membuat partisi | Membuat partisi | Kedua platform tersebut mendukung partisi tabel untuk meningkatkan performa kueri pada tabel besar. BigQuery hanya mendukung partisi berdasarkan tanggal dan bilangan bulat. Untuk string, gunakan pengelompokan. |
| Alokasi resource (berdasarkan hardware dan pemberian lisensi) | Pemesanan (Berbasis Kapasitas), Harga on-demand (Harga Analisis) | BigQuery menawarkan model harga yang fleksibel. Reservasi memberikan biaya yang dapat diprediksi untuk workload konsisten dan ad hoc menggunakan penskalaan otomatis, sedangkan harga on-demand berfokus pada biaya pemindaian byte per kueri. |
| BTEQ, SQL Assistant, alat klien lainnya | BigQuery Studio, alat command line bq, API | BigQuery menyediakan berbagai antarmuka untuk menjalankan kueri, termasuk editor berbasis web, alat command line, dan API untuk akses terprogram. |
| Logging/histori Kueri | Histori kueri, INFORMATION_SCHEMA.JOBS |
BigQuery menyimpan histori kueri yang dijalankan, sehingga Anda dapat meninjau kueri sebelumnya, menganalisis performa, dan memecahkan masalah. INFORMATION_SCHEMA.JOBS mempertahankan histori semua tugas yang dikirimkan dalam 6 bulan terakhir. |
| Fitur keamanan (Kontrol akses, Enkripsi) | Fitur keamanan (IAM, ACL, enkripsi) | Keduanya menawarkan keamanan yang andal. BigQuery menggunakan Trusted Cloud by S3NS IAM untuk kontrol akses terperinci. |
| Kontrol jaringan (Firewall, VPN) | Kontrol Layanan VPC, Akses Google Pribadi | BigQuery terintegrasi dengan Kontrol Layanan VPC untuk membatasi akses ke resource BigQuery Anda dari jaringan tertentu. Akses Google Pribadi memungkinkan Anda mengakses BigQuery tanpa menggunakan IP publik. |
| Pengelolaan Pengguna dan Peran | Identity and Access Management (IAM) | BigQuery menggunakan IAM untuk kontrol akses yang terperinci. Anda dapat memberikan izin tertentu kepada pengguna dan akun layanan di tingkat project, set data, dan tabel. |
| Pemberian dan Peran pada Objek | Daftar Kontrol Akses (ACL) pada set data dan tabel | BigQuery memungkinkan Anda menentukan ACL pada set data dan tabel untuk mengontrol akses di tingkat terperinci. |
| Enkripsi data dalam penyimpanan dan saat transit | Enkripsi dalam penyimpanan dan dalam pengiriman, Kunci Enkripsi yang Dikelola Pelanggan (CMEK), kunci dapat dihosting di sistem EKM eksternal. | BigQuery akan mengenkripsi data secara default. Anda juga dapat mengelola kunci enkripsi Anda sendiri untuk kontrol tambahan. |
| Fitur kepatuhan dan tata kelola data | Kebijakan tata kelola data, DLP (Pencegahan Kebocoran Data) | BigQuery mendukung kebijakan tata kelola data dan DLP untuk membantu Anda menerapkan persyaratan kepatuhan dan keamanan data. |
| Teradata Load Utilities (misalnya, FastLoad, MultiLoad), bteq | BigQuery Data Transfer Service, alat command line bq, API | BigQuery menyediakan berbagai metode pemuatan data. Teradata memiliki utilitas pemuatan khusus. BigQuery menekankan skalabilitas dan kecepatan untuk penyerapan data. |
| Teradata Export Utilities, bteq | Alat command line bq, API, Ekspor ke Cloud Storage | BigQuery menawarkan ekspor data ke berbagai tujuan. Teradata memiliki alat ekspornya sendiri. Integrasi BigQuery dengan Cloud Storage adalah keunggulan utamanya. BigQuery Storage read API menyediakan kemampuan komputasi eksternal untuk membaca data secara massal. |
| Tabel Eksternal | Tabel Eksternal | Keduanya mendukung pembuatan kueri data di penyimpanan eksternal. BigQuery terintegrasi dengan baik dengan Cloud Storage, Spanner, Bigtable, Cloud SQL, AWS S3, Azure Blob Storage, Google Drive. |
| Tampilan terwujud | Tampilan terwujud | Keduanya menawarkan tampilan terwujud untuk performa kueri. BigQuery menyediakan tampilan terwujud Smart Tuning yang selalu menampilkan data saat ini dan juga menyediakan penulisan ulang kueri otomatis ke tampilan terwujud meskipun kueri merujuk ke tabel dasar. |
| Fungsi yang Ditentukan Pengguna (UDF) | Fungsi yang Ditentukan Pengguna (UDF) (SQL, JavaScript) | BigQuery mendukung UDF dalam SQL dan JavaScript. |
| Teradata Scheduler, alat penjadwalan lainnya | Kueri Terjadwal, Cloud Composer, Cloud Functions, pipeline BigQuery | BigQuery terintegrasi dengan Trusted Cloud by S3NS layanan penjadwalan dan alat penjadwalan eksternal lainnya. |
| Viewpoint | Administrasi BigQuery untuk pemantauan, pemeriksaan kondisi, menjelajahi tugas, dan mengelola kapasitas. | BigQuery menawarkan kotak alat administrasi komprehensif berbasis UI yang berisi beberapa panel untuk memantau kondisi operasional dan penggunaan resource. |
| Backup dan Pemulihan | Kloning set data, perjalanan waktu dan fail safe, snapshot dan kloning tabel, penyimpanan regional dan multi-regional, pencadangan dan pemulihan lintas-regional. | BigQuery menawarkan snapshot dan perjalanan waktu untuk memulihkan data. Perjalanan waktu adalah fitur yang memungkinkan Anda mengakses data historis dalam jangka waktu tertentu. BigQuery juga menawarkan cloning set data, penyimpanan regional dan multi-regional, serta opsi pencadangan dan pemulihan lintas-regional. |
| Fungsi Geospasial | Fungsi Geospasial | Kedua platform tersebut memiliki dukungan untuk data dan fungsi geospasial. |
Dari mana harus memulai?
Pelajari lebih lanjut proses migrasi Teradata ke BigQuery di bagian berikut:
Menjalankan penilaian migrasi
Untuk memulai migrasi Teradata ke BigQuery, sebaiknya mulailah dengan menjalankan alat penilaian migrasi BigQuery untuk menilai kelayakan dan potensi manfaat pemindahan data warehouse dari Teradata ke BigQuery. Alat ini memberikan pendekatan terstruktur untuk memahami lingkungan Teradata saat ini dan memperkirakan upaya yang terlibat dalam migrasi yang berhasil.
Menjalankan alat penilaian migrasi BigQuery akan menghasilkan laporan penilaian yang berisi bagian berikut:
- Laporan sistem yang ada: ringkasan sistem dan penggunaan Teradata yang ada, termasuk jumlah database, skema, tabel, dan ukuran total dalam TB. Bagian ini juga mencantumkan skema berdasarkan ukuran dan mengarah ke potensi pemanfaatan resource yang kurang optimal, seperti tabel tanpa penulisan atau beberapa pembacaan.
- Saran transformasi status stabil BigQuery: menunjukkan tampilan sistem di BigQuery setelah migrasi. Bagian ini mencakup saran untuk mengoptimalkan workload di BigQuery dan menghindari pemborosan.
- Rencana migrasi: memberikan informasi tentang upaya migrasi itu sendiri. Misalnya, beralih dari sistem yang ada ke status stabil BigQuery. Bagian ini berisi jumlah kueri yang diterjemahkan secara otomatis dan perkiraan waktu untuk memindahkan setiap tabel ke BigQuery.
Untuk informasi selengkapnya tentang hasil penilaian migrasi, lihat Meninjau laporan Looker Studio.
Memigrasikan skema dan data dari Teradata
Setelah meninjau hasil penilaian migrasi, Anda dapat memulai migrasi Teradata dengan menyiapkan BigQuery untuk migrasi, lalu menyiapkan tugas transfer data.
Untuk informasi selengkapnya tentang proses migrasi Teradata, lihat Memigrasikan skema dan data dari Teradata.
Memvalidasi migrasi
Setelah memigrasikan data Teradata ke BigQuery, jalankan Alat Validasi Data (DVT) untuk melakukan validasi data pada data BigQuery yang baru dimigrasikan. DVT memvalidasi berbagai fungsi, dari tingkat tabel hingga tingkat baris, untuk memverifikasi bahwa data yang dimigrasikan berfungsi sebagaimana mestinya. Untuk mengetahui informasi selengkapnya tentang DVT, lihat Memperkenalkan Alat Validasi Data untuk migrasi EDW.
Anda dapat mengakses DVT di repositori GitHub publik DVT.
Langkah berikutnya
- Coba migrasi uji coba Teradata ke BigQuery.