Migrazione da Teradata a BigQuery: introduzione
Questo documento illustra i motivi per cui potresti eseguire la migrazione da Teradata a BigQuery, confronta le funzionalità di Teradata e BigQuery e fornisce una panoramica dei passaggi per iniziare la migrazione a BigQuery.
Perché eseguire la migrazione da Teradata a BigQuery?
Teradata è stato uno dei primi innovatori nella gestione e nell'analisi di volumi di dati significativi. Tuttavia, con l'evoluzione delle tue esigenze di cloud computing, potresti aver bisogno di una soluzione più moderna per l'analisi dei dati.
Se hai già utilizzato Teradata, valuta la possibilità di eseguire la migrazione a BigQuery per i seguenti motivi:
- Supera i vincoli delle piattaforme legacy
- L'architettura convenzionale di Teradata spesso fatica a soddisfare le esigenze dell'analisi moderna, in particolare la necessità di una concorrenza illimitata e di prestazioni costantemente elevate per workload diversi. L'architettura serverless di BigQuery è progettata per gestire queste esigenze con il minimo sforzo.
- Adotta una strategia cloud-native
- Molte organizzazioni stanno passando strategicamente dall'infrastruttura on-premise al cloud. Questo cambiamento richiede un allontanamento dalle soluzioni tradizionali, vincolate all'hardware come Teradata, verso un servizio completamente gestito, scalabile e on demand come BigQuery per ridurre l'overhead operativo.
- Integrazione con origini dati e analisi moderne
- I dati aziendali chiave risiedono sempre più in origini basate su cloud. BigQuery è integrato in modo nativo con l'ecosistema Cloud de Confiance by S3NS , fornendo un accesso senza interruzioni a queste origini e consentendo analisi avanzate, machine learning ed elaborazione dei dati in tempo reale senza le limitazioni dell'infrastruttura di Teradata.
- Ottimizza i costi e la scalabilità
- Teradata spesso comporta processi di scalabilità complessi e costosi. BigQuery offre una scalabilità trasparente e automatica sia dello spazio di archiviazione sia del computing in modo indipendente, eliminando la necessità di riconfigurazione manuale e fornendo un costo totale di proprietà più prevedibile e spesso inferiore.
Confronto delle funzioni
La tabella seguente mette a confronto le funzionalità e i concetti di Teradata con le funzionalità equivalenti di BigQuery:
| Concetto di Teradata | Equivalente di BigQuery | Descrizione |
|---|---|---|
| Teradata (on-premise, cloud, ibrido) | BigQuery (piattaforma di dati AI unificata). BigQuery offre un ampio insieme di funzionalità aggiuntive rispetto a un data warehouse convenzionale. | BigQuery è un data warehouse cloud-native completamente gestito su Cloud de Confiance by S3NS. Teradata offre opzioni on-premise, cloud e ibride. BigQuery è serverless e disponibile su tutti i cloud come BQ Omni. |
| Strumenti Teradata (Teradata Studio, BTEQ) | ConsoleCloud de Confiance , BigQuery Studio, strumento a riga di comando bq | Entrambi offrono interfacce per la gestione e l'interazione con il data warehouse. BigQuery Studio è basato sul web e integrato con Cloud de Confiance by S3NS e offre la possibilità di scrivere SQL, Python e Apache Spark. |
| Database/schemi | Set di dati | In Teradata, i database e gli schemi vengono utilizzati per organizzare tabelle e viste, in modo simile ai set di dati BigQuery. Tuttavia, il modo in cui vengono gestiti e utilizzati può variare. |
| Tabella | Tabella | Entrambe le piattaforme utilizzano tabelle per archiviare i dati in righe e colonne. |
| Visualizza | Visualizza | Le viste funzionano in modo simile in entrambe le piattaforme, fornendo un modo per creare tabelle virtuali basate su query. |
| Chiave primaria | Chiave primaria (non applicata in GoogleSQL) | BigQuery supporta chiavi primarie non applicate in GoogleSQL. Questi sono principalmente utili per l'ottimizzazione delle query. |
| Chiave esterna | Chiave esterna (non applicata in GoogleSQL) | BigQuery supporta chiavi esterne non applicate in GoogleSQL. Questi sono principalmente utili per l'ottimizzazione delle query. |
| Indice | Clustering, indici della Ricerca, indici vettoriali (automatici o gestiti) | Teradata consente la creazione esplicita di indici. Consigliamo di utilizzare il clustering in BigQuery. Sebbene non siano equivalenti agli indici dei database, i cluster aiutano ad archiviare i dati ordinati su disco e questo aiuta a ottimizzare il recupero dei dati quando le colonne raggruppate in cluster vengono utilizzate come predicati. BigQuery supporta gli indici di ricerca e gli indici vettoriali. |
| Partizionamento | Partizionamento | Entrambe le piattaforme supportano il partizionamento delle tabelle per migliorare le prestazioni delle query su tabelle di grandi dimensioni. BigQuery supporta solo il partizionamento per date e numeri interi. Per le stringhe, utilizza invece il clustering. |
| Allocazione delle risorse (in base all'hardware e alle licenze) | Prenotazioni (basate sulla capacità), prezzi on demand (prezzi di analisi) | BigQuery offre modelli di prezzi flessibili. Le prenotazioni forniscono costi prevedibili per workload coerenti e ad hoc utilizzando la scalabilità automatica, mentre i prezzi on demand si concentrano sugli addebiti per la scansione dei byte per query. |
| BTEQ, SQL Assistant, altri strumenti client | BigQuery Studio, lo strumento a riga di comando bq, le API | BigQuery fornisce varie interfacce per l'esecuzione di query, tra cui un editor basato sul web, uno strumento a riga di comando e API per l'accesso programmatico. |
| Logging/cronologia delle query | Cronologia delle query, INFORMATION_SCHEMA.JOBS |
BigQuery conserva una cronologia delle query eseguite, consentendoti di esaminare le query passate, analizzare le prestazioni e risolvere i problemi. INFORMATION_SCHEMA.JOBS conserva la cronologia di tutti i job inviati negli ultimi 6 mesi. |
| Funzionalità di sicurezza (controllo degli accessi, crittografia) | Funzionalità di sicurezza (IAM, ACL, crittografia) | Entrambi offrono una sicurezza avanzata. BigQuery utilizza Cloud de Confiance by S3NS IAM per il controllo granulare degli accessi. |
| Controlli di rete (firewall, VPN) | Controlli di servizio VPC, accesso privato Google | BigQuery si integra con i Controlli di servizio VPC per limitare l'accesso alle risorse BigQuery da reti specifiche. L'accesso privato Google ti consente di accedere a BigQuery senza utilizzare IP pubblici. |
| Gestione di utenti e ruoli | Identity and Access Management (IAM) | BigQuery utilizza IAM per controllo dell'accesso granulare dell'accesso. Puoi concedere autorizzazioni specifiche a utenti e service account a livello di progetto, set di dati e tabella. |
| Concessioni e ruoli sugli oggetti | Elenchi di controllo dell'accesso (ACL) su set di dati e tabelle | BigQuery ti consente di definire ACL su set di dati e tabelle per controllare l'accesso a livello granulare. |
| Crittografia at-rest e in transito | Crittografia at-rest e in transito, chiavi di crittografia gestite dal cliente (CMEK), le chiavi possono essere ospitate in sistemi EKM esterni. | BigQuery cripta i dati per impostazione predefinita. Puoi anche gestire le tue chiavi di crittografia per un maggiore controllo. |
| Funzionalità di governance e conformità dei dati | Criteri di governance dei dati, DLP (Prevenzione della perdita di dati) | BigQuery supporta le policy di governance dei dati e DLP per aiutarti ad applicare i requisiti di sicurezza dei dati e conformità. |
| Teradata Load Utilities (ad es. FastLoad, MultiLoad), bteq | BigQuery Data Transfer Service, lo strumento a riga di comando bq, le API | BigQuery offre vari metodi di caricamento dei dati. Teradata dispone di utilità di caricamento specializzate. BigQuery enfatizza la scalabilità e la velocità per l'importazione dati. |
| Teradata Export Utilities, bteq | Lo strumento a riga di comando bq, le API, l'esportazione in Cloud Storage | BigQuery offre l'esportazione dei dati in varie destinazioni. Teradata dispone di propri strumenti di esportazione. L'integrazione di BigQuery con Cloud Storage è un vantaggio fondamentale. L'API BigQuery Storage Read fornisce a qualsiasi sistema di computing esterno la capacità di leggere i dati in blocco. |
| Tabelle esterne | Tabelle esterne | Entrambi supportano l'esecuzione di query sui dati nello spazio di archiviazione esterno. BigQuery si integra bene con Cloud Storage, Spanner, Bigtable, Cloud SQL, AWS S3, Archiviazione BLOB di Azure e Google Drive. |
| Viste materializzate | Viste materializzate | Entrambi offrono viste materializzate per le prestazioni delle query. BigQuery fornisce viste materializzate con ottimizzazione intelligente che restituiscono sempre i dati correnti e forniscono anche la riscrittura automatica delle query nelle viste materializzate, anche quando la query fa riferimento alla tabella di base. |
| Funzioni definite dall'utente (UDF) | Funzioni definite dall'utente (UDF) (SQL, JavaScript) | BigQuery supporta le UDF in SQL e JavaScript. |
| Teradata Scheduler, altri strumenti di pianificazione | Query pianificate, Managed Service for Apache Airflow, Cloud Functions, pipeline BigQuery | BigQuery si integra con i servizi di pianificazione di Cloud de Confiance by S3NS e altri strumenti di pianificazione esterni. |
| Viewpoint | Amministrazione di BigQuery per il monitoraggio, il controllo di integrità, l'esplorazione dei job e la gestione della capacità. | BigQuery offre un toolbox di amministrazione completo basato su UI che contiene diversi riquadri per monitorare l'integrità operativa e l'utilizzo delle risorse. |
| Backup e ripristino | Clonazione dei set di dati, viaggio nel tempo e fail safe, snapshot e clonazione delle tabelle, archiviazione regionale e multiregionale, backup e ripristino tra regioni. | BigQuery offre snapshot e viaggi nel tempo per il recupero dei dati. Il viaggio nel tempo è una funzionalità che ti consente di accedere ai dati storici entro un determinato periodo di tempo. BigQuery offre anche la clonazione dei set di dati, l'archiviazione regionale e multiregionale e opzioni di backup e ripristino tra regioni. |
| Funzioni geospaziali | Funzioni geospaziali | Entrambe le piattaforme supportano dati e funzioni geospaziali. |
Inizia
Le sezioni seguenti riassumono il processo di migrazione da Teradata a BigQuery:
Esegui una valutazione della migrazione
Per la migrazione da Teradata a BigQuery, ti consigliamo di iniziare eseguendo lo strumento di valutazione della migrazione a BigQuery per valutare la fattibilità e i potenziali vantaggi dello spostamento del tuo data warehouse da Teradata a BigQuery. Questo strumento fornisce un approccio strutturato per comprendere l'ambiente Teradata attuale e stimare l'impegno necessario per una migrazione di successo.
L'esecuzione dello strumento di valutazione della migrazione a BigQuery genera un report di valutazione che contiene le seguenti sezioni:
- Report sul sistema esistente: un'istantanea del sistema Teradata esistente e del suo utilizzo, incluso il numero di database, schemi, tabelle e dimensioni totali in TB. Inoltre, elenca gli schemi in base alle dimensioni e indica un potenziale utilizzo non ottimale delle risorse, ad esempio tabelle senza scritture o con poche letture.
- Suggerimenti per la trasformazione in stato stabile di BigQuery: mostra l'aspetto del sistema su BigQuery dopo la migrazione. Include suggerimenti per ottimizzare i workload su BigQuery ed evitare sprechi.
- Piano di migrazione: fornisce informazioni sull'attività di migrazione stessa. Ad esempio, il passaggio dal sistema esistente allo stato stabile di BigQuery. Questa sezione include il conteggio delle query che sono state tradotte automaticamente e il tempo previsto per spostare ogni tabella in BigQuery.
Per saperne di più sui risultati di una valutazione della migrazione, consulta Esamina il report di Data Studio.
Eseguire la migrazione di schema e dati da Teradata
Dopo aver esaminato i risultati della valutazione della migrazione, puoi avviare la migrazione di Teradata preparando BigQuery per la migrazione, quindi configurando un job di trasferimento dei dati.
Per ulteriori informazioni sul processo di migrazione di Teradata, consulta Esegui la migrazione di schema e dati da Teradata.
Convalida la migrazione
Dopo aver eseguito la migrazione dei dati Teradata a BigQuery, esegui lo strumento Data Validation Tool (DVT) per eseguire una convalida dei dati sui dati BigQuery di cui è stata appena eseguita la migrazione. Il DVT convalida varie funzioni, dal livello della tabella al livello della riga, per verificare che i dati di cui è stata eseguita la migrazione funzionino come previsto. Per saperne di più sul DVT, consulta Introduzione al Data Validation Tool per le migrazioni EDW.
Puoi accedere al DVT nel repository GitHub pubblico del DVT.
Passaggi successivi
- Prova una migrazione di test da Teradata a BigQuery.