Migration de Teradata vers BigQuery : introduction
Ce document décrit les raisons pour lesquelles vous pourriez migrer de Teradata vers BigQuery, compare les fonctionnalités de Teradata et de BigQuery, et présente les étapes à suivre pour commencer votre migration vers BigQuery.
Pourquoi migrer de Teradata vers BigQuery ?
Teradata a été l'un des premiers innovateurs dans la gestion et l'analyse de volumes de données importants. Toutefois, à mesure que vos besoins en cloud computing évoluent, vous aurez peut-être besoin d'une solution plus moderne pour l'analyse de vos données.
Si vous avez déjà utilisé Teradata, envisagez de migrer vers BigQuery pour les raisons suivantes :
- Surmonter les contraintes des anciennes plates-formes
- L'architecture conventionnelle de Teradata peine souvent à répondre aux exigences de l'analyse moderne, en particulier au besoin de simultanéité illimitée et de performances élevées et constantes pour diverses charges de travail. L'architecture sans serveur de BigQuery est conçue pour répondre à ces exigences avec un minimum d'efforts.
- Adopter une stratégie cloud native
- De nombreuses organisations migrent stratégiquement de l'infrastructure sur site vers le cloud. Cette transition nécessite de passer de solutions conventionnelles liées au matériel, comme Teradata, à un service entièrement géré, évolutif et à la demande, comme BigQuery, afin de réduire les frais généraux d'exploitation.
- Intégration à des sources de données et des outils d'analyse modernes
- Les données d'entreprise clés résident de plus en plus dans des sources cloud. BigQuery est intégré de manière native à l'écosystème Cloud de Confiance by S3NS , ce qui permet d'accéder facilement à ces sources et d'effectuer des analyses avancées, du machine learning et du traitement des données en temps réel sans les limites d'infrastructure de Teradata.
- Optimiser les coûts et l'évolutivité
- Teradata implique souvent des processus de scaling complexes et coûteux. BigQuery offre un scaling transparent et automatique du stockage et du calcul de manière indépendante, ce qui élimine le besoin de reconfiguration manuelle et offre un coût total de possession plus prévisible et souvent inférieur.
Comparatif des fonctionnalités
Le tableau suivant compare les fonctionnalités et les concepts de Teradata aux fonctionnalités équivalentes de BigQuery :
| Concept Teradata | Équivalent BigQuery | Description |
|---|---|---|
| Teradata (sur site, cloud, hybride) | BigQuery (plate-forme de données d'IA unifiée). BigQuery offre un grand nombre de fonctionnalités supplémentaires par rapport à un entrepôt de données classique. | BigQuery est un entrepôt de données cloud natif entièrement géré sur Cloud de Confiance by S3NS. Teradata propose des options sur site, cloud et hybrides. BigQuery est sans serveur et disponible sur tous les clouds en tant que BQ Omni. |
| Outils Teradata (Teradata Studio, BTEQ) | Cloud de Confiance console, BigQuery Studio, l'outil de ligne de commande bq | Les deux proposent des interfaces pour gérer l'entrepôt de données et interagir avec lui. BigQuery Studio est une interface Web intégrée à Cloud de Confiance by S3NS qui permet d'écrire du code SQL, Python et Apache Spark. |
| Bases de données/Schémas | Ensembles de données | Dans Teradata, les bases de données et les schémas sont utilisés pour organiser les tables et les vues, de la même manière que les ensembles de données BigQuery. Cependant, leur gestion et leur utilisation peuvent différer. |
| Table | Table | Les deux plates-formes utilisent des tables pour stocker les données dans des lignes et des colonnes. |
| Afficher | Afficher | Les vues fonctionnent de la même manière sur les deux plates-formes, ce qui permet de créer des tables virtuelles basées sur des requêtes. |
| Clé primaire | Clé primaire (non appliquée dans GoogleSQL) | BigQuery est compatible avec les clés primaires non appliquées dans GoogleSQL. Elles sont principalement destinées à faciliter l'optimisation des requêtes. |
| Clé étrangère | Clé étrangère (non appliquée dans GoogleSQL) | BigQuery est compatible avec les clés étrangères non appliquées dans GoogleSQL. Elles sont principalement destinées à faciliter l'optimisation des requêtes. |
| Index | Clustering, index de recherche, index vectoriels (automatiques ou gérés) | Teradata permet de créer des index de manière explicite. Nous vous recommandons d'utiliser le clustering dans BigQuery. Bien qu'il ne soit pas équivalent aux index de base de données, le clustering permet de stocker les données ordonnées sur le disque, ce qui permet d'optimiser la récupération des données lorsque des colonnes en cluster sont utilisées comme prédicats. BigQuery est compatible avec les index de recherche et les index vectoriels. |
| Partitionnement | Partitionnement | Les deux plates-formes sont compatibles avec le partitionnement des tables pour améliorer les performances des requêtes sur les grandes tables. BigQuery n'est compatible qu'avec le partitionnement par dates et par entiers. Pour les chaînes, utilisez plutôt le clustering. |
| Allocation des ressources (en fonction du matériel et des licences) | Réservations (basées sur la capacité), tarification à la demande (tarification d'analyse) | BigQuery propose des modèles de tarification flexibles. Les réservations offrent des coûts prévisibles pour les charges de travail cohérentes et ponctuelles grâce à l'autoscaling, tandis que la tarification à la demande se concentre sur les frais d'analyse par octet de requête. |
| BTEQ, SQL Assistant, autres outils clients | BigQuery Studio, l'outil de ligne de commande bq, les API | BigQuery fournit différentes interfaces pour exécuter des requêtes, y compris un éditeur Web, un outil de ligne de commande et des API pour l'accès automatisé. |
| Journalisation/Historique des requêtes | Historique des requêtes, INFORMATION_SCHEMA.JOBS |
BigQuery conserve un historique des requêtes exécutées, ce qui vous permet d'examiner les requêtes passées, d'analyser les performances et de résoudre les problèmes. INFORMATION_SCHEMA.JOBS conserve l'historique de tous les jobs envoyés au cours des six derniers mois. |
| Fonctionnalités de sécurité (contrôle des accès, chiffrement) | Fonctionnalités de sécurité (IAM, LCA, chiffrement) | Les deux offrent une sécurité robuste. BigQuery utilise Cloud de Confiance by S3NS IAM pour contrôler précisément les accès. |
| Contrôles réseau (pare-feu, VPN) | VPC Service Controls, accès privé à Google | BigQuery s'intègre à VPC Service Controls pour limiter l'accès à vos ressources BigQuery à partir de réseaux spécifiques. L'accès privé à Google vous permet d'accéder à BigQuery sans utiliser d'adresses IP publiques. |
| Gestion des utilisateurs et des rôles | Identity and Access Management (IAM) | BigQuery utilise IAM pour un contrôle ultraprécis des accès. Vous pouvez accorder des autorisations spécifiques aux utilisateurs et aux comptes de service au niveau du projet, de l'ensemble de données et de la table. |
| Autorisations et rôles sur les objets | Listes de contrôle d'accès (LCA) sur les ensembles de données et les tables | BigQuery vous permet de définir des LCA sur les ensembles de données et les tables pour contrôler l'accès de manière précise. |
| Chiffrement au repos et en transit | Chiffrement au repos et en transit, clés de chiffrement gérées par le client (CMEK), clés pouvant être hébergées dans des systèmes EKM externes. | BigQuery chiffre les données par défaut. Vous pouvez également gérer vos propres clés de chiffrement pour un contrôle accru. |
| Fonctionnalités de gouvernance et de conformité des données | Règles de gouvernance des données, protection contre la perte de données (DLP) | BigQuery est compatible avec les règles de gouvernance des données et la protection contre la perte de données (DLP) pour vous aider à appliquer les exigences de sécurité et de conformité des données. |
| Utilitaires de chargement Teradata (par exemple, FastLoad, MultiLoad), bteq | Le service de transfert de données BigQuery, l'outil de ligne de commande bq, les API | BigQuery propose différentes méthodes de chargement des données. Teradata dispose d'utilitaires de chargement spécialisés. BigQuery met l'accent sur l'évolutivité et la vitesse pour l'ingestion de données. |
| Utilitaires d'exportation Teradata, bteq | Outil de ligne de commande bq, API, exportation vers Cloud Storage | BigQuery permet d'exporter des données vers différentes destinations. Teradata dispose de ses propres outils d'exportation. L'intégration de BigQuery à Cloud Storage est un avantage clé. L'API BigQuery Storage Read fournit à tout calcul externe la capacité de lire des données de manière groupée. |
| Tables externes | Tables externes | Tous deux permettent d'interroger des données dans un espace de stockage externe. BigQuery s'intègre parfaitement à Cloud Storage, Spanner, Bigtable, Cloud SQL, AWS S3, Azure Blob Storage et Google Drive. |
| Vues matérialisées | Vues matérialisées | Tous deux proposent des vues matérialisées pour les performances des requêtes. BigQuery fournit des vues matérialisées avec optimisation intelligente qui renvoient toujours les données actuelles et permettent également de réécrire automatiquement les requêtes en vues matérialisées, même lorsque la requête fait référence à une table de base. |
| Fonctions définies par l'utilisateur (UDF) | Fonctions définies par l'utilisateur (UDF) (SQL, JavaScript) | BigQuery est compatible avec les UDF en SQL et en JavaScript. |
| Teradata Scheduler, autres outils de planification | Requêtes programmées, Managed Service pour Apache Airflow, Cloud Functions, pipelines BigQuery | BigQuery s'intègre aux services de planification Cloud de Confiance by S3NS et à d'autres outils de planification externes. |
| Panorama | Administration de BigQuery pour la surveillance, la vérification de l'état, l'exploration des jobs et la gestion de la capacité. | BigQuery propose une boîte à outils d'administration complète basée sur l'interface utilisateur, qui contient plusieurs volets pour surveiller l'état opérationnel et l'utilisation des ressources. |
| Sauvegarde et récupération | Clonage d'ensembles de données, fonctionnalité de voyage temporel et de sécurité, instantané et clonage de tables, stockage régional et multirégional, sauvegarde et récupération interrégionales. | BigQuery propose des instantanés et un voyage temporel pour récupérer des données. Les fonctionnalités temporelles vous permettent d'accéder aux données historiques d'une certaine période. BigQuery propose également le clonage d'ensembles de données, le stockage régional et multirégional, ainsi que des options de sauvegarde et de récupération interrégionales. |
| Fonctions géospatiales | Fonctions géospatiales | Les deux plates-formes sont compatibles avec les données et les fonctions géospatiales. |
Commencer
Les sections suivantes résument le processus de migration de Teradata vers BigQuery :
Exécuter une évaluation de la migration
Pour votre migration de Teradata vers BigQuery, nous vous recommandons de commencer par exécuter l'outil d'évaluation de la migration BigQuery afin d'évaluer la faisabilité et les avantages potentiels de la migration de votre entrepôt de données de Teradata vers BigQuery. Cet outil fournit une approche structurée pour comprendre votre environnement Teradata actuel et estimer l'effort nécessaire pour réussir la migration.
L'exécution de l'outil d'évaluation de la migration BigQuery génère un rapport d'évaluation contenant les sections suivantes :
- Rapport sur le système existant : instantané du système Teradata et de son utilisation, y compris le nombre de bases de données, de schémas et de tables, et la taille totale en To. Il répertorie également les schémas par taille et pointe vers une utilisation potentiellement sous-optimale des ressources (tables sans écriture ou peu de lectures).
- Suggestions de transformation vers l'état stable de BigQuery : montre à quoi ressemblera le système sur BigQuery après la migration. Il inclut des suggestions pour optimiser les charges de travail sur BigQuery et éviter les gaspillages.
- Plan de migration : fournit des informations sur l'effort de migration à proprement parler. Par exemple, passer du système existant à l'état stable de BigQuery. Cette section inclut le nombre de requêtes traduites automatiquement, ainsi que le temps nécessaire pour déplacer chaque table vers BigQuery.
Pour en savoir plus sur les résultats d'une évaluation de migration, consultez Examiner le rapport Data Studio.
Migrer le schéma et les données depuis Teradata
Une fois que vous avez examiné les résultats de l'évaluation de la migration, vous pouvez lancer la migration Teradata en préparant BigQuery pour la migration, puis en configurant un job de transfert de données.
Pour en savoir plus sur le processus de migration Teradata, consultez Migrer le schéma et les données depuis Teradata.
Valider votre migration
Une fois que vous avez migré vos données Teradata vers BigQuery, exécutez l'outil de validation des données (DVT, Data Validation Tool) pour valider vos données BigQuery récemment migrées. Le DVT valide diverses fonctions, du niveau de la table au niveau de la ligne, pour vérifier que vos données migrées fonctionnent comme prévu. Pour en savoir plus sur l'outil de validation des données, consultez Présentation de l'outil de validation des données pour les migrations EDW.
Vous pouvez accéder au DVT dans le dépôt GitHub public du DVT.
Étapes suivantes
- Essayez une migration de test de Teradata vers BigQuery.