Migration von Teradata zu BigQuery: Einführung
In diesem Dokument werden die Gründe für eine Migration von Teradata zu BigQuery erläutert, die Funktionen von Teradata und BigQuery verglichen und die Schritte für den Beginn der BigQuery-Migration beschrieben.
Warum von Teradata zu BigQuery migrieren?
Teradata war ein früher Innovator bei der Verwaltung und Analyse großer Datenmengen. Wenn sich Ihre Cloud-Computing-Anforderungen jedoch weiterentwickeln, benötigen Sie möglicherweise eine modernere Lösung für Ihre Datenanalyse.
Wenn Sie zuvor Teradata verwendet haben, sollten Sie aus den folgenden Gründen zu BigQuery migrieren:
- Einschränkungen von Legacy-Plattformen überwinden
- Die herkömmliche Architektur von Teradata kann die Anforderungen moderner Analysen oft nicht erfüllen, insbesondere die Notwendigkeit einer unbegrenzten Nebenläufigkeit und einer konstant hohen Leistung für verschiedene Arbeitslasten. Die serverlose Architektur in BigQuery ist darauf ausgelegt, diese Anforderungen mit minimalem Aufwand zu erfüllen.
- Cloudnative Strategie einführen
- Viele Organisationen migrieren strategisch von einer lokalen Infrastruktur in die Cloud. Diese Umstellung erfordert eine Abkehr von herkömmlichen, hardwaregebundenen Lösungen wie Teradata hin zu einem vollständig verwalteten, skalierbaren On-Demand-Dienst wie BigQuery, um den Betriebsaufwand zu reduzieren.
- In moderne Datenquellen und Analysen einbinden
- Wichtige Unternehmensdaten befinden sich zunehmend in cloudbasierten Quellen. BigQuery ist nativ in das Cloud de Confiance by S3NS -Ökosystem eingebunden und bietet nahtlosen Zugriff auf diese Quellen. Es ermöglicht erweiterte Analysen, maschinelles Lernen und Echtzeit-Datenverarbeitung ohne die Infrastruktureinschränkungen von Teradata.
- Kosten und Skalierbarkeit optimieren
- Teradata ist oft mit komplexen und kostspieligen Skalierungsprozessen verbunden. BigQuery bietet eine transparente und automatische Skalierung von Speicher und Computing unabhängig voneinander. Eine manuelle Neukonfiguration ist nicht erforderlich und die Gesamtbetriebskosten sind besser vorhersehbar und oft niedriger.
Funktionsvergleich
In der folgenden Tabelle werden die Funktionen und Konzepte in Teradata mit den entsprechenden Funktionen in BigQuery verglichen:
| Teradata-Konzept | BigQuery-Äquivalent | Beschreibung |
|---|---|---|
| Teradata (lokal, Cloud, Hybrid) | BigQuery (einheitliche KI-Datenplattform) BigQuery bietet im Vergleich zu einem herkömmlichen Data Warehouse eine Vielzahl zusätzlicher Funktionen. | BigQuery ist ein vollständig verwaltetes, cloudnatives Data Warehouse in Cloud de Confiance by S3NS. Teradata bietet lokale, Cloud- und Hybrid-Optionen. BigQuery ist serverlos und in allen Clouds als BQ Omni verfügbar. |
| Teradata-Tools (Teradata Studio, BTEQ) | Cloud de Confiance Console, BigQuery Studio, bq-Befehlszeilentool | Beide bieten Schnittstellen zum Verwalten und Interagieren mit dem Data Warehouse. BigQuery Studio ist webbasiert und in Cloud de Confiance by S3NS integriert. Es bietet die Möglichkeit, SQL, Python und Apache Spark zu schreiben. |
| Datenbanken/Schemas | Datasets | In Teradata werden Datenbanken und Schemas verwendet, um Tabellen und Ansichten zu organisieren, ähnlich wie BigQuery-Datasets. Die Art und Weise, wie sie verwaltet und verwendet werden, kann sich jedoch unterscheiden. |
| Tabelle | Tabelle | Beide Plattformen verwenden Tabellen, um Daten in Zeilen und Spalten zu speichern. |
| Ansehen | Ansehen | Ansichten funktionieren auf beiden Plattformen ähnlich und bieten eine Möglichkeit, virtuelle Tabellen basierend auf Abfragen zu erstellen. |
| Primärschlüssel | Primärschlüssel (in GoogleSQL nicht erzwungen) | BigQuery unterstützt nicht erzwungene Primärschlüssel in GoogleSQL. Diese dienen in erster Linie der Abfrageoptimierung. |
| Fremdschlüssel | Fremdschlüssel (in GoogleSQL nicht erzwungen) | BigQuery unterstützt nicht erzwungene Fremdschlüssel in GoogleSQL. Diese dienen in erster Linie der Abfrageoptimierung. |
| Index | Clustering, Suchindexe, Vektorindexe (automatisch oder verwaltet) | Teradata ermöglicht die explizite Indexerstellung. Wir empfehlen Clustering in BigQuery. Das Clustering ist zwar nicht mit Datenbankindexen gleichzusetzen, hilft aber, die Daten auf dem Laufwerk geordnet zu speichern. Dies trägt zur Optimierung des Datenabrufs bei, wenn geclusterte Spalten als Prädikate verwendet werden. BigQuery unterstützt Suchindexe und Vektorindexe. |
| Partitionierung | Partitionierung | Beide Plattformen unterstützen die Tabellenpartitionierung, um die Abfrageleistung bei großen Tabellen zu verbessern. BigQuery unterstützt nur die Partitionierung nach Datumsangaben und Ganzzahlen. Verwenden Sie für Strings stattdessen Clustering. |
| Ressourcenzuweisung (basierend auf Hardware und Lizenzierung) | Reservierungen (kapazitätsbasiert), On-Demand-Preise (Analysepreise) | BigQuery bietet flexible Preismodelle. Reservierungen bieten vorhersehbare Kosten für konsistente sowie Ad-hoc-Arbeitslasten mit Autoscaling, während sich die On-Demand-Preise auf die Gebühren pro Abfrage-Byte-Scan konzentrieren. |
| BTEQ, SQL-Assistent, andere Client-Tools | BigQuery Studio, das bq-Befehlszeilentool, APIs | BigQuery bietet verschiedene Schnittstellen zum Ausführen von Abfragen, darunter einen webbasierten Editor, ein Befehlszeilentool und APIs für den programmatischen Zugriff. |
| Abfrage-Logging/Verlauf | Abfrageverlauf, INFORMATION_SCHEMA.JOBS |
BigQuery speichert einen Verlauf der ausgeführten Abfragen, sodass Sie frühere Abfragen überprüfen, die Leistung analysieren und Probleme beheben können. INFORMATION_SCHEMA.JOBS speichert den Verlauf aller Jobs, die in den letzten 6 Monaten gesendet wurden. |
| Sicherheitsfunktionen (Zugriffssteuerung, Verschlüsselung) | Sicherheitsfunktionen (IAM, ACLs, Verschlüsselung) | Beide bieten robuste Sicherheit. BigQuery verwendet Cloud de Confiance by S3NS IAM für eine detaillierte Zugriffssteuerung. |
| Netzwerksteuerung (Firewalls, VPNs) | VPC Service Controls, Privater Google-Zugriff | BigQuery lässt sich in VPC Service Controls einbinden, um den Zugriff auf Ihre BigQuery-Ressourcen von bestimmten Netzwerken aus einzuschränken. Mit dem privater Google-Zugriff können Sie auf BigQuery zugreifen, ohne öffentliche IP-Adressen zu verwenden. |
| Nutzer- und Rollenverwaltung | Identity and Access Management (IAM) | BigQuery verwendet IAM für eine detaillierte Zugriffssteuerung. Sie können Nutzern und Dienstkonten auf Projekt-, Dataset- und Tabellenebene bestimmte Berechtigungen gewähren. |
| Berechtigungen und Rollen für Objekte | Access Control Lists (ACLs) für Datasets und Tabellen | In BigQuery können Sie ACLs für Datasets und Tabellen definieren, um den Zugriff auf detaillierter Ebene zu steuern. |
| Verschlüsselung ruhender Daten und Verschlüsselung während der Übertragung | Verschlüsselung ruhender und übertragener Daten, kundenverwaltete Verschlüsselungsschlüssel (CMEK), Schlüssel können in externen EKM-Systemen gehostet werden. | BigQuery verschlüsselt Daten standardmäßig. Sie können auch Ihre eigenen Verschlüsselungsschlüssel verwalten, um zusätzliche Kontrolle zu erhalten. |
| Data Governance- und Compliance-Funktionen | Data-Governance-Richtlinien, Schutz vor Datenverlust (DLP) | BigQuery unterstützt Data-Governance-Richtlinien und DLP, damit Sie Anforderungen an Datensicherheit und Compliance erfüllen können. |
| Teradata-Ladedienstprogramme (z.B. FastLoad, MultiLoad), bteq | BigQuery Data Transfer Service, bq-Befehlszeilentool, APIs | BigQuery bietet verschiedene Methoden zum Laden von Daten. Teradata bietet spezielle Ladedienstprogramme. BigQuery legt den Schwerpunkt auf Skalierbarkeit und Geschwindigkeit bei der Datenaufnahme. |
| Teradata-Exportdienstprogramme, bteq | bq-Befehlszeilentool, APIs, Export nach Cloud Storage | BigQuery bietet Datenexporte an verschiedene Ziele. Teradata hat eigene Exporttools. Die Integration von BigQuery in Cloud Storage ist ein wichtiger Vorteil. Die BigQuery Storage Read API bietet externen Rechenkapazitäten die Möglichkeit, Daten im Bulk zu lesen. |
| Externe Tabellen | Externe Tabellen | Beide unterstützen das Abfragen von Daten in externem Speicher. BigQuery lässt sich gut in Cloud Storage, Spanner, Bigtable, Cloud SQL, AWS S3, Azure Blob Storage und Google Drive einbinden. |
| Materialisierte Ansichten | Materialisierte Ansichten | Beide bieten materialisierte Ansichten für die Abfrageleistung. BigQuery bietet materialisierte Ansichten mit intelligenter Feinabstimmung, die immer aktuelle Daten zurückgeben und auch eine automatische Abfrageumschreibung in materialisierte Ansichten ermöglichen, selbst wenn sich die Abfrage auf die Basistabelle bezieht. |
| Benutzerdefinierte Funktionen (UDFs) | Benutzerdefinierte Funktionen (UDFs) (SQL, JavaScript) | BigQuery unterstützt UDFs in SQL und JavaScript. |
| Teradata Scheduler, andere Planungstools | Geplante Abfragen, Managed Service for Apache Airflow, Cloud Functions, BigQuery-Pipelines | BigQuery lässt sich in Planungsdienste von Cloud de Confiance by S3NS und andere externe Planungstools einbinden. |
| Viewpoint | BigQuery-Verwaltung für Monitoring, Systemdiagnose, Jobs und Kapazitätsverwaltung. | BigQuery bietet eine umfassende, UI-basierte Toolbox für die Verwaltung, die mehrere Bereiche zum Überwachen des Betriebszustands und der Ressourcenauslastung enthält. |
| Sicherung und Wiederherstellung | Dataset-Klonen, Zeitreisen und Fail-Safe, Tabellen-Snapshot und -Klonen, regionaler und multiregionaler Speicher, regionenübergreifende Sicherung und Wiederherstellung. | BigQuery bietet Snapshots und Zeitreisen zur Wiederherstellung von Daten. Mit der Zeitreisefunktion können Sie auf Verlaufsdaten innerhalb eines bestimmten Zeitraums zugreifen. BigQuery bietet außerdem Dataset-Klonen, regionalen und multiregionalen Speicher sowie regionenübergreifende Sicherungs- und Wiederherstellungsoptionen. |
| Geofunktionen | Geofunktionen | Beide Plattformen unterstützen Geodaten und ‑funktionen. |
Jetzt starten
In den folgenden Abschnitten wird der Migrationsprozess von Teradata zu BigQuery zusammengefasst:
Migrationsbewertung ausführen
Für die Migration von Teradata zu BigQuery empfehlen wir, zuerst das BigQuery-Tool zur Migrationsbewertung auszuführen, um die Machbarkeit und die potenziellen Vorteile der Migration Ihres Data Warehouse von Teradata zu BigQuery zu bewerten. Dieses Tool bietet einen strukturierten Ansatz, um Ihre aktuelle Teradata-Umgebung zu verstehen und den Aufwand für eine erfolgreiche Migration abzuschätzen.
Wenn Sie das BigQuery-Migrationsbewertungstool ausführen, wird ein Bewertungsbericht mit den folgenden Abschnitten erstellt:
- Bericht zum vorhandenen System: Ein Snapshot des vorhandenen Teradata-Systems und der vorhandenen Nutzung, einschließlich der Anzahl der Datenbanken, Schemas, Tabellen und der Gesamtgröße in TB. Außerdem werden die Schemas nach Größe aufgelistet und es wird auf eine potenzielle suboptimale Ressourcennutzung verwiesen, z. B. Tabellen ohne Schreibvorgänge oder mit wenigen Lesevorgängen.
- BigQuery stabiler Zustand – Transformationsvorschläge: Zeigt, wie das System nach der Migration in BigQuery aussieht. Er enthält Vorschläge zur Optimierung von Arbeitslasten in BigQuery und Vermeidung von unnötiger Inanspruchnahme.
- Migrationsplan: Enthält Informationen zur Migration selbst. Zum Beispiel zur Überführung des vorhandenen Systems in einen stabilen BigQuery-Zustand. In diesem Abschnitt werden die Anzahl der automatisch übersetzten Abfragen und die erwartete Zeit zum Verschieben der einzelnen Tabellen in BigQuery angegeben.
Weitere Informationen zu den Ergebnissen einer Migrationsbewertung finden Sie unter Data Studio-Bericht prüfen.
Schema und Daten aus Teradata migrieren
Nachdem Sie die Ergebnisse Ihrer Migrationsbewertung geprüft haben, können Sie mit der Teradata-Migration beginnen. Dazu müssen Sie BigQuery für die Migration vorbereiten und dann einen Datenübertragungsjob einrichten.
Weitere Informationen zum Teradata-Migrationsprozess finden Sie unter Schema und Daten aus Teradata migrieren.
Migration validieren
Nachdem Sie Ihre Teradata-Daten zu BigQuery migriert haben, führen Sie das Data Validation Tool (DVT) aus, um eine Datenvalidierung für Ihre neu migrierten BigQuery-Daten durchzuführen. Das DVT validiert verschiedene Funktionen, von der Tabellenebene bis zur Zeilenebene, um zu prüfen, ob Ihre migrierten Daten wie vorgesehen funktionieren. Weitere Informationen zum DVT finden Sie unter Introducing the Data Validation Tool for EDW migrations.
Sie können im öffentlichen GitHub-Repository für das DVT auf das DVT zugreifen.
Nächste Schritte
- Testen Sie die Migration von Teradata zu BigQuery.