Migración de Teradata a BigQuery: Introducción
En este documento, se describen los motivos por los que podrías migrar de Teradata a BigQuery, se comparan las funciones de Teradata y BigQuery, y se proporciona un resumen de los pasos para comenzar la migración a BigQuery.
¿Por qué migrar de Teradata a BigQuery?
Teradata fue un innovador temprano en la administración y el análisis de grandes volúmenes de datos. Sin embargo, a medida que evolucionan tus necesidades de computación en la nube, es posible que necesites una solución más moderna para tu análisis de datos.
Si ya usaste Teradata, considera migrar a BigQuery por los siguientes motivos:
- Supera las restricciones de las plataformas heredadas
- La arquitectura convencional de Teradata suele tener dificultades para satisfacer las demandas de las estadísticas modernas, en especial la necesidad de simultaneidad ilimitada y un alto rendimiento constante para cargas de trabajo diversas. La arquitectura sin servidores en BigQuery está diseñada para controlar estas demandas con el mínimo esfuerzo.
- Adopta una estrategia nativa de la nube
- Muchas organizaciones están migrando de forma estratégica de la infraestructura local a la nube. Este cambio requiere que se dejen de lado las soluciones convencionales vinculadas al hardware, como Teradata, y se adopte un servicio completamente administrado, escalable y a pedido, como BigQuery, para reducir la sobrecarga operativa.
- Integración con fuentes de datos y estadísticas modernas
- Los datos empresariales clave residen cada vez más en fuentes basadas en la nube. BigQuery se integra de forma nativa en el ecosistema de Cloud de Confiance by S3NS , lo que proporciona acceso sin problemas a estas fuentes y permite realizar análisis avanzados, aprendizaje automático y procesamiento de datos en tiempo real sin las limitaciones de infraestructura de Teradata.
- Optimiza los costos y la escalabilidad
- Teradata suele implicar procesos de escalamiento complejos y costosos. BigQuery ofrece ajuste de escala automático transparente del almacenamiento y el procesamiento de forma independiente, lo que elimina la necesidad de realizar una reconfiguración manual y proporciona un costo total de propiedad más predecible y, a menudo, más bajo.
Comparación de funciones
En la siguiente tabla, se comparan las funciones y los conceptos de Teradata con las funciones equivalentes de BigQuery:
| Concepto de Teradata | Equivalente en BigQuery | Descripción |
|---|---|---|
| Teradata (local, en la nube, híbrida) | BigQuery (plataforma de datos de IA unificada) BigQuery proporciona un gran conjunto de capacidades adicionales en comparación con un almacén de datos convencional. | BigQuery es un almacén de datos nativo de la nube y completamente administrado en Cloud de Confiance by S3NS. Teradata ofrece opciones locales, en la nube y de forma híbrida. BigQuery no tiene servidores y está disponible en todas las nubes como BQ Omni. |
| Herramientas de Teradata (Teradata Studio, BTEQ) | Consola deCloud de Confiance , BigQuery Studio, la herramienta de línea de comandos de bq | Ambas ofrecen interfaces para administrar el almacén de datos y, también, interactuar con él. BigQuery Studio está basado en la Web y se integra en Cloud de Confiance by S3NS , y permite escribir SQL, Python y Apache Spark. |
| Bases de datos/esquemas | Conjuntos de datos | En Teradata, las bases de datos y los esquemas se usan para organizar tablas y vistas, de manera similar a los conjuntos de datos de BigQuery. Sin embargo, la forma en que se administran y usan puede variar. |
| Tabla | Tabla | Ambas plataformas usan tablas para almacenar datos en filas y columnas. |
| Ver | Ver | Las vistas funcionan de manera similar en ambas plataformas, ya que proporcionan una forma de crear tablas virtuales basadas en consultas. |
| Clave primaria | Clave primaria (no se aplica en GoogleSQL) | BigQuery admite claves primarias no aplicadas en GoogleSQL. Se usan principalmente para ayudar con la optimización de consultas. |
| Clave externa | Clave externa (no aplicada en GoogleSQL) | BigQuery admite claves externas no aplicadas en GoogleSQL. Se usan principalmente para ayudar con la optimización de consultas. |
| Índice | Clústeres, índices de búsqueda, índices de vectores (automáticos o administrados) | Teradata permite la creación de índices explícitos. Recomendamos el agrupamiento en clústeres en BigQuery. Si bien no equivale a los índices de bases de datos, el agrupamiento en clústeres ayuda a almacenar los datos ordenados en el disco, lo que ayuda a optimizar la recuperación de datos cuando las columnas agrupadas en clústeres se usan como predicados. BigQuery admite índices de búsqueda e índices vectoriales. |
| Partición | Partición | Ambas plataformas admiten la partición de tablas para mejorar el rendimiento de las consultas en tablas grandes. BigQuery solo admite la partición por fechas y números enteros. Para las cadenas, usa el agrupamiento en clústeres. |
| Asignación de recursos (según el hardware y las licencias) | Reservas (basadas en la capacidad), precios a pedido (precios de análisis) | BigQuery ofrece modelos de precios flexibles. Las reservas proporcionan costos predecibles para cargas de trabajo coherentes y a pedido con el escalado automático, mientras que los precios a pedido se enfocan en los cargos por análisis de bytes por consulta. |
| BTEQ, SQL Assistant y otras herramientas de cliente | BigQuery Studio, la herramienta de línea de comandos de bq y las APIs | BigQuery proporciona varias interfaces para ejecutar consultas, incluido un editor basado en la Web, una herramienta de línea de comandos y APIs para el acceso programático. |
| Registro/historial de consultas | Historial de consultas, INFORMATION_SCHEMA.JOBS |
BigQuery mantiene un historial de las consultas ejecutadas, lo que te permite revisar las consultas anteriores, analizar el rendimiento y solucionar problemas. INFORMATION_SCHEMA.JOBS mantiene el historial de todos los trabajos enviados en los últimos 6 meses. |
| Funciones de seguridad (control de acceso, encriptación) | Funciones de seguridad (IAM, LCA y encriptación) | Ambos ofrecen una seguridad sólida. BigQuery usa Cloud de Confiance by S3NS IAM para un control de acceso detallado. |
| Controles de red (firewalls y VPNs) | Controles del servicio de VPC, Acceso privado a Google | BigQuery se integra en los Controles del servicio de VPC para restringir el acceso a tus recursos de BigQuery desde redes específicas. El Acceso privado a Google te permite acceder a BigQuery sin usar IPs públicas. |
| Administración de usuarios y roles | Identity and Access Management (IAM) | BigQuery usa IAM para el control de acceso detallado. Puedes otorgar permisos específicos a usuarios y cuentas de servicio a nivel de proyecto, conjunto de datos y tabla. |
| Permisos y roles en objetos | Listas de control de acceso (LCA) en conjuntos de datos y tablas | BigQuery te permite definir LCA en conjuntos de datos y tablas para controlar el acceso de forma detallada. |
| Encriptación en reposo y en tránsito | Encriptación en reposo y en tránsito, claves de encriptación administradas por el cliente (CMEK), las claves se pueden alojar en sistemas de EKM externos. | BigQuery encripta los datos de forma predeterminada. También puedes administrar tus propias claves de encriptación para obtener un control adicional. |
| Funciones de administración de datos y cumplimiento | Políticas de administración de datos, DLP (prevención de pérdida de datos) | BigQuery admite políticas de administración de datos y DLP para ayudarte a aplicar los requisitos de seguridad y cumplimiento de los datos. |
| Utilidades de carga de Teradata (p.ej., FastLoad, MultiLoad), bteq | El Servicio de transferencia de datos de BigQuery, la herramienta de línea de comandos de bq y las APIs | BigQuery proporciona varios métodos de carga de datos. Teradata tiene utilidades de carga especializadas. BigQuery enfatiza la escalabilidad y la velocidad para la transferencia de datos. |
| Utilidades de exportación de Teradata, bteq | La herramienta de línea de comandos de bq, las APIs y la exportación a Cloud Storage | BigQuery ofrece la exportación de datos a varios destinos. Teradata tiene sus propias herramientas de exportación. La integración de BigQuery con Cloud Storage es una ventaja clave. La API de lectura de BigQuery Storage proporciona cualquier capacidad de procesamiento externa para leer datos de forma masiva. |
| Tablas externas | Tablas externas | Ambos admiten la consulta de datos en el almacenamiento externo. BigQuery se integra bien con Cloud Storage, Spanner, Bigtable, Cloud SQL, AWS S3, Azure Blob Storage y Google Drive. |
| Vistas materializadas | Vistas materializadas | Ambos ofrecen vistas materializadas para el rendimiento de las consultas. BigQuery proporciona vistas materializadas de ajuste inteligente que siempre devuelven datos actuales y también proporcionan reescritura automática de consultas en vistas materializadas, incluso cuando la consulta se refiere a la tabla base. |
| Funciones definidas por el usuario (UDF) | Funciones definidas por el usuario (UDF) (SQL, JavaScript) | BigQuery admite UDF en SQL y JavaScript. |
| Teradata Scheduler y otras herramientas de programación | Consultas programadas, Managed Service para Apache Airflow, Cloud Functions y canalizaciones de BigQuery | BigQuery se integra en los servicios de programación de Cloud de Confiance by S3NS y otras herramientas de programación externas. |
| Mirador | Administración de BigQuery para supervisar, verificación de estado, explorar trabajos y administrar la capacidad | BigQuery ofrece una caja de herramientas de administración integral basada en la IU que contiene varios paneles para supervisar el estado operativo y el uso de recursos. |
| Copia de seguridad y recuperación | Clonación de conjuntos de datos, viaje en el tiempo y protección contra fallas, instantáneas y clonación de tablas, almacenamiento regional y multirregional, copia de seguridad y recuperación entre regiones. | BigQuery ofrece instantáneas y viajes en el tiempo para recuperar datos. La función retroactiva te permite acceder a datos históricos dentro de un período determinado. BigQuery también ofrece opciones de clonación de conjuntos de datos, almacenamiento regional y multirregional, y copia de seguridad y recuperación entre regiones. |
| Funciones geoespaciales | Funciones geoespaciales | Ambas plataformas admiten datos y funciones geoespaciales. |
Comenzar
En las siguientes secciones, se resume el proceso de migración de Teradata a BigQuery:
Ejecuta una evaluación de migración
En tu migración de Teradata a BigQuery, te recomendamos que comiences ejecutando la herramienta de evaluación de migración de BigQuery para evaluar la viabilidad y los posibles beneficios de mover tu almacén de datos de Teradata a BigQuery. Esta herramienta proporciona un enfoque estructurado para comprender tu entorno actual de Teradata y estimar el esfuerzo que implica una migración exitosa.
La ejecución de la herramienta de evaluación de migración de BigQuery produce un informe de evaluación que contiene las siguientes secciones:
- Informe del sistema existente: una instantánea del sistema y el uso de Teradata existentes, incluida la cantidad de bases de datos, esquemas, tablas y el tamaño total en TB. También se enumeran los esquemas por tamaño y se apunta al posible uso de recursos deficientes, como tablas sin escrituras o pocas lecturas.
- Sugerencias de transformación de estado estable de BigQuery: Muestra cómo se verá el sistema en BigQuery después de la migración. Incluye sugerencias para optimizar las cargas de trabajo en BigQuery y evitar el desperdicio.
- Plan de migración: Proporciona información sobre el esfuerzo de migración. Por ejemplo, pasar del sistema existente al estado estable de BigQuery. En esta sección, se incluye el recuento de consultas que se tradujeron de forma automática y el tiempo esperado para mover cada tabla a BigQuery.
Para obtener más información sobre los resultados de una evaluación de migración, consulta Revisa el informe de Data Studio.
Migra un esquema y datos desde Teradata
Una vez que hayas revisado los resultados de la evaluación de la migración, puedes iniciar la migración de Teradata preparando BigQuery para la migración y, luego, configurando un trabajo de transferencia de datos.
Para obtener más información sobre el proceso de migración de Teradata, consulta Migra un esquema y datos desde Teradata.
Valida la migración
Una vez que hayas migrado tus datos de Teradata a BigQuery, ejecuta la Herramienta de validación de datos (DVT) para realizar una validación de tus datos de BigQuery recién migrados. La DVT valida varias funciones, desde el nivel de tabla hasta el nivel de fila, para verificar que tus datos migrados funcionen según lo previsto. Para obtener más información sobre la DVT, consulta Presentamos la herramienta de validación de datos para las migraciones de EDW.
Puedes acceder a la DVT en el repositorio público de GitHub de la DVT.
¿Qué sigue?
- Prueba una migración de prueba de Teradata a BigQuery.