Migração do Teradata para o BigQuery: introdução
Neste documento, descrevemos os motivos para migrar do Teradata para o BigQuery, comparamos os recursos do Teradata e do BigQuery e fornecemos um resumo das etapas para iniciar a migração para o BigQuery.
Por que migrar do Teradata para o BigQuery?
O Teradata foi um dos primeiros inovadores no gerenciamento e na análise de volumes de dados substanciais. No entanto, à medida que suas necessidades de computação em nuvem evoluem, talvez você precise de uma solução mais moderna para sua análise de dados.
Se você já usou o Teradata, considere migrar para o BigQuery pelos seguintes motivos:
- Superar as restrições de plataformas legadas
- A arquitetura convencional da Teradata geralmente tem dificuldade para atender às demandas da análise moderna, principalmente a necessidade de simultaneidade ilimitada e desempenho consistentemente alto para diversas cargas de trabalho. A arquitetura sem servidor do BigQuery foi projetada para lidar com essas demandas com o mínimo de esforço.
- Adote uma estratégia nativa da nuvem
- Muitas organizações estão migrando estrategicamente da infraestrutura local para a nuvem. Essa mudança exige que as soluções convencionais, vinculadas ao hardware, como o Teradata, sejam substituídas por um serviço totalmente gerenciado, escalonável e sob demanda, como o BigQuery, para reduzir a sobrecarga operacional.
- Integração com fontes de dados e análises modernas
- Os principais dados empresariais estão cada vez mais em fontes baseadas na nuvem. O BigQuery é integrado nativamente ao ecossistema do Cloud de Confiance by S3NS , oferecendo acesso contínuo a essas fontes e permitindo análises avançadas, machine learning e processamento de dados em tempo real sem as limitações de infraestrutura do Teradata.
- Otimizar custos e escalonabilidade
- O Teradata geralmente envolve processos de escalonamento complexos e caros. O BigQuery oferece escalonamento automático transparente de armazenamento e recursos computacionais de forma independente, eliminando a necessidade de reconfiguração manual e oferecendo um custo total de propriedade mais previsível e, muitas vezes, menor.
Comparação dos recursos
A tabela a seguir compara os recursos e conceitos do Teradata com os recursos equivalentes no BigQuery:
| Conceito do Teradata | Equivalente do BigQuery | Descrição |
|---|---|---|
| Teradata (no local, na nuvem, híbrido) | BigQuery (plataforma de dados de IA unificada). O BigQuery oferece um grande conjunto de recursos adicionais em relação a um data warehouse convencional. | O BigQuery é um data warehouse totalmente gerenciado e nativo da nuvem no Cloud de Confiance by S3NS. O Teradata oferece opções no local, na nuvem e híbridas. O BigQuery é sem servidor e está disponível em todas as nuvens como BQ Omni. |
| Ferramentas do Teradata (Teradata Studio, BTEQ) | Cloud de Confiance console, BigQuery Studio, ferramenta de linha de comando bq | Ambos oferecem interfaces para gerenciar e interagir com o data warehouse. O BigQuery Studio é baseado na Web e integrado ao Cloud de Confiance by S3NS , além de permitir que você escreva em SQL, Python e Apache Spark. |
| Bancos de dados/esquemas | Conjuntos de dados | No Teradata, os bancos de dados e os esquemas são usados para organizar tabelas e visualizações, de forma semelhante aos conjuntos de dados do BigQuery. No entanto, a forma como são gerenciados e usados pode ser diferente. |
| Tabela | Tabela | As duas plataformas usam tabelas para armazenar dados em linhas e colunas. |
| Ver | Ver | As visualizações funcionam de maneira semelhante nas duas plataformas, oferecendo uma maneira de criar tabelas virtuais com base em consultas. |
| Chave primária | Chave primária (não aplicada no GoogleSQL) | O BigQuery é compatível com chaves primárias não aplicadas no GoogleSQL. Eles servem principalmente para ajudar na otimização de consultas. |
| Chave externa | Chave externa (não aplicada no GoogleSQL) | O BigQuery é compatível com chaves externas não aplicadas no GoogleSQL. Eles servem principalmente para ajudar na otimização de consultas. |
| Índice | Clustering, índices da Pesquisa, índices de vetor (automáticos ou gerenciados) | O Teradata permite a criação explícita de índices. Recomendamos o clustering no BigQuery. Embora não seja equivalente aos índices de banco de dados, o clustering ajuda a armazenar os dados ordenados no disco, o que otimiza a recuperação de dados quando as colunas em cluster são usadas como predicados. O BigQuery é compatível com índices de pesquisa e índices de vetores. |
| Particionamento | Particionamento | As duas plataformas oferecem suporte ao particionamento de tabelas para melhorar o desempenho de consultas em tabelas grandes. O BigQuery só aceita particionamento por datas e números inteiros. Para strings, use o clustering. |
| Alocação de recursos (com base em hardware e licenciamento) | Reservas (com base na capacidade), preços on demand (preços de análise) | O BigQuery oferece modelos de preços flexíveis. As reservas oferecem custos previsíveis para cargas de trabalho consistentes e ad hoc usando o escalonamento automático, enquanto os preços sob demanda se concentram em cobranças por verificação de bytes por consulta. |
| BTEQ, SQL Assistant, outras ferramentas de cliente | BigQuery Studio, ferramenta de linha de comando bq, APIs | O BigQuery oferece várias interfaces para executar consultas, incluindo um editor baseado na Web, uma ferramenta de linha de comando e APIs para acesso programático. |
| Histórico/registro de consultas | Histórico de consultas, INFORMATION_SCHEMA.JOBS |
O BigQuery mantém um histórico das consultas executadas, permitindo que você revise consultas anteriores, analise o desempenho e resolva problemas. O INFORMATION_SCHEMA.JOBS mantém o histórico de todos os jobs enviados nos últimos seis meses. |
| Recursos de segurança (controle de acesso, criptografia) | Recursos de segurança (IAM, ACLs, criptografia) | Ambos oferecem segurança robusta. O BigQuery usa o Cloud de Confiance by S3NS IAM para controle de acesso granular. |
| Controles de rede (firewalls, VPNs) | VPC Service Controls, Acesso privado do Google | O BigQuery se integra ao VPC Service Controls para restringir o acesso aos recursos do BigQuery de redes específicas. O Acesso Privado do Google permite acessar o BigQuery sem usar IPs públicos. |
| Gerenciamento de usuários e papéis | Identity and Access Management (IAM) | O BigQuery usa o IAM para controle de acesso refinado. É possível conceder permissões específicas a usuários e contas de serviço nos níveis de projeto, conjunto de dados e tabela. |
| Concessões e papéis em objetos | Listas de controle de acesso (ACLs) em conjuntos de dados e tabelas | O BigQuery permite definir ACLs em conjuntos de dados e tabelas para controlar o acesso em um nível granular. |
| Criptografia em repouso e em trânsito | Criptografia em repouso e em trânsito, chaves de criptografia gerenciadas pelo cliente (CMEK, na sigla em inglês), as chaves podem ser hospedadas em sistemas externos de EKM. | O BigQuery criptografa os dados por padrão. Também é possível gerenciar suas próprias chaves de criptografia para ter mais controle. |
| Recursos de governança de dados e compliance | Políticas de governança de dados, DLP (Prevenção contra perda de dados) | O BigQuery é compatível com políticas de governança de dados e DLP para ajudar você a aplicar os requisitos de segurança e conformidade de dados. |
| Utilitários de carregamento do Teradata (por exemplo, FastLoad, MultiLoad), bteq | O serviço de transferência de dados do BigQuery, a ferramenta de linha de comando bq e as APIs | O BigQuery oferece vários métodos de carregamento de dados. O Teradata tem utilitários de carregamento especializados. O BigQuery enfatiza a escalonabilidade e a velocidade para a ingestão de dados. |
| Utilitários de exportação do Teradata, bteq | A ferramenta de linha de comando bq, as APIs e a exportação para o Cloud Storage | O BigQuery oferece exportação de dados para vários destinos. O Teradata tem as próprias ferramentas de exportação. A integração do BigQuery com o Cloud Storage é uma grande vantagem. A API BigQuery Storage Read fornece qualquer capacidade de computação externa para ler dados em massa. |
| Tabelas externas | Tabelas externas | Ambos permitem consultar dados em armazenamento externo. O BigQuery se integra bem ao Cloud Storage, Spanner, Bigtable, Cloud SQL, AWS S3, Armazenamento de Blobs do Azure e Google Drive. |
| Visualizações materializadas. | Visualizações materializadas. | Ambos oferecem visualizações materializadas para o desempenho de consultas. O BigQuery oferece visualizações materializadas de ajuste inteligente que sempre retornam dados atuais e também fornecem regravação automática de consultas para visualizações materializadas, mesmo quando a consulta se refere à tabela base. |
| Funções definidas pelo usuário (UDFs) | Funções definidas pelo usuário (UDFs) (SQL, JavaScript) | O BigQuery é compatível com UDFs em SQL e JavaScript. |
| Teradata Scheduler, outras ferramentas de programação | Consultas programadas, Serviço Gerenciado para Apache Airflow, Cloud Functions, pipelines do BigQuery | O BigQuery se integra aos serviços de programação do Cloud de Confiance by S3NS e a outras ferramentas de programação externas. |
| Mirante | Administração do BigQuery para monitoramento, verificação de integridade, análise de jobs e gerenciamento de capacidade. | O BigQuery oferece uma caixa de ferramentas de administração abrangente baseada em UI, que contém vários painéis para monitorar a integridade operacional e a utilização de recursos. |
| Backup e recuperação | Clonagem de conjuntos de dados, viagem no tempo e proteção contra falhas, snapshot e clonagem de tabelas, armazenamento regional e multirregional, backup e recuperação entre regiões. | O BigQuery oferece snapshots e viagem no tempo para recuperar dados. A viagem no tempo é um recurso que permite acessar dados históricos em um determinado período. O BigQuery também oferece clonagem de conjuntos de dados, armazenamento regional e multirregional e opções de backup e recuperação entre regiões. |
| Funções geoespaciais | Funções geoespaciais | As duas plataformas têm suporte para dados e funções geoespaciais. |
Primeiros passos
As seções a seguir resumem o processo de migração do Teradata para o BigQuery:
Executar uma avaliação de migração
Na migração do Teradata para o BigQuery, recomendamos que você comece executando a ferramenta de avaliação de migração do BigQuery para avaliar a viabilidade e os possíveis benefícios de mover seu data warehouse do Teradata para o BigQuery. Essa ferramenta oferece uma abordagem estruturada para entender seu ambiente atual do Teradata e estimar o esforço envolvido em uma migração bem-sucedida.
A execução da ferramenta de avaliação de migração do BigQuery produz um relatório de avaliação que contém as seguintes seções:
- Relatório do sistema atual: um snapshot do sistema e uso atuais do Teradata, incluindo o número de bancos de dados, esquemas, tabelas e tamanho total em TB. Ele também lista os esquemas por tamanho e aponta para o potencial de utilização de recursos abaixo do ideal, como tabelas sem gravações ou poucas leituras.
- Sugestões de transformação de estado estável do BigQuery: mostra como ficará o sistema no BigQuery após a migração. Ele inclui sugestões para otimizar cargas de trabalho no BigQuery e evitar desperdício.
- Plano de migração: fornece informações sobre o esforço de migração. Por exemplo, ir do sistema atual para o estado estável do BigQuery. Esta seção inclui a contagem de consultas que foram traduzidas automaticamente e o tempo esperado para mover cada tabela para o BigQuery.
Para mais informações sobre os resultados de uma avaliação de migração, consulte Analisar o relatório do Data Studio.
Migrar o esquema e os dados do Teradata
Depois de analisar os resultados da avaliação de migração, você pode iniciar a migração do Teradata preparando o BigQuery para a migração e, em seguida, configurando um job de transferência de dados.
Para mais informações sobre o processo de migração do Teradata, consulte Migrar o esquema e os dados do Teradata.
Validar a migração
Depois de migrar os dados do Teradata para o BigQuery, execute a Ferramenta de Validação de Dados (DVT, na sigla em inglês) para realizar uma validação nos dados recém-migrados do BigQuery. A DVT valida várias funções, do nível da tabela ao nível da linha, para verificar se os dados migrados funcionam como esperado. Para mais informações sobre a DVT, consulte Introdução à ferramenta de validação de dados para migrações do EDW.
Acesse a DVT no repositório público do GitHub.
A seguir
- Faça uma migração de teste do Teradata para o BigQuery.