Introdução ao serviço de migração do BigQuery

Este documento oferece uma vista geral do serviço de migração do BigQuery.

O Serviço de migração do BigQuery é uma solução abrangente para migrar o seu armazém de dados para o BigQuery. Inclui funcionalidades que ajudam em cada fase da migração, incluindo a avaliação e o planeamento, a tradução de SQL para uma variedade de dialetos de SQL, a transferência de dados e a validação de dados. Em conjunto, estas ferramentas ajudam a acelerar as migrações e a reduzir o risco, diminuindo o tempo até obter valor.

O serviço de migração do BigQuery inclui as seguintes funcionalidades:

Também pode usar as seguintes ferramentas de código aberto para ajudar no processo de migração:

  • Ferramenta de migração de dados: use a ferramenta de migração de dados para automatizar a migração do armazém de dados para o BigQuery. A ferramenta usa o Serviço de transferência de dados do BigQuery, os serviços de tradução do BigQuery e a ferramenta de validação de dados para transferir dados, traduzir e validar consultas DDL, DML e SQL.
  • Ferramenta de validação de dados: depois de migrar os dados para o BigQuery, execute a ferramenta de validação de dados para validar se as tabelas de origem e de destino correspondem.
  • Mapeador de autorizações do BigQuery: use o mapeador de autorizações para automatizar a criação e a manutenção de mapas de autorizações modificáveis pelo utilizador. Pode usar o mapeador de autorizações para analisar e conciliar autorizações duplicadas e grupos de utilizadores, ao mesmo tempo que gera relatórios de erros. A ferramenta gera scripts JSON e Terraform para a criação de grupos, utilizadores e associações do BigQuery.
  • Modelos do Cloud Composer: use modelos do Cloud Composer para simplificar a criação de novos DAGs do Airflow ou a migração de tarefas orquestradas existentes do local para a nuvem.
  • Cloud Foundation Fabric: veja exemplos e módulos do Terraform para Trusted Cloud by S3NS, incluindo um esquema de zona de destino ao nível da organização, esquemas de referência para padrões de rede e funcionalidades de produtos, e uma biblioteca de módulos adaptáveis.

Quotas

As quotas e os limites aplicam-se ao número de tarefas, bem como ao tamanho dos ficheiros. Para mais informações sobre as quotas e os limites do serviço de migração, consulte o artigo Quotas e limites.

Preços

Não existe qualquer custo para usar a API BigQuery Migration. No entanto, o armazenamento usado para ficheiros de entrada e saída incorre nas taxas normais. Para mais informações, consulte os preços de armazenamento.

Além disso, pode usar a funcionalidade de estimativa de custos no Migration Center do Google Cloud para gerar uma estimativa de custos da execução da configuração do seu armazém de dados que migrar para o BigQuery. Para mais informações, consulte os artigos Inicie uma estimativa de custos e Especifique os requisitos de armazenamento de dados.

O que se segue?