Présentation de la migration BigQuery

Le service de migration BigQuery est une solution complète de migration d'entrepôts de données vers BigQuery. Il comprend des fonctionnalités qui vous aident à chaque phase de migration, y compris l'évaluation et la planification, la traduction SQL pour divers dialectes SQL et le transfert de données.

Vous trouverez le service de migration BigQuery dans la console BigQuery en accédant à Migration > Services.

Le service de migration BigQuery vous permet d'effectuer les opérations suivantes :

  • Évaluer : planifiez la migration de votre entrepôt de données en exécutant une évaluation de la migration BigQuery.
  • Traduire le langage SQL : les services de traduction automatisent la conversion de vos requêtes SQL en GoogleSQL, y compris la personnalisation SQL optimisée par Gemini. Vous pouvez utiliser le traducteur SQL par lot, le traducteur SQL interactif ou l'API de traduction SQL pour migrer vos charges de travail vers BigQuery.
  • Transférer des données : configurez un transfert de données qui charge les données de votre source de données vers BigQuery. Pour en savoir plus, consultez Qu'est-ce que le service de transfert de données BigQuery ?.
  • Enregistrer ou migrer un lakehouse ouvert : migrez les métadonnées depuis des catalogues externes, tels qu'Apache Hive Metastore et les catalogues REST Apache Iceberg, vers les tables du catalogue REST Lakehouse pour Apache Iceberg.

Vous pouvez également utiliser les outils Open Source suivants pour vous aider dans votre processus de migration :

  • Outil de migration de données : utilisez l'outil de migration de données pour automatiser la migration de votre entrepôt de données vers BigQuery. L'outil utilise le service de transfert de données BigQuery, les services de traduction BigQuery et l'outil de validation des données pour transférer les données, traduire et valider les requêtes LDD, LMD et SQL.
  • Outil de validation des données : après avoir migré vos données vers BigQuery, exécutez l'outil de validation des données pour vérifier que vos tables source et de destination correspondent.
  • Mapper d'autorisations BigQuery : utilisez le mapper d'autorisations pour automatiser la création et la maintenance des mappages d'autorisations modifiables par les utilisateurs. Vous pouvez utiliser le mappeur d'autorisations pour analyser et rapprocher les autorisations et les groupes d'utilisateurs en double, tout en générant des rapports d'erreur. L'outil génère des scripts JSON et Terraform pour la création de groupes, d'utilisateurs et de liaisons BigQuery.
  • Modèles Managed Service pour Apache Airflow : utilisez les modèles Managed Service pour Apache Airflow pour simplifier la création de DAG Airflow ou la migration de jobs orchestrés existants depuis un environnement sur site vers le cloud.
  • Cloud Foundation Fabric : consultez les exemples et modules Terraform pourCloud de Confiance by S3NS, y compris un modèle de zone d'atterrissage à l'échelle de l'organisation, des modèles de référence pour les modèles de réseau et les fonctionnalités de produit, ainsi qu'une bibliothèque de modules adaptables.

Sources de migration

Le service de migration BigQuery permet de migrer les entrepôts de données suivants vers BigQuery :

Quotas

Les quotas et les limites s'appliquent au nombre de tâches ainsi qu'à la taille des fichiers. Pour en savoir plus sur les quotas et limites du service de migration, consultez la page Quotas et limites.

Tarifs

L'utilisation de l'API Migration de BigQuery n'engendre aucuns frais. En revanche, le stockage des fichiers d'entrée et de sortie entraîne des frais normaux. Pour en savoir plus, consultez les tarifs de stockage.

Vous pouvez également utiliser la fonctionnalité d'estimation des coûts de Google Cloud Migration Center pour générer une estimation des coûts liés à l'exécution de la configuration d'entrepôt de données que vous migrez vers BigQuery. Pour en savoir plus, consultez Démarrer une estimation des coûts et Spécifier les exigences relatives à l'entreposage de données.

Étapes suivantes