Planifier un transfert Snowflake

Le connecteur Snowflake fourni par le service de transfert de données BigQuery vous permet de planifier et de gérer des tâches de transfert automatisées pour migrer des données de Snowflake vers BigQuery à l'aide de listes d'adresses IP publiques autorisées.

Présentation

Le connecteur Snowflake engage les agents de migration dans Google Kubernetes Engine et déclenche une opération de chargement depuis Snowflake vers une zone de préproduction au sein du même fournisseur de cloud que celui où Snowflake est hébergé.

• Pour les comptes Snowflake hébergés sur AWS, les données sont d'abord préparées dans votre bucket Amazon S3, puis transférées vers BigQuery avec le service de transfert de données BigQuery.
• Pour les comptes Snowflake hébergés surCloud de Confiance, les données sont d'abord stockées dans votre bucket Cloud Storage, puis transférées vers BigQuery avec le service de transfert de données BigQuery.
• Pour les comptes Snowflake hébergés sur Azure, les données sont d'abord préparées dans votre conteneur Azure Blob Storage, puis transférées vers BigQuery avec le service de transfert de données BigQuery.

Limites

Les transferts de données effectués à l'aide du connecteur Snowflake sont soumis aux limitations suivantes :

• Le connecteur Snowflake n'est pas compatible avec les transferts de données incrémentiels.
• Le connecteur Snowflake n'accepte que les transferts depuis des tables d'une même base de données et d'un même schéma Snowflake. Pour transférer des données à partir de tables comportant plusieurs bases de données ou schémas Snowflake, vous pouvez configurer chaque job de transfert séparément.
• La vitesse de chargement des données de Snowflake vers votre bucket Amazon S3, votre conteneur Azure Blob Storage ou votre bucket Cloud Storage est limitée par l'entrepôt de données Snowflake que vous avez choisi pour ce transfert.

• Les données sont extraites de Snowflake au format Parquet avant d'être chargées dans BigQuery :

  • Les types de données Parquet suivants ne sont pas acceptés :
    • TIMESTAMP_TZ, TIMESTAMP_LTZ
    • OBJECT, VARIANT, ARRAY
    • Pour en savoir plus, consultez Évaluer les données Snowflake.

  • Le type de données Parquet suivant n'est pas compatible, mais peut être converti :

    • TIMESTAMP_NTZ

    Utilisez le fichier YAML de configuration de la conversion de type globale pour remplacer le comportement par défaut de la conversion de DATETIME en TIMESTAMP lorsque vous générez des métadonnées et exécutez le moteur de traduction.

    Le fichier YAML de configuration peut ressembler à l'exemple suivant :

    type: experimental_object_rewriter
    global:
      typeConvert:
        datetime: TIMESTAMP
    

Avant de commencer

Avant de configurer un transfert Snowflake, vous devez effectuer toutes les étapes listées dans cette section. Vous trouverez ci-dessous la liste de toutes les étapes requises.

1. Préparer votre projet Cloud de Confiance
2. Rôles BigQuery requis
3. Préparer votre bucket de préproduction
4. Créer un utilisateur Snowflake avec les autorisations requises
5. Ajouter des règles de réseau
6. Facultatif : Générer des métadonnées et exécuter le moteur de traduction
7. Évaluer votre instance Snowflake pour identifier les types de données non compatibles
8. Recueillir les informations de transfert

Préparer votre projet Cloud de Confiance

Créez et configurez votre projet Cloud de Confiance pour un transfert Snowflake en procédant comme suit :

1. Créez un Cloud de Confiance by S3NS projet ou sélectionnez un projet existant.

2. Vérifiez que vous avez effectué toutes les actions requises pour activer le service de transfert de données BigQuery.

3. Créez un ensemble de données BigQuery pour stocker vos données. Vous n'avez pas besoin de créer de tables.

Rôles BigQuery requis

Pour obtenir les autorisations nécessaires pour créer un transfert de données Service de transfert de données BigQuery, demandez à votre administrateur de vous accorder le rôle IAM Administrateur BigQuery (roles/bigquery.admin) sur votre projet. Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Ce rôle prédéfini contient les autorisations requises pour créer un transfert de données du service de transfert de données BigQuery. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour en savoir plus, consultez Accorder l'accès bigquery.admin.

Préparer le bucket de préproduction

Pour effectuer un transfert de données Snowflake, vous devez créer un bucket intermédiaire, puis le configurer pour autoriser l'accès en écriture depuis Snowflake.

Bucket intermédiaire pour le compte Snowflake hébergé par AWS

Pour un compte Snowflake hébergé sur AWS, créez un bucket Amazon S3 pour préparer les données Snowflake avant de les charger dans BigQuery.

1. Créez un bucket Amazon S3.

2. Créez et configurez un objet d'intégration de stockage Snowflake pour permettre à Snowflake d'écrire des données dans le bucket Amazon S3 en tant qu'étape externe.

Pour autoriser l'accès en lecture à votre bucket Amazon S3, vous devez également effectuer les opérations suivantes :

1. Créez un utilisateur IAM Amazon dédié et accordez-lui la stratégie AmazonS3ReadOnlyAccess.

2. Créez une paire de clés d'accès Amazon pour l'utilisateur IAM.

Conteneur Azure Blob Storage intermédiaire pour le compte Snowflake hébergé sur Azure

Pour les comptes Snowflake hébergés sur Azure, créez un conteneur Azure Blob Storage pour préparer les données Snowflake avant de les charger dans BigQuery.

1. Créez un compte de stockage Azure et un conteneur de stockage dans ce compte.
2. Créez et configurez un objet d'intégration de stockage Snowflake pour permettre à Snowflake d'écrire des données dans le conteneur de stockage Azure en tant qu'étape externe. Notez que vous pouvez ignorer l'étape 3 "Créer un stage externe", car nous ne l'utilisons pas.

Pour autoriser l'accès en lecture à votre conteneur Azure, générez un jeton SAP pour celui-ci.

Bucket intermédiaire pour le compte Snowflake hébergé sur Cloud de Confiance

Pour les comptes Snowflake hébergés sur Cloud de Confiance, créez un bucket Cloud Storage pour préproduire les données Snowflake avant de les charger dans BigQuery.

1. Créez un bucket Cloud Storage.
2. Créez et configurez un objet d'intégration de stockage Snowflake pour permettre à Snowflake d'écrire des données dans le bucket Cloud Storage en tant qu'étape externe.

3. Pour autoriser l'accès au bucket intermédiaire, accordez le rôle roles/storage.objectViewer à l'agent de service DTS à l'aide de la commande suivante :

   gcloud storage buckets add-iam-policy-binding gs://STAGING_BUCKET_NAME \
     --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.s3ns-system.iam.gserviceaccount.com \
     --role=roles/storage.objectViewer

Créer un utilisateur Snowflake avec les autorisations requises

Lors d'un transfert Snowflake, le connecteur Snowflake se connecte à votre compte Snowflake à l'aide d'une connexion JDBC. Vous devez créer un utilisateur Snowflake avec un rôle personnalisé qui ne dispose que des droits nécessaires pour effectuer le transfert de données :

  // Create and configure new role, MIGRATION_ROLE
  GRANT USAGE
    ON WAREHOUSE WAREHOUSE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON DATABASE DATABASE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON SCHEMA DATABASE_NAME.SCHEMA_NAME
    TO ROLE MIGRATION_ROLE;

  // You can modify this to give select permissions for all tables in a schema
  GRANT SELECT
    ON TABLE DATABASE_NAME.SCHEMA_NAME.TABLE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON STORAGE_INTEGRATION_OBJECT_NAME
    TO ROLE MIGRATION_ROLE;

Remplacez les éléments suivants :

• MIGRATION_ROLE : nom du rôle personnalisé que vous créez
• WAREHOUSE_NAME : nom de votre entrepôt de données
• DATABASE_NAME : nom de votre base de données Snowflake
• SCHEMA_NAME : nom de votre schéma Snowflake
• TABLE_NAME : nom de la base de données Snowflake incluse dans ce transfert de données.
• STORAGE_INTEGRATION_OBJECT_NAME : nom de votre objet d'intégration de stockage Snowflake.

Générer une paire de clés pour l'authentification

Étant donné que Snowflake n'accepte plus les connexions avec mot de passe à un seul facteur, nous vous recommandons d'utiliser une paire de clés pour l'authentification.

Vous pouvez configurer une paire de clés en générant une paire de clés RSA chiffrée ou non chiffrée, puis en attribuant la clé publique à un utilisateur Snowflake. Pour en savoir plus, consultez Configurer l'authentification par paire de clés.

Ajouter des règles de réseau

Pour la connectivité publique, le compte Snowflake autorise par défaut la connexion publique avec les identifiants de base de données. Toutefois, vous avez peut-être configuré des règles ou des stratégies réseau qui pourraient empêcher le connecteur Snowflake de se connecter à votre compte. Dans ce cas, vous devez ajouter les adresses IP nécessaires à votre liste d'autorisation.

Le tableau suivant liste les adresses IP des emplacements régionaux et multirégionaux utilisés pour les transferts publics. Vous pouvez ajouter les adresses IP qui correspondent uniquement à l'emplacement de votre ensemble de données ou toutes les adresses IP listées dans le tableau. Il s'agit d'adresses IP réservées par Google pour les transferts de données du service de transfert de données BigQuery.

Pour ajouter une adresse IP à une liste d'autorisation, procédez comme suit :

1. Créez une règle de réseau avec type = IPV4. Le service de transfert de données BigQuery utilise une connexion JDBC pour se connecter au compte Snowflake.
2. Créez une règle de réseau avec la règle de réseau que vous avez créée précédemment et l'adresse IP du tableau suivant.

Zones régionales

Zones multirégionales

¹ Les données situées dans la zone multirégionale EU ne sont pas stockées dans les centres de données des régions europe-west2 (Londres) ou europe-west6 (Zurich).

Générer des métadonnées et exécuter le moteur de traduction

Vous pouvez ignorer cette section si vous souhaitez que le connecteur Snowflake détecte automatiquement le schéma dans vos tables Snowflake lors d'un transfert de données Snowflake.

Toutefois, si vous souhaitez définir votre schéma manuellement (par exemple, si vous voulez remplacer certains attributs de schéma), vous pouvez le faire en suivant les étapes ci-dessous pour générer vos métadonnées et exécuter le moteur de traduction.

Le connecteur du service de transfert de données BigQuery pour Snowflake utilise le moteur de traduction du service de migration BigQuery pour le mappage de schéma lors de la migration des tables Snowflake vers BigQuery. Pour effectuer un transfert de données Snowflake, vous devez d'abord générer des métadonnées pour la traduction, puis exécuter le moteur de traduction :

1. Exécutez dwh-migration-tool pour Snowflake. Pour en savoir plus, consultez Générer des métadonnées pour la traduction et l'évaluation.
2. Importez le fichier metadata.zip généré dans un bucket Cloud Storage. Le fichier metadata.zip est utilisé comme entrée pour le moteur de traduction.

3. Exécutez le service de traduction par lot en spécifiant le champ target_types sur metadata. Pour en savoir plus, consultez Traduire des requêtes SQL avec l'API Translation.

   • Voici un exemple de commande permettant d'exécuter une traduction par lot pour Snowflake :

     curl -d "{
     \"name\": \"sf_2_bq_translation\",
     \"displayName\": \"Snowflake to BigQuery Translation\",
     \"tasks\": {
         string: {
           \"type\": \"Snowflake2BigQuery_Translation\",
           \"translation_details\": {
               \"target_base_uri\": \"gs://sf_test_translation/output\",
               \"source_target_mapping\": {
                 \"source_spec\": {
                     \"base_uri\": \"gs://sf_test_translation/input\"
                 }
               },
               \"target_types\": \"metadata\",
           }
         }
     },
     }" \
     -H "Content-Type:application/json" \
     -H "Authorization: Bearer TOKEN" -X POST https://bigquerymigration.googleapis.com/v2alpha/projects/project_id/locations/location/workflows
   

   • Vous pouvez vérifier l'état de cette commande sur la page Traduction SQL dans BigQuery. Le résultat du job de traduction par lot est stocké dans gs://translation_target_base_uri/metadata/config/.

Autorisations requises pour le compte de service

Lors d'un transfert Snowflake, un compte de service est utilisé pour lire les données issues du moteur de traduction dans le chemin Cloud Storage spécifié. Vous devez accorder au compte de service les autorisations storage.objects.get et storage.objects.list.

Nous vous recommandons d'utiliser un compte de service appartenant au même Cloud de Confiance by S3NS projet que celui dans lequel la configuration du transfert et l'ensemble de données de destination sont créés. Si le compte de service se trouve dans un projet Cloud de Confiance by S3NS différent de celui qui a créé le transfert de données BigQuery, vous devez activer l'autorisation du compte de service entre projets.

Pour en savoir plus, consultez Rôles et autorisations IAM BigQuery.

Évaluer les données Snowflake

BigQuery écrit les données de Snowflake dans Cloud Storage sous forme de fichiers Parquet. Les fichiers Parquet ne sont pas compatibles avec les types de données TIMESTAMP_TZ et TIMESTAMP_LTZ. Si vos données contiennent ces types, vous pouvez les exporter vers Amazon S3 sous forme de fichiers CSV, puis importer ces fichiers CSV dans BigQuery. Pour en savoir plus, consultez Présentation des transferts Amazon S3.

Recueillir les informations de transfert

Recueillez les informations dont vous avez besoin pour configurer la migration avec le service de transfert de données BigQuery :

• L'identifiant de votre compte Snowflake, qui correspond au préfixe de l'URL de votre compte Snowflake. Par exemple, ACCOUNT_IDENTIFIER.snowflakecomputing.com.
• Nom d'utilisateur et clé privée associée disposant des autorisations appropriées pour votre base de données Snowflake. Il peut simplement disposer des autorisations requises pour exécuter le transfert de données.
• URI du bucket intermédiaire que vous souhaitez utiliser pour le transfert :
  • Pour un compte Snowflake hébergé sur AWS, un URI de bucket Amazon S3 est requis, ainsi que des identifiants d'accès.
  • Pour un compte Snowflake hébergé sur Azure, un compte et un conteneur Azure Blob Storage sont requis.
  • Pour un compte Snowflake hébergé surCloud de Confiance, un URI de bucket Cloud Storage est requis. Nous vous recommandons de définir une règle de cycle de vie pour ce bucket afin d'éviter des frais inutiles.
• URI du bucket Cloud Storage dans lequel vous avez stocké les fichiers de mappage de schéma obtenus à partir du moteur de traduction.

Configurer un transfert Snowflake

Sélectionnez l'une des options suivantes :

bq mk \
    --transfer_config \
    --project_id=project_id \
    --data_source=data_source \
    --target_dataset=dataset \
    --display_name=name \
    --service_account_name=service_account \
    --params='parameters'

  PARAMS='{
  "account_identifier": "your_account_identifier",
  "auth_mechanism": "KEY_PAIR",
  "aws_access_key_id": "your_access_key_id",
  "aws_secret_access_key": "your_aws_secret_access_key",
  "cloud_provider": "AWS",
  "database": "your_sf_database",
  "private_key": "-----BEGIN PRIVATE KEY----- privatekey\nseparatedwith\nnewlinecharacters=-----END PRIVATE KEY-----",
  "schema": "your_snowflake_schema",
  "service_account": "your_service_account",
  "storage_integration_object_name": "your_storage_integration_object",
  "staging_s3_uri": "s3://your/s3/bucket/uri",
  "table_name_patterns": ".*",
  "translation_output_gcs_path": "gs://sf_test_translation/output/metadata/config/database_name/schema_name/",
  "username": "your_sf_username",
  "warehouse": "your_warehouse"
}'

bq mk --transfer_config \
    --project_id=your_project_id \
    --target_dataset=your_bq_dataset \
    --display_name='snowflake transfer config' \
    --params="$PARAMS" \
    --data_source=snowflake_migration

Quotas et limites

BigQuery a un quota de charge de 15 To par tâche de chargement et par table. En interne, Snowflake compresse les données de la table. La taille de la table exportée est donc supérieure à celle indiquée par Snowflake. Si vous envisagez de migrer une table de plus de 15 To, veuillez contacter dts-migration-preview-support@google.com.

En raison du modèle de cohérence d'Amazon S3, il est possible que certains fichiers ne soient pas inclus dans le transfert vers BigQuery.

Tarifs

Pour plus d'informations sur la tarification du service de transfert de données BigQuery, consultez la page Tarifs.

• Si l'entrepôt de données Snowflake et le bucket Amazon S3 se trouvent dans des régions différentes, Snowflake applique des frais de sortie lorsque vous exécutez un transfert de données Snowflake. Aucuns frais de sortie ne s'appliquent aux transferts de données Snowflake si l'entrepôt de données Snowflake et le bucket Amazon S3 se trouvent dans la même région.
• Lorsque des données sont transférées d'AWS vers Cloud de Confiance, des frais de sortie inter-cloud s'appliquent.

Étapes suivantes

• Obtenez plus d'informations sur le Service de transfert de données BigQuery.
• Migrez du code SQL avec la traduction SQL par lot.