Snowflake の転送をスケジュールする

BigQuery Data Transfer Service で提供される Snowflake コネクタを使用すると、自動転送ジョブをスケジュールして管理し、パブリック IP 許可リストを使用して Snowflake から BigQuery にデータを移行できます。

概要

Snowflake コネクタは、Google Kubernetes Engine の移行エージェントを起動して、Snowflake から Snowflake がホストされている同じクラウド プロバイダ内のステージング領域への読み込みオペレーションをトリガーします。AWS でホストされている Snowflake アカウントの場合、データはまず Amazon S3 バケットにステージングされ、BigQuery Data Transfer Service を使用して BigQuery に転送されます。

次の図は、AWS でホストされている Snowflake データ ウェアハウスから BigQuery にデータが転送される仕組みを示しています。

制限事項

Snowflake コネクタを使用して行うデータ転送には、次の制限が適用されます。

• データ転送は、AWS でホストされている Snowflake アカウントからのみサポートされます。 Trusted Cloud by S3NS または Microsoft Azure でホストされている Snowflake アカウントからのデータ転送はサポートされていません。
• Snowflake コネクタは増分データ転送をサポートしていません。
• Snowflake コネクタは、単一の Snowflake データベースとスキーマ内のテーブルからの転送のみをサポートします。複数の Snowflake データベースまたはスキーマを含むテーブルから転送するには、各転送ジョブを個別に設定します。
• Snowflake から Amazon S3 バケットへのデータの読み込み速度は、この転送に選択した Snowflake ウェアハウスによって制限されます。

• データは、BigQuery に読み込まれる前に、Parquet データ形式で Snowflake から抽出されます。

  • 次の Parquet データ型はサポートされていません。
    • TIMESTAMP_TZ、TIMESTAMP_LTZ
    • OBJECT、VARIANT、ARRAY
    • 詳細については、Snowflake データを評価するをご覧ください。

  • 次の Parquet データ型はサポートされていませんが、変換できます。

    • TIMESTAMP_NTZ

    グローバル タイプの変換構成 YAML を使用して、メタデータを生成して変換エンジンを実行するときに、DATETIME から TIMESTAMP へのデフォルトの動作をオーバーライドします。

    構成 YAML は次の例のようになります。

    type: experimental_object_rewriter
    global:
      typeConvert:
        datetime: TIMESTAMP
    

始める前に

Snowflake 転送を設定する前に、このセクションに記載されているすべての手順を実行する必要があります。必要な手順は次のとおりです。

1. Trusted Cloud プロジェクトを準備する
2. 必要な BigQuery のロール
3. Amazon S3 バケットを準備する
4. 必要な権限を持つ Snowflake ユーザーを作成する
5. ネットワーク ポリシーを追加する
6. メタデータを生成して翻訳エンジンを実行する
7. サポートされていないデータ型がないか Snowflake を評価する
8. 転送情報を収集する

Trusted Cloud プロジェクトを準備する

Snowflake 転送用の Trusted Cloud プロジェクトを作成して構成する手順は次のとおりです。

1. Trusted Cloud by S3NS プロジェクトを作成するか、既存のプロジェクトを選択します。

2. BigQuery Data Transfer Service を有効にするために必要なすべての操作が完了していることを確認します。

3. データを保存する BigQuery データセットを作成します。テーブルを作成する必要はありません。

必要な BigQuery のロール

転送の作成に必要な権限を取得するには、BigQuery 管理者 （roles/bigquery.admin）IAM ロールを付与するよう管理者に依頼してください。ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

この事前定義ロールには、転送の作成に必要な権限が含まれています。必要とされる正確な権限については、「必要な権限」セクションを開いてご確認ください。

カスタムロールや他の事前定義ロールを使用して、これらの権限を取得することもできます。

Amazon S3 バケットを準備する

Snowflake データ転送を完了するには、Amazon S3 バケットを作成し、Snowflake からの書き込みアクセスを許可するように構成する必要があります。

1. Amazon S3 バケットを作成する。Amazon S3 バケットは、BigQuery に読み込む前にデータをステージングするために使用されます。

2. Snowflake ストレージ統合オブジェクトを作成して構成し、Snowflake が外部ステージとして Amazon S3 バケットにデータを書き込めるようにします。

Amazon S3 バケットに対する読み取りアクセスを許可するには、次の操作も行う必要があります。

1. 専用の Amazon IAM ユーザーを作成し、AmazonS3ReadOnlyAccess ポリシーを付与します。

2. IAM ユーザーの Amazon アクセスキー ペアを作成します。

必要な権限を持つ Snowflake ユーザーを作成する

Snowflake 転送中、Snowflake コネクタは JDBC 接続を使用して Snowflake アカウントに接続します。データ転送の実行に必要な権限のみを持つカスタムロールを持つ新しい Snowflake ユーザーを作成する必要があります。

  // Create and configure new role, MIGRATION_ROLE
  GRANT USAGE
    ON WAREHOUSE WAREHOUSE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON DATABASE DATABASE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON SCHEMA DATABASE_NAME.SCHEMA_NAME
    TO ROLE MIGRATION_ROLE;

  // You can modify this to give select permissions for all tables in a schema
  GRANT SELECT
    ON TABLE DATABASE_NAME.SCHEMA_NAME.TABLE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON STORAGE_INTEGRATION_OBJECT_NAME
    TO ROLE MIGRATION_ROLE;

次のように置き換えます。

• MIGRATION_ROLE: 作成するカスタムロールの名前
• WAREHOUSE_NAME: データ ウェアハウスの名前
• DATABASE_NAME: Snowflake データベースの名前
• SCHEMA_NAME: Snowflake スキーマの名前
• TABLE_NAME: このデータ転送に含まれる Snowflake の名前
• STORAGE_INTEGRATION_OBJECT_NAME: Snowflake ストレージ統合オブジェクトの名前。

ネットワーク ポリシーを追加する

パブリック接続の場合、Snowflake アカウントはデフォルトでデータベース認証情報によるパブリック接続を許可します。ただし、Snowflake コネクタがアカウントに接続できないネットワーク ルールまたはポリシーが設定されている可能性があります。この場合は、必要な IP アドレスを許可リストに追加する必要があります。

次の表に、一般公開転送に使用されるリージョン ロケーションとマルチリージョン ロケーションの IP アドレスを示します。データセットのロケーションに対応する IP アドレスのみを追加することも、表に記載されているすべての IP アドレスを追加することもできます。これらは、BigQuery Data Transfer Service のデータ転送用に Google によって予約された IP アドレスです。

IP アドレスを許可リストに追加する手順は次のとおりです。

1. type = IPV4 でネットワーク ルールを作成します。BigQuery Data Transfer Service は、JDBC 接続を使用して Snowflake アカウントに接続します。
2. 前に作成したネットワーク ルールと次の表の IP アドレスを使用して、ネットワーク ポリシーを作成します。

リージョンのロケーション

マルチリージョンのロケーション

¹ EU マルチリージョン内のデータは europe-west2（ロンドン）や europe-west6（チューリッヒ）のデータセンターには保存されません。

メタデータを生成して翻訳エンジンを実行する

Snowflake コネクタ用の BigQuery Data Transfer Service は、Snowflake テーブルを BigQuery に移行するときに、BigQuery 移行サービス変換エンジンを使用してスキーマ マッピングを行います。Snowflake データ転送を完了するには、まず翻訳用のメタデータを生成してから、翻訳エンジンを実行する必要があります。

1. Snowflake の dwh-migration-tool を実行します。詳細については、変換と評価のためのメタデータを生成するをご覧ください。
2. 生成された metadata.zip ファイルを Cloud Storage バケットにアップロードします。metadata.zip ファイルは、翻訳エンジンの入力として使用されます。

3. target_types フィールドを metadata として指定して、バッチ変換サービスを実行します。詳細については、Translation API を使用して SQL クエリを変換するをご覧ください。

   • Snowflake のバッチ変換を実行するコマンドの例を次に示します。

     curl -d "{
     \"name\": \"sf_2_bq_translation\",
     \"displayName\": \"Snowflake to BigQuery Translation\",
     \"tasks\": {
         string: {
           \"type\": \"Snowflake2BigQuery_Translation\",
           \"translation_details\": {
               \"target_base_uri\": \"gs://sf_test_translation/output\",
               \"source_target_mapping\": {
                 \"source_spec\": {
                     \"base_uri\": \"gs://sf_test_translation/input\"
                 }
               },
               \"target_types\": \"metadata\",
           }
         }
     },
     }" \
     -H "Content-Type:application/json" \
     -H "Authorization: Bearer TOKEN" -X POST https://bigquerymigration.googleapis.com/v2alpha/projects/project_id/locations/location/workflows
   

   • このコマンドのステータスは、BigQuery の SQL 変換ページで確認できます。バッチ変換ジョブの出力は gs://translation_target_base_uri/metadata/config/ に保存されます。

必要なサービス アカウントの権限

Snowflake 転送では、サービス アカウントを使用して、指定された Cloud Storage パスの翻訳エンジン出力からデータを読み取ります。サービス アカウントに storage.objects.get 権限と storage.objects.list 権限を付与する必要があります。

サービス アカウントが BigQuery データ転送を作成したプロジェクトとは異なるプロジェクトにある場合は、プロジェクト間のサービス アカウントの承認を有効にすることも必要です。 Trusted Cloud by S3NS

詳細については、BigQuery の IAM ロールと権限をご覧ください。

Snowflake データを評価する

BigQuery は、Snowflake から Cloud Storage にデータを Parquet ファイルとして書き込みます。Parquet ファイルは、TIMESTAMP_TZ と TIMESTAMP_LTZ のデータ型をサポートしていません。データにこれらの型が含まれている場合は、データを CSV ファイルとして Amazon S3 にエクスポートし、CSV ファイルを BigQuery にインポートできます。詳細については、Amazon S3 転送の概要をご覧ください。

転送情報を収集する

BigQuery Data Transfer Service で移行を設定するために必要な情報を収集します。

• Snowflake アカウント ID（Snowflake アカウント URL の接頭辞）。例: ACCOUNT_IDENTIFIER.snowflakecomputing.com
• Snowflake データベースに対する適切な権限を持つユーザーのユーザー名とパスワード。データ転送の実行に必要な権限のみを付与できます。
• 転送に使用する Amazon S3 バケットの URI と AWS ユーザー アクセスキー ペア。不要な課金が発生しないように、このバケットにライフサイクル ポリシーを設定していただくことをおすすめします。
• 翻訳エンジンから取得したスキーマ マッピング ファイルを保存した Cloud Storage バケットの URI。

Snowflake の転送を設定する

次のオプションのいずれかを選択します。

bq mk \
    --transfer_config \
    --project_id=project_id \
    --data_source=data_source \
    --target_dataset=dataset \
    --display_name=name \
    --service_account_name=service_account \
    --params='parameters'

  PARAMS='{
  "account_identifier": "your_account_identifier",
  "aws_access_key_id": "your_access_key_id",
  "aws_secret_access_key": "your_aws_secret_access_key",
  "cloud_provider": "AWS",
  "database": "your_sf_database",
  "password": "your_sf_password",
  "schema": "your_snowflake_schema",
  "service_account": "your_service_account",
  "storage_integration_object_name": "your_storage_integration_object",
  "staging_s3_uri": "s3://your/s3/bucket/uri",
  "table_name_patterns": ".*",
  "translation_output_gcs_path": "gs://sf_test_translation/output/metadata/config/database_name/schema_name/",
  "username": "your_sf_username",
  "warehouse": "your_warehouse"
}'

bq mk --transfer_config \
    --project_id=your_project_id \
    --target_dataset=your_bq_dataset \
    --display_name='snowflake transfer config' \
    --params="$PARAMS" \
    --data_source=snowflake_migration

割り当てと上限

BigQuery の読み込み割り当て量は、読み込みジョブごと各テーブルあたり 15 TB です。Snowflake は内部でテーブルデータを圧縮するため、エクスポートされたテーブルサイズは、Snowflake で報告されたテーブルサイズより大きくなります。15 TB を超えるテーブルを移行する場合は、dts-migration-preview-support@google.com までお問い合わせください。

Amazon S3 の整合性モデルにより、一部のファイルが BigQuery への転送に含まれない可能性があります。

料金

BigQuery Data Transfer Service の料金については、料金をご覧ください。

• Snowflake ウェアハウスと Amazon S3 バケットが異なるリージョンにある場合、Snowflake データ転送を実行すると、下り（外向き）料金が適用されます。Snowflake ウェアハウスと Amazon S3 バケットの両方が同じリージョンにある場合、Snowflake データ転送の下り（外向き）料金は発生しません。
• AWS から Trusted Cloudにデータが転送されると、クラウド間下り（外向き）料金が適用されます。

次のステップ

• BigQuery Data Transfer Service の詳細を確認する。
• Batch SQL 変換を使用して SQL コードを移行する。