Snowflake の転送スケジュールを設定する

BigQuery Data Transfer Service が提供する Snowflake コネクタを使用すると、パブリック IP 許可リストを使用して Snowflake から BigQuery にデータを移行する自動転送ジョブをスケジュールして管理できます。

概要

Snowflake コネクタは、Google Kubernetes Engine の移行エージェントと連携し、Snowflake から Snowflake がホストされている同じクラウド プロバイダ内のステージング領域への読み込みオペレーションをトリガーします。AWS でホストされている Snowflake アカウントの場合、データはまず Amazon S3 バケットにステージングされ、その後 BigQuery Data Transfer Service を使用して BigQuery に転送されます。

次の図は、AWS でホストされている Snowflake データ ウェアハウスから BigQuery にデータが転送される仕組みを示しています。

制限事項

Snowflake コネクタを使用して行うデータ転送には、次の制限があります。

• データ転送は、AWS でホストされている Snowflake アカウントからのみサポートされます。 Trusted Cloud by S3NS または Microsoft Azure でホストされている Snowflake アカウントからのデータ転送はサポートされていません。
• Snowflake コネクタは増分データ転送をサポートしていません。
• Snowflake コネクタは、単一の Snowflake データベースとスキーマ内のテーブルからの転送のみをサポートします。複数の Snowflake データベースまたはスキーマを含むテーブルから転送するには、転送ジョブを個別に設定します。
• Snowflake から Amazon S3 バケットへのデータ読み込み速度は、この転送用に選択した Snowflake ウェアハウスによって制限されます。

• データは、BigQuery に読み込まれる前に、Parquet データ形式で Snowflake から抽出されます。

  • 次の Parquet データ型はサポートされていません。
    • TIMESTAMP_TZ、TIMESTAMP_LTZ
    • OBJECT、VARIANT、ARRAY
    • 詳細については、Snowflake データの評価をご覧ください。

  • 次の Parquet データ型はサポートされていませんが、変換できます。

    • TIMESTAMP_NTZ

    メタデータを生成して変換エンジンを実行するときに、グローバル型変換構成 YAML を使用して、DATETIME 変換のデフォルトの動作を TIMESTAMP にオーバーライドします。

    構成 YAML は次の例のようになります。

    type: experimental_object_rewriter
    global:
      typeConvert:
        datetime: TIMESTAMP
    

始める前に

Snowflake 転送を設定する前に、このセクションに記載されているすべての手順を行う必要があります。必要な手順は次のとおりです。

1. Trusted Cloud プロジェクトを準備する
2. 必要な BigQuery のロール
3. Amazon S3 バケットを準備する
4. 必要な権限を持つ Snowflake ユーザーを作成する
5. ネットワーク ポリシーを追加する
6. メタデータを生成して変換エンジンを実行する
7. Snowflake でサポートされていないデータ型を評価する
8. 転送情報を収集する

Trusted Cloud プロジェクトを準備する

次の手順で、Snowflake 転送用の Trusted Cloud プロジェクトを作成して構成します。

1. Trusted Cloud by S3NS プロジェクトを作成するか、既存のプロジェクトを使用します。

2. BigQuery Data Transfer Service を有効にするために必要なすべての操作が完了していることを確認します。

3. データを保存する BigQuery データセットを作成します。テーブルを作成する必要はありません。

必要な BigQuery のロール

転送の作成に必要な権限を取得するには、BigQuery 管理者（roles/bigquery.admin）IAM ロールを付与するよう管理者に依頼してください。ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

この事前定義ロールには、転送の作成に必要な権限が含まれています。必要とされる正確な権限については、「必要な権限」セクションを開いてご確認ください。

カスタムロールや他の事前定義ロールを使用して、これらの権限を取得することもできます。

Amazon S3 バケットを準備する

Snowflake データ転送を完了するには、Amazon S3 バケットを作成し、Snowflake からの書き込みアクセスを許可するように構成する必要があります。

1. Amazon S3 バケットを作成します。Amazon S3 バケットは、BigQuery に読み込む前にデータをステージングするために使用されます。

2. Snowflake ストレージ統合オブジェクトを作成して構成し、Snowflake が外部ステージとして Amazon S3 バケットにデータを書き込めるようにします。

Amazon S3 バケットに対する読み取りアクセスを許可するには、次の操作も行う必要があります。

1. 専用の Amazon IAM ユーザーを作成し、AmazonS3ReadOnlyAccess ポリシーを付与します。

2. IAM ユーザーの Amazon アクセスキー ペアを作成します。

必要な権限を持つ Snowflake ユーザーを作成する

Snowflake 転送中、Snowflake コネクタは JDBC 接続を使用して Snowflake アカウントに接続します。データ転送の実行に必要な権限のみを持つカスタムロールを使用して、新しい Snowflake ユーザーを作成する必要があります。

  // Create and configure new role, MIGRATION_ROLE
  GRANT USAGE
    ON WAREHOUSE WAREHOUSE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON DATABASE DATABASE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON SCHEMA DATABASE_NAME.SCHEMA_NAME
    TO ROLE MIGRATION_ROLE;

  // You can modify this to give select permissions for all tables in a schema
  GRANT SELECT
    ON TABLE DATABASE_NAME.SCHEMA_NAME.TABLE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON STORAGE_INTEGRATION_OBJECT_NAME
    TO ROLE MIGRATION_ROLE;

次のように置き換えます。

• MIGRATION_ROLE: 作成するカスタムロールの名前
• WAREHOUSE_NAME: データ ウェアハウスの名前
• DATABASE_NAME: Snowflake データベースの名前
• SCHEMA_NAME: Snowflake スキーマの名前
• TABLE_NAME: このデータ転送に含まれる Snowflake の名前
• STORAGE_INTEGRATION_OBJECT_NAME: Snowflake ストレージ統合オブジェクトの名前。

認証用の鍵ペアを生成する

Snowflake による単一要素パスワードでのログインが非推奨になったため、認証には鍵ペアを使用することをおすすめします。

鍵ペアを構成するには、暗号化された RSA 鍵ペアまたは暗号化されていない RSA 鍵ペアを生成し、公開鍵を Snowflake ユーザーに割り当てます。詳細については、鍵ペア認証の構成をご覧ください。

ネットワーク ポリシーを追加する

パブリック接続の場合、Snowflake アカウントでは、デフォルトでデータベース認証情報を使用したパブリック接続が許可されます。ただし、Snowflake コネクタがアカウントに接続できないようにするネットワーク ルールまたはポリシーが構成されている可能性があります。この場合は、必要な IP アドレスを許可リストに追加する必要があります。

次の表は、公開転送に使用されるリージョンとマルチリージョンのロケーションの IP アドレスのリストです。データセットのロケーションに対応する IP アドレスのみを追加することも、表に記載されているすべての IP アドレスを追加することもできます。これらは、BigQuery Data Transfer Service のデータ転送用に Google が予約した IP アドレスです。

許可リストに IP アドレスを追加する手順は次のとおりです。

1. type = IPV4 のネットワーク ルールを作成します。BigQuery Data Transfer Service は、JDBC 接続を使用して Snowflake アカウントに接続します。
2. 先ほど作成したネットワーク ルールと、次の表の IP アドレスを使用して、ネットワーク ポリシーを作成します。

リージョンのロケーション

マルチリージョンのロケーション

¹ EU マルチリージョン内のデータは europe-west2（ロンドン）や europe-west6（チューリッヒ）のデータセンターには保存されません。

メタデータを生成して変換エンジンを実行する

Snowflake 用の BigQuery Data Transfer Service コネクタは、Snowflake テーブルを BigQuery に移行するときに、BigQuery 移行サービス変換エンジンをスキーマ マッピングに使用します。Snowflake データ転送を完了するには、まず変換用のメタデータを生成してから、変換エンジンを実行する必要があります。

1. Snowflake 用の dwh-migration-tool を実行します。詳細については、変換と評価のためのメタデータを生成するをご覧ください。
2. 生成された metadata.zip ファイルを Cloud Storage バケットにアップロードします。metadata.zip ファイルは、変換エンジンの入力として使用されます。

3. target_types フィールドを metadata として指定して、バッチ変換サービスを実行します。詳細については、Translation API を使用して SQL クエリを変換するをご覧ください。

   • Snowflake のバッチ変換を実行するコマンドの例を次に示します。

     curl -d "{
     \"name\": \"sf_2_bq_translation\",
     \"displayName\": \"Snowflake to BigQuery Translation\",
     \"tasks\": {
         string: {
           \"type\": \"Snowflake2BigQuery_Translation\",
           \"translation_details\": {
               \"target_base_uri\": \"gs://sf_test_translation/output\",
               \"source_target_mapping\": {
                 \"source_spec\": {
                     \"base_uri\": \"gs://sf_test_translation/input\"
                 }
               },
               \"target_types\": \"metadata\",
           }
         }
     },
     }" \
     -H "Content-Type:application/json" \
     -H "Authorization: Bearer TOKEN" -X POST https://bigquerymigration.googleapis.com/v2alpha/projects/project_id/locations/location/workflows
   

   • このコマンドのステータスは、BigQuery の SQL 変換ページで確認できます。バッチ変換ジョブの出力は gs://translation_target_base_uri/metadata/config/ に保存されます。

サービス アカウントに必要な権限

Snowflake 転送では、サービス アカウントを使用して、指定された Cloud Storage パスの変換エンジン出力からデータを読み取ります。サービス アカウントに storage.objects.get 権限と storage.objects.list 権限を付与する必要があります。

転送構成と宛先データセットが作成される Trusted Cloud by S3NS プロジェクトに属しているサービス アカウントを使用することをおすすめします。サービス アカウントが BigQuery データ転送を作成したプロジェクトとは異なる Trusted Cloud by S3NS プロジェクトのサービス アカウントである場合は、プロジェクト間のサービス アカウントの承認を有効にする必要があります。

詳細については、BigQuery の IAM ロールと権限をご覧ください。

Snowflake データを評価する

BigQuery は、Snowflake から Cloud Storage にデータを Parquet ファイルとして書き込みます。Parquet ファイルは、TIMESTAMP_TZ と TIMESTAMP_LTZ のデータ型をサポートしていません。データにこれらの型が含まれている場合は、CSV ファイルとして Amazon S3 にエクスポートし、CSV ファイルを BigQuery にインポートできます。詳細については、Amazon S3 の転送の概要をご覧ください。

転送情報を収集する

BigQuery Data Transfer Service で移行を設定するために必要な情報を収集します。

• Snowflake アカウント ID（Snowflake アカウント URL の接頭辞）。例: ACCOUNT_IDENTIFIER.snowflakecomputing.com
• Snowflake データベースに対する適切な権限を持つユーザー名と関連する秘密鍵。データ転送を実行するために必要な権限のみを持つことができます。
• 転送に使用する Amazon S3 バケットの URI と AWS ユーザー アクセスキーのペア。このバケットにライフサイクル ポリシーを設定して、不要な課金が発生しないようにすることをおすすめします。
• 変換エンジンから取得したスキーマ マッピング ファイルを保存した Cloud Storage バケットの URI。

Snowflake の転送を設定する

次のオプションのいずれかを選択します。

bq mk \
    --transfer_config \
    --project_id=project_id \
    --data_source=data_source \
    --target_dataset=dataset \
    --display_name=name \
    --service_account_name=service_account \
    --params='parameters'

  PARAMS='{
  "account_identifier": "your_account_identifier",
  "auth_mechanism": "KEY_PAIR",
  "aws_access_key_id": "your_access_key_id",
  "aws_secret_access_key": "your_aws_secret_access_key",
  "cloud_provider": "AWS",
  "database": "your_sf_database",
  "private_key": "-----BEGIN PRIVATE KEY----- privatekey\nseparatedwith\nnewlinecharacters=-----END PRIVATE KEY-----",
  "schema": "your_snowflake_schema",
  "service_account": "your_service_account",
  "storage_integration_object_name": "your_storage_integration_object",
  "staging_s3_uri": "s3://your/s3/bucket/uri",
  "table_name_patterns": ".*",
  "translation_output_gcs_path": "gs://sf_test_translation/output/metadata/config/database_name/schema_name/",
  "username": "your_sf_username",
  "warehouse": "your_warehouse"
}'

bq mk --transfer_config \
    --project_id=your_project_id \
    --target_dataset=your_bq_dataset \
    --display_name='snowflake transfer config' \
    --params="$PARAMS" \
    --data_source=snowflake_migration

割り当てと上限

BigQuery の読み込み割り当て量は、読み込みジョブごと各テーブルあたり 15 TB です。Snowflake は内部でテーブルデータを圧縮するため、エクスポートされたテーブルサイズは、Snowflake で提示されたテーブルサイズより大きくなります。15 TB を超えるテーブルを移行する場合は、dts-migration-preview-support@google.com までお問い合わせください。

Amazon S3 の整合性モデルにより、一部のファイルが BigQuery への転送に含まれない可能性があります。

料金

BigQuery Data Transfer Service の料金については、料金をご覧ください。

• Snowflake ウェアハウスと Amazon S3 バケットが異なるリージョンにある場合、Snowflake データ転送を実行すると、Snowflake は下り（外向き）料金を適用します。Snowflake ウェアハウスと Amazon S3 バケットの両方が同じリージョンにある場合、Snowflake データ転送に下り（外向き）料金は発生しません。
• AWS から Trusted Cloudにデータを転送すると、クラウド間の下り（外向き）料金が適用されます。

次のステップ

• BigQuery Data Transfer Service の詳細を確認する。
• Batch SQL 変換を使用して SQL コードを移行する。