העברת סכימה ונתונים מ-Amazon Redshift

במסמך הזה מתואר תהליך ההעברה של נתונים מ-Amazon Redshift ל-BigQuery באמצעות כתובות IP ציבוריות.

אתם יכולים להשתמש בשירות העברת הנתונים ל-BigQuery כדי להעתיק את הנתונים ממחסן נתונים (data warehouse) של Amazon Redshift ל-BigQuery. השירות מפעיל סוכני העברה ב-GKE ומפעיל פעולת פריקה מ-Amazon Redshift לאזור זמני בדלי Amazon S3. לאחר מכן, שירות העברת הנתונים ל-BigQuery מעביר את הנתונים ממאגר Amazon S3 ל-BigQuery.

בתרשים הזה מוצג תהליך העברת הנתונים הכולל בין מחסן נתונים של Amazon Redshift לבין BigQuery במהלך העברה.

אם רוצים להעביר נתונים ממופע Amazon Redshift דרך ענן וירטואלי פרטי (VPC) באמצעות כתובות IP פרטיות, אפשר לעיין במאמר בנושא העברת נתונים מ-Amazon Redshift באמצעות VPC.

לפני שמתחילים

1. In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Go to project selector

2. Verify that billing is enabled for your Cloud de Confiance project.

3. Enable the BigQuery and BigQuery Data Transfer Service APIs.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the APIs

הגדרת ההרשאות הנדרשות

לפני שיוצרים העברה של Amazon Redshift:

1. צריך לוודא שלחשבון המשתמש שיוצר את ההעברה יש את ההרשאות הבאות בפרויקט שמכיל את משימת ההעברה:

   • הרשאות bigquery.transfers.update ליצירת ההעברה
   • הרשאות bigquery.datasets.get וגם bigquery.datasets.update במערך הנתונים של היעד

   התפקיד המוגדר מראש roles/bigquery.admin בניהול זהויות והרשאות גישה (IAM) כולל את ההרשאות bigquery.transfers.update, bigquery.datasets.update ו-bigquery.datasets.get. מידע נוסף על תפקידי IAM בשירות העברת נתונים ל-BigQuery זמין במאמר בנושא בקרת גישה.

2. כדאי לעיין במסמכי התיעוד של Amazon S3 כדי לוודא שהגדרתם את כל ההרשאות שנדרשות להפעלת ההעברה. לפחות, צריך להחיל על נתוני המקור ב-Amazon S3 את המדיניות המנוהלת של AWS‏ AmazonS3ReadOnlyAccess.

יצירת מערך נתונים

יוצרים מערך נתונים ב-BigQuery לאחסון הנתונים. אין צורך ליצור טבלאות.

הענקת גישה לאשכול Amazon Redshift

מוסיפים לרשימת ההיתרים את טווחי כתובות ה-IP הבאים של אשכול Amazon Redshift הפרטי על ידי הגדרת הכללים של קבוצת האבטחה. אתם יכולים להוסיף לרשימת ההיתרים את כתובות ה-IP שמתאימות למיקום של מערך הנתונים, או להוסיף לרשימת ההיתרים את כל כתובות ה-IP שבטבלה שלמטה. כתובות ה-IP האלה בבעלות Google שמורות להעברות נתונים ב-Amazon Redshift.

מיקומים אזוריים

מיקומים במספר אזורים

‫¹ נתונים שנמצאים במיקום 'במספר אזורים' של EU לא מאוחסנים במרכזי הנתונים europe-west2 (לונדון) או europe-west6 (ציריך).

הענקת גישה לקטגוריית Amazon S3

כדי להעביר את הנתונים מ-Amazon Redshift ל-BigQuery, צריך להשתמש בקטגוריית Amazon S3 כשטח אחסון זמני. הוראות מפורטות זמינות במסמכי התיעוד של Amazon.

1. מומלץ ליצור משתמש ייעודי ב-Amazon IAM ולהעניק למשתמש הזה הרשאת קריאה בלבד ל-Amazon Redshift והרשאת קריאה וכתיבה ל-Amazon S3. כדי לבצע את השלב הזה, אפשר להחיל את המדיניות הבאה:

   

2. יוצרים זוג מפתחות גישה למשתמש IAM ב-Amazon.

הגדרת בקרת עומס עבודה עם תור העברה נפרד

אופציונלי, אתם יכולים להגדיר תור של Amazon Redshift למטרות מיגרציה כדי להגביל את המשאבים שמשמשים למיגרציה ולהפריד ביניהם. אתם יכולים להגדיר את תור ההעברה הזה עם מספר מקסימלי של שאילתות מקבילות. לאחר מכן תוכלו לשייך קבוצת משתמשים מסוימת להעברה לתור ולהשתמש בפרטי הכניסה האלה כשמגדירים את ההעברה כדי להעביר נתונים ל-BigQuery. לשירות ההעברה יש גישה רק לתור ההעברה.

איסוף פרטי ההעברה

כדי להגדיר את ההעברה באמצעות שירות העברת הנתונים ל-BigQuery, צריך לאסוף את המידע הבא:

• כדי לקבל את כתובת ה-URL של JDBC, פועלים לפי ההוראות האלה .
• מקבלים את שם המשתמש והסיסמה של משתמש עם הרשאות מתאימות למסד הנתונים שלכם ב-Amazon Redshift.
• פועלים לפי ההוראות במאמר Grant access to your Amazon S3 bucket (מתן גישה לקטגוריית Amazon S3) כדי לקבל צמד מפתחות גישה של AWS.
• מקבלים את ה-URI של קטגוריית Amazon S3 שרוצים להשתמש בה להעברה. כדי להימנע מחיובים מיותרים, מומלץ להגדיר מדיניות מחזור חיים לדלי הזה. זמן התפוגה המומלץ הוא 24 שעות, כדי לאפשר מספיק זמן להעברת כל הנתונים ל-BigQuery.

בדיקת הנתונים

במסגרת העברת הנתונים, שירות העברת הנתונים ל-BigQuery כותב נתונים מ-Amazon Redshift ל-Cloud Storage כקובצי CSV. אם הקבצים האלה מכילים את התו ASCII 0, אי אפשר לטעון אותם ל-BigQuery. מומלץ לבדוק את הנתונים כדי להבין אם הבעיה הזו רלוונטית לכם. אם כן, אפשר לעקוף את הבעיה על ידי ייצוא הנתונים ל-Amazon S3 כקובצי Parquet, ואז לייבא את הקבצים האלה באמצעות שירות העברת הנתונים ל-BigQuery. מידע נוסף זמין במאמר סקירה כללית של העברות מ-Amazon S3.

הגדרת העברה של Amazon Redshift

בוחרים באחת מהאפשרויות הבאות:

bq mk \
    --transfer_config \
    --project_id=project_id \
    --data_source=data_source \
    --target_dataset=dataset \
    --display_name=name \
    --service_account_name=service_account \
    --params='parameters'

bq mk \
    --transfer_config \
    --project_id=myproject \
    --data_source=redshift \
    --target_dataset=mydataset \
    --display_name='My Transfer' \
    --params='{"jdbc_url":"jdbc:postgresql://test-example-instance.sample.us-west-1.redshift.amazonaws.com:5439/dbname","database_username":"my_username","database_password":"1234567890","access_key_id":"A1B2C3D4E5F6G7H8I9J0","secret_access_key":"1234567890123456789012345678901234567890","s3_bucket":"s3://bucket/prefix","redshift_schema":"public","table_name_patterns":"table_name"}'

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.CreateTransferConfigRequest;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.protobuf.Struct;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

// Sample to create redshift transfer config
public class CreateRedshiftTransfer {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    final String projectId = "MY_PROJECT_ID";
    String datasetId = "MY_DATASET_ID";
    String datasetRegion = "US";
    String jdbcUrl = "MY_JDBC_URL_CONNECTION_REDSHIFT";
    String dbUserName = "MY_USERNAME";
    String dbPassword = "MY_PASSWORD";
    String accessKeyId = "MY_AWS_ACCESS_KEY_ID";
    String secretAccessId = "MY_AWS_SECRET_ACCESS_ID";
    String s3Bucket = "MY_S3_BUCKET_URI";
    String redShiftSchema = "MY_REDSHIFT_SCHEMA";
    String tableNamePatterns = "*";
    String vpcAndReserveIpRange = "MY_VPC_AND_IP_RANGE";
    Map<String, Value> params = new HashMap<>();
    params.put("jdbc_url", Value.newBuilder().setStringValue(jdbcUrl).build());
    params.put("database_username", Value.newBuilder().setStringValue(dbUserName).build());
    params.put("database_password", Value.newBuilder().setStringValue(dbPassword).build());
    params.put("access_key_id", Value.newBuilder().setStringValue(accessKeyId).build());
    params.put("secret_access_key", Value.newBuilder().setStringValue(secretAccessId).build());
    params.put("s3_bucket", Value.newBuilder().setStringValue(s3Bucket).build());
    params.put("redshift_schema", Value.newBuilder().setStringValue(redShiftSchema).build());
    params.put("table_name_patterns", Value.newBuilder().setStringValue(tableNamePatterns).build());
    params.put(
        "migration_infra_cidr", Value.newBuilder().setStringValue(vpcAndReserveIpRange).build());
    TransferConfig transferConfig =
        TransferConfig.newBuilder()
            .setDestinationDatasetId(datasetId)
            .setDatasetRegion(datasetRegion)
            .setDisplayName("Your Redshift Config Name")
            .setDataSourceId("redshift")
            .setParams(Struct.newBuilder().putAllFields(params).build())
            .setSchedule("every 24 hours")
            .build();
    createRedshiftTransfer(projectId, transferConfig);
  }

  public static void createRedshiftTransfer(String projectId, TransferConfig transferConfig)
      throws IOException {
    try (DataTransferServiceClient client = DataTransferServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      CreateTransferConfigRequest request =
          CreateTransferConfigRequest.newBuilder()
              .setParent(parent.toString())
              .setTransferConfig(transferConfig)
              .build();
      TransferConfig config = client.createTransferConfig(request);
      System.out.println("Cloud redshift transfer created successfully :" + config.getName());
    } catch (ApiException ex) {
      System.out.print("Cloud redshift transfer was not created." + ex.toString());
    }
  }
}

מכסות ומגבלות

ב-BigQuery יש מכסת טעינה של 15TB לכל משימת טעינה לכל טבלה. מערכת Amazon Redshift דוחסת את נתוני הטבלה באופן פנימי, ולכן גודל הטבלה המיוצאת יהיה גדול יותר מגודל הטבלה שמדווח על ידי Amazon Redshift. אם אתם מתכננים לבצע מיגרציה של טבלה בגודל של יותר מ-15TB, עליכם לפנות קודם אל Cloud Customer Care.

השימוש בשירות הזה עלול לגרום לחיובים מחוץ ל-Google. פרטים נוספים מופיעים בדפי התמחור של Amazon Redshift ושל Amazon S3.

בגלל מודל העקביות של Amazon S3, יכול להיות שחלק מהקבצים לא ייכללו בהעברה ל-BigQuery.

המאמרים הבאים

• מידע נוסף על העברת מופעים פרטיים של Amazon Redshift באמצעות VPC
• מידע נוסף על שירות העברת נתונים ל-BigQuery
• העברת קוד SQL באמצעות תרגום SQL באצווה.