הגדרת קישוריות פרטית להעברות ל-Snowflake

AWS

מגדירים את AWS PrivateLink כדי לקשר את חשבון Snowflake לחשבון AWS. חשבון AWS שלכם צריך להכיל את קטגוריית הביניים של Amazon S3 שנדרשת להעברה ב-Snowflake.

Azure

מגדירים את Azure Private Link כדי לחבר את Azure Virtual Network ‏ (VNet) אל Snowflake VNet ב-Azure. חשבון Azure שלכם צריך לכלול את מאגר Blob staging שנדרש להעברה ב-Snowflake.

Cloud de Confiance

הגדרה של Cloud de Confiance by S3NS Private Service Connect כדי לחבר את רשת הענן הווירטואלי הפרטי (VPC) שלכם Cloud de Confiance by S3NS. ב-Cloud de Confiance by S3NS שלכם צריכה להיות קטגוריית אחסון זמני ב-Cloud Storage שנדרשת להעברה ל-Snowflake.

AWS

רשת VPN בזמינות גבוהה מאפשרת להעביר נתונים דרך מנהרת VPN מוצפנת. כדי להשתמש ב-HA VPN להעברה פרטית של Snowflake, אפשר לעיין במאמר בנושא יצירת חיבורי HA VPN בין Cloud de Confiance לבין AWS.

חיבור Cross-Cloud Interconnect יוצר קישור פרטי ייעודי בין ספקי ענן, והוא מתאים להעברות נתונים גדולות עם דרישות של זמן אחזור נמוך. כדי להשתמש ב-Cross-Cloud Interconnect להעברה פרטית של Snowflake, אפשר לעיין במאמר חיבור ל-AWS.

Azure

רשת VPN בזמינות גבוהה מאפשרת להעביר נתונים דרך מנהרת VPN מוצפנת. כדי להשתמש ב-HA VPN להעברה פרטית של Snowflake, אפשר לעיין במאמר בנושא יצירת חיבורי HA VPN בין Cloud de Confiance לבין Azure.

חיבור Cross-Cloud Interconnect יוצר קישור פרטי ייעודי בין ספקי ענן, והוא מתאים להעברות נתונים גדולות עם דרישות של זמן אחזור נמוך. כדי להשתמש ב-Cross-Cloud Interconnect להעברה פרטית של Snowflake, אפשר לעיין במאמר חיבור ל-Azure.

AWS

ב-AWS, יוצרים נקודת קצה (endpoint) של VPC שמתחברת ל-Amazon S3. מידע נוסף זמין במאמר גישה לשירות AWS באמצעות נקודת קצה של ממשק VPC.

Azure

מגדירים נקודת קצה פרטית בחשבון האחסון ב-Azure. מידע נוסף זמין במאמר בנושא שימוש בנקודות קצה פרטיות עבור Azure Storage.

‫Storage Transfer Service דורש את נקודת הקצה *.blob.core.microsoft.net. אין תמיכה בנקודת הקצה *.dfs.core.microsoft.net.

AWS

בחשבונות Snowflake שמארחים ב-AWS, צריך ליצור מאגר Amazon S3 כדי להכין את נתוני Snowflake לפני הטעינה שלהם ל-BigQuery.

1. יוצרים קטגוריה ב-Amazon S3.

2. יוצרים ומגדירים אובייקט של שילוב אחסון ב-Snowflake כדי לאפשר ל-Snowflake לכתוב נתונים בקטגוריה של Amazon S3 כשלב חיצוני.

כדי לאפשר גישת קריאה לקטגוריית Amazon S3, צריך גם לבצע את הפעולות הבאות:

1. יוצרים משתמש ייעודי ב-Amazon IAM ומעניקים לו את מדיניות AmazonS3ReadOnlyAccess.

2. יוצרים זוג מפתחות גישה לאמזון עבור משתמש IAM.

Azure

בחשבונות Snowflake שמארחים ב-Azure, צריך ליצור מאגר Azure Blob Storage כדי להכין את נתוני Snowflake לפני שהם נטענים ל-BigQuery.

1. יוצרים חשבון אחסון ב-Azure ומאגר אחסון בתוכו.
2. יוצרים ומגדירים אובייקט של שילוב אחסון ב-Snowflake כדי לאפשר ל-Snowflake לכתוב נתונים במאגר של Azure Storage כשלב חיצוני. אפשר לדלג על השלבים ליצירת שלב חיצוני, כי זה לא נדרש.

כדי לאפשר גישת קריאה למאגר Azure, צריך ליצור עבורו טוקן SAS.

Cloud de Confiance

בחשבונות Snowflake שמארחים ב- Cloud de Confiance, צריך ליצור קטגוריה של Cloud Storage כדי להכין את נתוני Snowflake לפני שהם נטענים ל-BigQuery.

1. יצירת קטגוריה של Cloud Storage
2. יוצרים ומגדירים אובייקט של שילוב אחסון ב-Snowflake כדי לאפשר ל-Snowflake לכתוב נתונים בקטגוריית Cloud Storage כשלב חיצוני.

3. כדי לאפשר גישה לקטגוריית הביניים, צריך להקצות לסוכן השירות של DTS את התפקיד roles/storage.objectViewer באמצעות הפקודה הבאה:

   gcloud storage buckets add-iam-policy-binding gs://STAGING_BUCKET_NAME \
     --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.s3ns-system.iam.gserviceaccount.com \
     --role=roles/storage.objectViewer

המסוף

• בשדה Use Private Network (שימוש ברשת פרטית), בוחרים באפשרות True (נכון).
• בשדה PSC Service Attachment (צירוף שירות PSC), מזינים את מזהה המשאבים האחיד (URI) של צירוף השירות. מידע על איתור ה-URI של קובץ השירות מצורף זמין במאמר הצגת פרטים של שירות שפורסם. מזהה ה-URI של קובץ השירות הוא בפורמט projects/PROJECT_ID/regions/REGION/serviceAttachments/SERVICE_ATTACHMENT.
• בשדה Private Network Service (שירות רשת פרטי), מזינים את הקישור העצמי של שירות NLB. הפורמט הוא projects/PROJECT_ID/locations/LOCATION/namespaces/NAMESPACE/services/SERVICE_NAME.
• ה-URI של קטגוריית הביניים שרוצים להשתמש בה להעברה:
  • בחשבון Snowflake שמארח ב-AWS, צריך לציין URI של קטגוריית Amazon S3 ופרטי גישה.
  • במקרה של Snowflake שמארח ב-Azure, נדרשים חשבון ומאגר ב-Azure Blob Storage.
  • בחשבון Snowflake שמארחCloud de Confiance, צריך לציין Cloud Storage bucket URI.

• בקטע Cloud Provider (ספק שירותי ענן), בוחרים באפשרות AWS,‏ AZURE או GCP בהתאם לספק שירותי הענן שמארח את חשבון Snowflake.

  AWS

  • בשדה Amazon S3 URI (כתובת URI של Amazon S3), מזינים את כתובת ה-URI של קטגוריית Amazon S3 שבה רוצים להשתמש כקטגוריית ביניים.
  • בשדות מזהה מפתח הגישה ומפתח גישה סודי, מזינים את זוג מפתחות הגישה.

  Azure

  • בשדות שם חשבון האחסון ב-Azure והמאגר בחשבון האחסון ב-Azure, מזינים את שם חשבון האחסון ושם המאגר ב-Azure Blob Storage שבהם רוצים להשתמש כמאגר זמני.
  • בקטע SAS Token, מזינים את טוקן ה-SAS שנוצר עבור המאגר.

  Cloud de Confiance

  • בשדה GCS URI, מזינים את ה-URI של Cloud Storage שבו רוצים להשתמש כקטגוריית ביניים.

BQ

• לפרמטר use_private_network, מגדירים את הערך TRUE.
• בפרמטר service_attachment, מציינים את מזהה המשאבים האחיד (URI) של קובץ השירות. מידע על איתור ה-URI של קובץ השירות מצורף זמין במאמר הצגת פרטים של שירות שפורסם. מזהה ה-URI של קובץ השירות הוא בפורמט projects/PROJECT_ID/regions/REGION/serviceAttachments/SERVICE_ATTACHMENT.
• בפרמטר private_network_service, מציינים את הקישור העצמי של שירות NLB. הפורמט הוא projects/PROJECT_ID/locations/LOCATION/namespaces/NAMESPACE/services/SERVICE_NAME.
• ‫cloud_provider: מזינים AWS או AZURE או GCP בהתאם לספק שירותי הענן שמארח את חשבון Snowflake.
• ‫staging_s3_uri: מזינים את ה-URI של קטגוריית S3 שבה רוצים להשתמש כקטגוריית ביניים. נדרש רק אם cloud_provider הוא AWS.
• ‫aws_access_key_id: מזינים את זוג מפתחות הגישה. נדרש רק אם cloud_provider הוא AWS.
• ‫aws_secret_access_key: מזינים את זוג מפתחות הגישה. נדרש רק אם cloud_provider הוא AWS.
• ‫azure_storage_account: מזינים את השם של חשבון האחסון שרוצים להשתמש בו כקטגוריית אחסון זמנית. נדרש רק אם cloud_provider הוא AZURE.
• ‫staging_azure_container: מזינים את המאגר ב-Azure Blob Storage שבו רוצים להשתמש כקטגוריית אחסון זמני. נדרש רק אם cloud_provider הוא AZURE.
• ‫azure_sas_token: מזינים את טוקן ה-SAS. נדרש רק אם cloud_provider הוא AZURE.
• ‫staging_gcs_uri : מזינים את ה-URI של Cloud Storage שבו רוצים להשתמש כקטגוריית אחסון זמני. נדרש רק אם cloud_provider הוא GCP.