שימוש בהעברות של צד שלישי

העברות מצד שלישי בשירות העברת הנתונים ל-BigQuery מאפשרות לתזמן ולנהל באופן אוטומטי משימות טעינה חוזרות למקורות נתונים חיצוניים כמו Salesforce CRM,‏ Adobe Analytics ו-Facebook Ads.

לפני שמתחילים

לפני שיוצרים העברת נתונים של צד שלישי:

התפקידים הנדרשים ב-BigQuery

כדי לקבל את ההרשאות שנדרשות ליצירת העברת נתונים באמצעות שירות העברת נתונים ל-BigQuery, צריך לבקש מהאדמין להקצות לכם את תפקיד BigQuery Admin ‏ (roles/bigquery.admin) ב-IAM בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקיד המוגדר מראש הזה כולל את ההרשאות שנדרשות ליצירת העברת נתונים בשירות העברת נתונים ל-BigQuery. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי ליצור העברת נתונים באמצעות שירות העברת הנתונים ל-BigQuery, נדרשות ההרשאות הבאות:

  • הרשאות של שירות העברת נתונים ל-BigQuery:
    • bigquery.transfers.update
    • bigquery.transfers.get
  • הרשאות ב-BigQuery:
    • bigquery.datasets.get
    • bigquery.datasets.getIamPolicy
    • bigquery.datasets.update
    • bigquery.datasets.setIamPolicy
    • bigquery.jobs.create

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

מידע נוסף מופיע במאמר בנושא מתן גישה ל-bigquery.admin.

מגבלות

העברות לצד שלישי כפופות למגבלות הבאות:

  • אתם צריכים ליצור או לעדכן העברה לצד שלישי באמצעותCloud de Confiance המסוף.
  • אי אפשר להגדיר או לעדכן העברות של צד שלישי באמצעות כלי שורת הפקודה של BigQuery.

הגדרת העברת נתונים של צד שלישי

כדי ליצור העברת נתונים מצד שלישי באמצעות מסוף Cloud de Confiance :

  1. נכנסים אל Google Cloud Marketplace.

    כניסה אל Google Cloud Marketplace

  2. לוחצים על ספק הצד השלישי המתאים.

  3. בדף התיעוד של ספק הצד השלישי, לוחצים על הצטרפות. תהליך ההרשמה עשוי להימשך כמה דקות.

  4. אחרי שמסיימים את ההרשמה, לוחצים על הגדרת העברה.

  5. בדף Create Transfer:

    • בקטע מקור, בוחרים את מקור הנתונים המתאים של צד שלישי. אפשר ללחוץ על מקורות נתונים כדי לראות את רשימת ספקי הצד השלישי ב-Google Cloud Marketplace.

      מקור ההעברה

    • בשדה Display name, מזינים שם להעברה, כמו My Transfer. שם ההעברה יכול להיות כל ערך שיאפשר לכם לזהות בקלות את ההעברה אם תצטרכו לשנות אותה בהמשך.

      שם ההעברה

    • בקטע תזמון, משאירים את ערך ברירת המחדל (התחלת הפגישה) או לוחצים על התחלת הפגישה בשעה מסוימת.

      • בקטע חזרות, בוחרים את התדירות שבה רוצים להפעיל את ההעברה. האפשרויות כוללות:

        • יומי (ברירת מחדל)
        • שבועי
        • כל חודש
        • בהתאמה אישית
        • על פי דרישה

        אם בוחרים באפשרות אחרת מלבד 'יומי', מוצגות אפשרויות נוספות. לדוגמה, אם בוחרים באפשרות 'מדי שבוע', מופיעה אפשרות לבחור את היום בשבוע.

      • בשדה תאריך ושעת התחלה, מזינים את התאריך והשעה שבהם רוצים להתחיל את ההעברה. אם בוחרים באפשרות Start now (התחלה מיידית), האפשרות הזו מושבתת.

        לוח זמנים להעברה

    • בשדה Destination dataset (מערך נתונים של היעד), בוחרים את מערך הנתונים שיצרתם לאחסון הנתונים.

      העברת מערך נתונים

    • (אופציונלי) בקטע אפשרויות להתראות:

      • לוחצים על המתג כדי להפעיל את ההתראות באימייל. אם תפעילו את האפשרות הזו, האדמין של ההעברה יקבל התראה באימייל אם ההרצה של ההעברה תיכשל.
      • בקטע Select a Pub/Sub topic, בוחרים את שם הנושא או לוחצים על Create a topic כדי ליצור נושא. באמצעות האפשרות הזו תוכלו להגדיר התראות על הפעלת Pub/Sub להעברה.

  6. לוחצים על קישור של מקור.

  7. כשמוצגת בקשה, לוחצים על אישור כדי לתת לשירות העברת הנתונים ל-BigQuery הרשאה להתחבר למקור הנתונים ולנהל את הנתונים ב-BigQuery.

  8. פועלים לפי ההוראות בדפים הבאים כדי להגדיר את החיבור למקור הנתונים החיצוני.

  9. אחרי שמסיימים את שלבי ההגדרה, לוחצים על שמירה.

פתרון בעיות בהגדרה של העברה לצד שלישי

אם נתקלתם בבעיות בהגדרת ההעברה, מומלץ לפנות לספק הצד השלישי המתאים. הפרטים ליצירת קשר מופיעים בדף התיעוד של ההעברה ב-Google Cloud Marketplace.

שאילתות על הנתונים

כשהנתונים מועברים ל-BigQuery, הם נכתבים בטבלאות עם חלוקה למחיצות לפי זמן ההטמעה. מידע נוסף זמין במאמר מבוא לטבלאות עם מחיצות.

אם אתם שולחים שאילתות ישירות לטבלאות במקום להשתמש בתצוגות שנוצרו אוטומטית, אתם צריכים להשתמש בעמודה הווירטואלית _PARTITIONTIME בשאילתה. מידע נוסף זמין במאמר בנושא שליחת שאילתות לטבלאות מחולקות.

המאמרים הבאים