טעינת נתונים מ-Salesforce ל-BigQuery

אפשר לטעון נתונים מ-Salesforce Sales Cloud ל-BigQuery באמצעות שירות העברת הנתונים ל-BigQuery למחבר של Salesforce. באמצעות שירות העברת הנתונים ל-BigQuery, אתם יכולים לתזמן משימות העברה חוזרות שמוסיפות את הנתונים העדכניים מ-Salesforce Sales Cloud ל-BigQuery.

מגבלות

העברות נתונים מ-Salesforce כפופות למגבלות הבאות:

  • מחבר Salesforce תומך רק בהעברות מ-Salesforce Sales Cloud.
  • מחבר Salesforce תומך רק בשדות שנכללים ב-Salesforce Bulk API V1 גרסה 64.0. יכול להיות שחלק מהשדות שנכללו בגרסאות קודמות של Salesforce Bulk API לא נתמכים. מידע נוסף על השינויים האלה בחיבור Salesforce זמין במאמר בנושא Salesforce Bulk API.
  • המחבר של Salesforce משתמש ב-Salesforce Bulk API V1 כדי להתחבר לנקודת הקצה של Salesforce Sales Cloud ולאחזר נתונים.
    • מחבר Salesforce תומך רק ב-Salesforce Bulk API V1 כדי להתחבר למופע Salesforce, ותומך רק בהעברת ישויות שנתמכות על ידי Salesforce Bulk API. מידע נוסף על הישויות הנתמכות זמין במאמר בנושא השגיאה 'הישות לא נתמכת על ידי Bulk API'.
  • מחבר Salesforce לא תומך בהעברה של האובייקטים הבאים שיש להם שדות בינאריים.
    • Attachment
    • ContentVersion
    • Document
    • StaticResource
    • Scontrol
    • EmailCapture
    • MailMergeTemplate
  • מרווח הזמן המינימלי בין העברות נתונים חוזרות הוא 15 דקות. מרווח ברירת המחדל להעברה חוזרת הוא 24 שעות.
  • בגלל מגבלות העיבוד של Salesforce, תזמון של יותר מדי העברות נתונים בו-זמנית עלול לגרום לעיכובים או לכשלים. מומלץ להגביל את העברות הנתונים של Salesforce לפעולות הבאות:
    • אפשר לכלול עד 10 נכסים בכל הגדרת העברה.
    • בכל ההגדרות השונות של ההעברה, לא יכולות להיות יותר מ-10 העברות בו-זמניות בכל פעם.
  • הגדרת העברה יחידה יכולה לתמוך רק בהרצת העברת נתונים אחת בכל זמן נתון. אם מתוכננת העברת נתונים שנייה לפני שההעברה הראשונה מסתיימת, רק ההעברה הראשונה תושלם, והעברות נתונים אחרות שחופפות לה ידלגו.
    • כדי להימנע מדילוג על העברות במסגרת הגדרת העברה אחת, מומלץ להגדיר את תדירות החזרה כדי להגדיל את משך הזמן בין העברות של נתונים בכמות גדולה.
  • אם אתם משתמשים בצירופים לרשת בהעברת הנתונים, אתם צריכים להגדיר תרגום כתובות רשת (NAT) ציבורי עם כתובת IP סטטית. מידע נוסף זמין במאמר בנושא הגדרת רשימת כתובות IP להעברות ב-Salesforce.
  • אם המכונה הווירטואלית (VM) והרכיב לחיבור לרשת שהגדרתם נמצאים באזורים שונים, יכול להיות שתהיה תנועה של נתונים בין אזורים כשמעבירים נתונים מ-Salesforce.

מגבלות על העברות מצטברות

העברות מצטברות מ-Salesforce כפופות למגבלות הבאות:

  • אפשר לבחור רק TIMESTAMP עמודות כעמודות של סימן מים.
  • הטמעה מצטברת נתמכת רק בנכסים עם עמודות סימן מים תקינות.
  • הערכים בעמודת סימן המים חייבים להיות בסדר עולה.
  • העברות מצטברות לא יכולות לסנכרן פעולות מחיקה בטבלת המקור.
  • הגדרת העברה אחת יכולה לתמוך רק בהעברה מצטברת או בהעברה מלאה.
  • אחרי ההפעלה הראשונה של ההעלאה המצטברת, אי אפשר לעדכן אובייקטים ברשימה asset.
  • אי אפשר לשנות את מצב הכתיבה בהגדרת העברה אחרי ההפעלה הראשונה של הטמעה מצטברת.
  • אי אפשר לשנות את העמודה של סימן המים או את המפתח הראשי אחרי ההפעלה הראשונה של הטמעת נתונים מצטברת.
  • הטבלה ב-BigQuery שמוגדרת כיעד מסודרת באשכולות באמצעות המפתח הראשי שצוין, והיא כפופה למגבלות של טבלאות מסודרות באשכולות.
  • כשמעדכנים הגדרת העברה קיימת למצב של העברה מצטברת בפעם הראשונה, ההעברה הראשונה של הנתונים אחרי העדכון מעבירה את כל הנתונים הזמינים ממקור הנתונים. כל העברה מצטברת של נתונים שתתבצע לאחר מכן תעביר רק את השורות החדשות והמעודכנות ממקור הנתונים.

אפשרויות להטמעת נתונים

בקטעים הבאים מוסבר בהרחבה על האפשרויות להעברת נתונים כשמגדירים העברת נתונים מ-Salesforce.

העברות מלאות או מצטברות

כשמגדירים העברה מ-Salesforce, אפשר לציין איך הנתונים ייטענו ל-BigQuery על ידי בחירה באפשרות Full (מלאה) או Incremental (מצטברת) בהעדפות הכתיבה בהגדרות ההעברה. העברות מצטברות נתמכות בגרסת Preview.

אפשר להגדיר העברת נתונים מלאה כדי להעביר את כל הנתונים ממערכי הנתונים של Salesforce בכל העברת נתונים.

לחלופין, אפשר להגדיר העברת נתונים מצטברת (בגרסת Preview) כדי להעביר רק את הנתונים שהשתנו מאז העברת הנתונים האחרונה, במקום לטעון את כל מערך הנתונים בכל העברת נתונים. אם בוחרים באפשרות מצטבר להעברת הנתונים, צריך לציין את מצבי הכתיבה הוספה או עדכון והוספה כדי להגדיר איך הנתונים ייכתבו ל-BigQuery במהלך העברת נתונים מצטברת. בקטעים הבאים מתוארים מצבי הכתיבה הזמינים.

הוספה למצב כתיבה

מצב הכתיבה 'הוספה' מוסיף רק שורות חדשות לטבלת היעד. האפשרות הזו מוסיפה את הנתונים שהועברו בלי לבדוק אם קיימות רשומות, ולכן המצב הזה עלול לגרום לשכפול נתונים בטבלת היעד.

כשבוחרים במצב הוספה, צריך לבחור עמודה של סימן מים. כדי שהמחבר של Salesforce יוכל לעקוב אחרי שינויים בטבלת המקור, צריך להוסיף עמודה של סימן מים.

בוחרים עמודה של סימן מים שמתעדכנת רק כשהרשומה נוצרה, ולא תשתנה בעדכונים הבאים. לדוגמה, העמודה CreatedDate.

מצב כתיבה של Upsert

במצב הכתיבה upsert, המערכת מעדכנת שורה או מוסיפה שורה חדשה בטבלת היעד על ידי בדיקה של מפתח ראשי. אתם יכולים לציין מפתח ראשי כדי שהמחבר של Salesforce יקבע אילו שינויים נדרשים כדי שהטבלה של היעד תהיה מעודכנת בהתאם לטבלת המקור. אם המפתח הראשי שצוין קיים בטבלת היעד ב-BigQuery במהלך העברת נתונים, המחבר של Salesforce מעדכן את השורה הזו בנתונים חדשים מטבלת המקור. אם מפתח ראשי לא קיים במהלך העברת נתונים, המחבר של Salesforce מוסיף שורה חדשה.

כשבוחרים במצב upsert, צריך לבחור עמודה של סימן מים ומפתח ראשי:

* כדי שהמחבר של Salesforce יוכל לעקוב אחרי שינויים בטבלת המקור, צריך להוסיף עמודה של סימן מים. * בוחרים עמודת סימן מים שמתעדכנת בכל פעם שמשנים שורה. מומלץ להשתמש בעמודה SystemModstamp או LastModifiedDate.

  • המפתח הראשי יכול להיות עמודה אחת או יותר בטבלה שנדרשות למחבר Salesforce כדי לקבוע אם צריך להוסיף או לעדכן שורה.

    בוחרים עמודות שמכילות ערכים לא ריקים שהם ייחודיים בכל השורות של הטבלה. מומלץ להשתמש בעמודות שכוללות מזהים שנוצרו על ידי המערכת, קודי הפניה ייחודיים (לדוגמה, מזהים עם הגדלה אוטומטית) או מזהים של רצפים קבועים על בסיס זמן.

    כדי למנוע אובדן נתונים או פגיעה בנתונים, בעמודות של המפתח הראשי שבוחרים צריכים להיות ערכים ייחודיים. אם יש לכם ספק לגבי הייחודיות של עמודת המפתח הראשי שבחרתם, מומלץ להשתמש במקום זאת במצב כתיבה של הוספה.

התנהגות של הוספה מצטברת

כשמבצעים שינויים בסכימת הטבלה במקור הנתונים, העברות נתונים מצטברות מהטבלאות האלה משתקפות ב-BigQuery בדרכים הבאות:

שינויים במקור הנתונים התנהגות של הוספה מצטברת
הוספת עמודה חדשה עמודה חדשה נוספת לטבלת היעד ב-BigQuery. כל הרשומות הקודמות בעמודה הזו יקבלו ערכי null.
מחיקת עמודה העמודה שנמחקה נשארת בטבלת היעד ב-BigQuery. ערכים חדשים בעמודה שנמחקה יאכלסו בערכי null.
שינוי סוג הנתונים בעמודה המחבר תומך רק בהמרות של סוגי נתונים שנתמכות על ידי הצהרת ה-DDL‏ ALTER COLUMN. המרות של סוגי נתונים אחרים גורמות לכך שהעברת הנתונים תיכשל.

אם נתקלים בבעיות, מומלץ ליצור הגדרת העברה חדשה.
שינוי שם של עמודה העמודה המקורית נשארת בטבלת היעד ב-BigQuery כמו שהיא, ועמודה חדשה מתווספת לטבלת היעד עם השם המעודכן.

לפני שמתחילים

בקטעים הבאים מתוארים השלבים שצריך לבצע לפני שיוצרים העברת נתונים של Salesforce.

יצירת אפליקציה מקושרת של Salesforce

צריך ליצור אפליקציה מקושרת ב-Salesforce עם ההגדרות הנדרשות הבאות:

  • מגדירים את הפרטים הבסיסיים באפליקציה המקושרת. השדות Connected App Name ו-Contact Email נדרשים להעברה ב-Salesforce.
  • מפעילים את הגדרות OAuth עם ההגדרות הבאות:
    • מסמנים את התיבה Enable OAuth Settings (הפעלת הגדרות OAuth).
    • בשדה כתובת URL לקריאה חוזרת (callback), מזינים את הערך הבא:
      • בסביבת ייצור, מזינים https://login.salesforce.com/services/oauth2/token.
      • לסביבת ארגז חול, מזינים https://test.salesforce.com/services/oauth2/token.
    • מוודאים שתיבת הסימון הנפקת אסימוני גישה מבוססי JWT(‏JSON Web Token) למשתמשים עם שם לא מסומנת.
  • בקטע Selected OAuth Scopes (היקפי הרשאות נבחרים של OAuth), בוחרים באפשרות Manage user data via APIs (api) (ניהול נתוני משתמשים באמצעות ממשקי API).
  • מבטלים את הסימון של התיבה Required Proof Key for Code Exchange (PKCE) Extension for Supported Authorization Flows (נדרש מפתח אימות להחלפת קוד (PKCE) לתוספים של תהליכי הרשאה נתמכים).
  • בוחרים באפשרות Enable Client Credentials Flow (הפעלת תהליך הרשאת פרטי לקוח) ולוחצים על OK בהודעה שמופיעה.

אחרי שמגדירים את האפליקציה המקושרת עם ההגדרות הנדרשות, לוחצים על שמירה. תופנו לדף הפרטים של האפליקציה המקושרת החדשה שיצרתם.

אחרי שיוצרים את האפליקציה המקושרת, צריך גם להגדיר את תהליך העבודה של פרטי הכניסה של הלקוח. לשם כך:

  1. לוחצים על הגדרה.
  2. בסרגל החיפוש, מחפשים את אפליקציות מקושרות.
  3. לוחצים על ניהול אפליקציות > אפליקציות מקושרות. אם אתם משתמשים ב-Salesforce Lightning Experience, לוחצים על ניהול האפליקציות המקושרות.
  4. באפליקציה המקושרת שיצרתם, לוחצים על עריכה.
  5. יופיע הדף App details (פרטי האפליקציה). בקטע Client Credentials Flow (תהליך אימות פרטי לקוח), מזינים את שם המשתמש בשדה Run As (הרצה כ). אפשר להשתמש בכלי החיפוש בשדה הזה כדי לוודא שבחרתם את המשתמש הנכון.
  6. לוחצים על Save.

הפרטים הנדרשים ב-Salesforce

כשיוצרים העברת נתונים מ-Salesforce, צריך לציין את הפרטים הבאים של Salesforce:

שם הפרמטר תיאור
myDomain הדומיין שלי ב-Salesforce.
clientId מפתח הצרכן של האפליקציה המקושרת של Salesforce.
clientSecret

סוד הלקוח ב-OAuth או סוד הצרכן של האפליקציה המקושרת ב-Salesforce.

כדי לקבל את הערכים של myDomain, clientID ו-clientSecret, בוחרים באחת מהאפשרויות הבאות:

‫Salesforce Classic

אחזור הפרטים של myDomain

כדי למצוא את myDomain, מבצעים את הפעולות הבאות:

  1. נכנסים לפלטפורמת Salesforce.
  2. לוחצים על הגדרה.
  3. בסרגל החיפוש, מחפשים את הדומיין שלי.
  4. בתוצאות החיפוש, לוחצים על ניהול דומיין > הדומיין שלי.

בקטע פרטי הדומיין שלי, הקידומת myDomain מופיעה בכתובת ה-URL הנוכחית של הדומיין שלי. לדוגמה, אם כתובת ה-URL של הדומיין שלי היא example.my.salesforce.com, הערך של myDomain הוא example.

אחזור פרטים של ClientId ושל ClientSecret

כדי למצוא את הערכים של ClientId ו-ClientSecret, מבצעים את הפעולות הבאות:

  1. נכנסים לפלטפורמת Salesforce.
  2. לוחצים על הגדרה.
  3. בסרגל החיפוש, מחפשים את האפליקציות.
  4. בקטע Build (יצירה) בתוצאות החיפוש, לוחצים על Create (יצירה) > Apps (אפליקציות).
  5. לוחצים על שם האפליקציה המקושרת.
  6. בדף הפרטים של אפליקציות מקושרות, לוחצים על ניהול פרטי הצרכן.
  7. מאמתים את הזהות באחת מהשיטות הרשומות. אפשר לצפות בדף הפרטים של הצרכן למשך חמש דקות לכל היותר לפני שתתבקשו לאמת שוב את הזהות שלכם.
  8. בדף Consumer Details (פרטי צרכן), Consumer Key (טוקן צרכן) הוא הערך ClientId שלכם. הערך של Customer Secret הוא ClientSecret.

‫Salesforce Lightning Experience

אחזור הפרטים של myDomain

כדי למצוא את myDomain, מבצעים את הפעולות הבאות:

  1. נכנסים לפלטפורמת Salesforce.
  2. לוחצים על הגדרה.

פותחים את דף ההגדרה בפלטפורמת Salesforce.

  1. בסרגל החיפוש, מחפשים את הדומיין שלי.
  2. בתוצאות החיפוש, לוחצים על הגדרות החברה > הדומיין שלי.

בקטע פרטי הדומיין שלי, הקידומת myDomain מופיעה בכתובת ה-URL הנוכחית של הדומיין שלי. לדוגמה, אם כתובת ה-URL של הדומיין שלי היא example.my.salesforce.com, הערך של myDomain הוא example.

אחזור פרטים של ClientId ושל ClientSecret

  1. נכנסים לפלטפורמת Salesforce.
  2. לוחצים על הגדרה.
  3. בסרגל החיפוש, מחפשים את האפליקציות.
  4. בתוצאות החיפוש, לוחצים על אפליקציות > המרכז לניהול אפליקציות.
  5. מחפשים אפליקציה מקושרת ולוחצים על הצגה.
  6. לוחצים על ניהול פרטי הצרכן.
  7. מאמתים את הזהות באחת מהשיטות הרשומות. אפשר לצפות בדף הפרטים של הצרכן למשך חמש דקות לכל היותר לפני שתתבקשו לאמת שוב את הזהות שלכם.
  8. בדף Consumer Details (פרטי צרכן), Consumer Key (טוקן צרכן) הוא הערך ClientId שלכם. הערך של Customer Secret הוא ClientSecret.

הגדרת רשימת כתובות IP להעברות ב-Salesforce

כדי להעביר נתונים, צריך להגדיר את Cloud de Confiance by S3NS הסביבה ואת חשבון Salesforce ולהוסיף כתובות IP ספציפיות לרשימת ההיתרים. כך מוודאים ש-Salesforce מקבלת רק חיבורים מכתובת IP סטטית ומהימנה. השלב הזה נדרש אם אתם משתמשים בקבצים מצורפים לרשת בהעברות הנתונים.

כדי לעשות את זה, קודם צריך להגדיר את רשת Cloud de Confiance by S3NS כך שתשתמש בכתובת IP סטטית:

  1. הגדרה של תרגום כתובות רשת (NAT) ציבורי עם כתובת IP סטטית ברשת הענן הווירטואלי הפרטי (VPC). צריך להגדיר את CloudNAT באותו אזור שבו נמצא מערך נתוני היעד להעברת הנתונים הזו.
  2. הגדרת חיבור רשת באותה רשת VPC. המשאב הזה משמש את שירות העברת הנתונים ל-BigQuery כדי לגשת לשירותים פרטיים.

בשלב הבא, צריך להגדיר את טווחי כתובות ה-IP המהימנים ב-Salesforce. כשמוסיפים את טווח כתובות ה-IP, משתמשים בכתובת ה-IP הסטטית מ-Cloud de Confiance by S3NS NAT ציבורי גם לכתובת ה-IP ההתחלתית וגם לכתובת ה-IP הסופית של טווח כתובות ה-IP.

אחרי שמגדירים את טווחי כתובות ה-IP, אפשר לציין את כתובת ה-IP הסטטית כשמגדירים את הגדרות ההעברה. לשם כך, בוחרים את קובץ הרשת בשדה Network attachment (קובץ רשת מצורף).

דרישות מוקדמות ל-BigQuery

התפקידים הנדרשים ב-BigQuery

כדי לקבל את ההרשאות שנדרשות ליצירת העברת נתונים באמצעות שירות העברת נתונים ל-BigQuery, צריך לבקש מהאדמין להקצות לכם את תפקיד BigQuery Admin ‏ (roles/bigquery.admin) ב-IAM בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקיד המוגדר מראש הזה כולל את ההרשאות שנדרשות ליצירת העברת נתונים בשירות העברת נתונים ל-BigQuery. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי ליצור העברת נתונים באמצעות שירות העברת הנתונים ל-BigQuery, נדרשות ההרשאות הבאות:

  • הרשאות של שירות העברת נתונים ל-BigQuery:
    • bigquery.transfers.update
    • bigquery.transfers.get
  • הרשאות ב-BigQuery:
    • bigquery.datasets.get
    • bigquery.datasets.getIamPolicy
    • bigquery.datasets.update
    • bigquery.datasets.setIamPolicy
    • bigquery.jobs.create

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

מידע נוסף מופיע במאמר בנושא מתן גישה ל-bigquery.admin.

הגדרת העברת נתונים מ-Salesforce

כדי להוסיף נתונים מ-Salesforce ל-BigQuery, צריך להגדיר העברה באמצעות אחת מהאפשרויות הבאות:

המסוף

  1. עוברים לדף 'העברות נתונים' במסוף Cloud de Confiance .

    מעבר אל 'העברות נתונים'

  2. לוחצים על Create transfer (יצירת העברה).

  3. בקטע סוג המקור, בשדה מקור, בוחרים באפשרות Salesforce.

  4. בקטע Data source details (פרטים של מקור הנתונים), מבצעים את הפעולות הבאות:

    • בקטע Network attachment (צירוף לרשת), בוחרים צירוף לרשת מהרשימה. כדי להשתמש בחיבור לרשת להעברת הנתונים, צריך להגדיר את ה-NAT הציבורי וליצור רשימת היתרים של כתובות IP.
    • בקטע הדומיין שלי, מזינים את הדומיין שלי ב-Salesforce.
    • בשדה מזהה לקוח, מזינים את מפתח הצרכן של האפליקציה המקושרת של Salesforce.
    • בקטע סוד לקוח, מזינים את סוד הלקוח של אפליקציית Salesforce המקושרת.
    • בקטע סוג ההעברה, בוחרים באפשרות מלאה או מצטברת.
    • כדי להעביר אובייקטים ב-Salesforce, לוחצים על עיון:
      • בוחרים את האובייקטים שרוצים להעביר למערך הנתונים של היעד ב-BigQuery. אפשר גם להזין באופן ידני את כל האובייקטים שרוצים לכלול בהעברת הנתונים בשדה הזה.
      • אם בחרתם באפשרות הוספה כמצב הכתיבה המצטברת, אתם חייבים לבחור עמודה כעמודת סימן המים.
      • אם בחרתם באפשרות Upsert (עדכון והוספה) כמצב הכתיבה המצטבר, אתם צריכים לבחור עמודה כעמודת סימן המים, ואז לבחור עמודה אחת או יותר כמפתח הראשי.

  5. בקטע הגדרות יעד, בשדה מערך נתונים, בוחרים את מערך הנתונים שיצרתם לאחסון הנתונים.

  6. בקטע Transfer config name (שם הגדרת ההעברה), בשדה Display name (שם מוצג), מזינים שם להעברת הנתונים.

  7. בקטע אפשרויות תזמון:

    • ברשימה תדירות החזרה, בוחרים אפשרות כדי לציין באיזו תדירות יתבצע העברת הנתונים. כדי לציין תדירות חזרה מותאמת אישית, בוחרים באפשרות בהתאמה אישית. אם בוחרים באפשרות על פי דרישה, ההעברה הזו תתבצע כשמפעילים אותה באופן ידני.
    • אם רלוונטי, בוחרים באפשרות התחלה מיידית או התחלה בשעה שנקבעה, ומזינים תאריך התחלה ומשך הפעלה.

  8. אופציונלי: בקטע אפשרויות התראות, מבצעים את הפעולות הבאות:

    • כדי להפעיל התראות באימייל, לוחצים על המתג התראות באימייל. כשמפעילים את האפשרות הזו, האדמין של ההעברה מקבל הודעה באימייל אם ההעברה נכשלת.
    • כדי להפעיל התראות על הפעלת העברה ב-Pub/Sub להעברה הזו, לוחצים על המתג Pub/Sub notifications. אפשר לבחור את שם הנושא או ללחוץ על יצירת נושא כדי ליצור נושא.

  9. לוחצים על Save.

BQ

מזינים את הפקודה bq mk ומספקים את הדגל ליצירת העברה --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

כאשר:

  • ‫PROJECT_ID (אופציונלי): מזהה הפרויקט ב- Cloud de Confiance by S3NS . אם לא מציינים את --project_id כדי לציין פרויקט מסוים, המערכת משתמשת בפרויקט שמוגדר כברירת מחדל.
  • ‫DATA_SOURCE: מקור הנתונים – salesforce.
  • ‫NAME: השם המוצג של הגדרות העברת הנתונים. שם ההעברה יכול להיות כל ערך שיעזור לכם לזהות את ההעברה אם תצטרכו לשנות אותה בהמשך.
  • ‫DATASET: מערך הנתונים של היעד להגדרת ההעברה.

  • ‫PARAMETERS: הפרמטרים של הגדרות ההעברה שנוצרו בפורמט JSON. לדוגמה: --params='{"param":"param_value"}'. אלה הפרמטרים להעברת נתונים מ-Salesforce:

    • ‫connector.authentication.oauth.clientId: מפתח הצרכן של האפליקציה המקושרת של Salesforce.
    • ‫connector.authentication.oauth.clientSecret: סוד הלקוח ב-OAuth או סוד הצרכן של האפליקציה המחוברת ב-Salesforce.
    • ‫connector.authentication.oauth.myDomain: הדומיין שלי ב-Salesforce. לדוגמה, אם כתובת ה-URL של הדומיין היא example.my.salesforce.com, הערך הוא example.
    • ‫ingestionType: מציינים full או incremental. העברות מצטברות נתמכות בגרסת טרום-השקה. מידע נוסף זמין במאמר בנושא העברות מלאות או מצטברות.
    • ‫writeMode: מציינים WRITE_MODE_APPEND או WRITE_MODE_UPSERT.
    • ‫watermarkColumns: מציינים עמודות בטבלה כעמודות של סימן מים. חובה למלא את השדה הזה כדי לבצע העברות מצטברות.
    • ‫primaryKeys: ציון עמודות בטבלה כמפתחות ראשיים. חובה למלא את השדה הזה כדי לבצע העברות מצטברות.
    • ‫assets: הנתיב לאובייקטים של Salesforce שיועברו ל-BigQuery.

כשמציינים כמה נכסים במהלך העברה מצטברת, הערכים בשדות watermarkColumns ו-primaryKeys תואמים למיקום הערכים בשדה assets. בדוגמה הבאה, Id תואם לטבלה Account, ו-master_label ו-type תואמים לטבלה CaseHistory.

      "primaryKeys":[['Id'], ['master_label','type']],
      "assets":["Account","CaseHistory"],

הפקודה הבאה יוצרת העברת נתונים מצטברת מ-Salesforce בפרויקט שמוגדר כברירת מחדל, ומשתמשת במצב הכתיבה APPEND.

bq mk
    --transfer_config
    --target_dataset=mydataset
    --data_source=salesforce
    --display_name='My Transfer'
    --params='{"assets": ["Account", "CaseHistory"]
        "connector.authentication.oauth.clientId": "1234567890",
        "connector.authentication.oauth.clientSecret":"ABC12345",
        "connector.authentication.oauth.myDomain":"MyDomainName",
        "connector.authentication.username":"user1@force.com",
        "connector.authentication.password":"abcdef1234",
        "ingestionType":"incremental",
        "writeMode":"WRITE_MODE_UPSERT",
        "watermarkColumns":["SystemModstamp","CreatedDate"]
        "primaryKeys":[['Id'], ['master_label','type']]}'

API

משתמשים בשיטה projects.locations.transferConfigs.create ומספקים מופע של המשאב TransferConfig.

כששומרים את הגדרת ההעברה, מחבר Salesforce מפעיל באופן אוטומטי את ההעברה לפי האפשרות של לוח הזמנים שהגדרתם. בכל הפעלה של העברה, המחבר של Salesforce מעביר את כל הנתונים הזמינים מ-Salesforce אל BigQuery.

כדי להפעיל העברת נתונים ידנית מחוץ ללוח הזמנים הרגיל, אפשר להתחיל הרצה של מילוי חוסרים.

מיפוי סוגי נתונים

בטבלה הבאה מפורטים סוגי הנתונים ב-Salesforce והסוגים התואמים ב-BigQuery:

סוג הנתונים ב-Salesforce סוג נתונים ב-BigQuery
_bool BOOLEAN
_int INTEGER
_long INTEGER
_double FLOAT
currency FLOAT
percent FLOAT
geolocation (latitude) FLOAT
geolocation (longitude) FLOAT
date DATE
datetime TIMESTAMP
time TIME
picklist STRING
multipicklist STRING
combobox STRING
reference STRING
base64 STRING
textarea STRING
phone STRING
id STRING
url STRING
email STRING
encryptedstring STRING
datacategorygroupreference STRING
location STRING
address STRING
anyType STRING

תמחור

מידע על התמחור של העברות מ-Salesforce זמין במאמר בנושא תמחור של שירות העברת נתונים.

פתרון בעיות בהגדרת ההעברה

אם נתקלתם בבעיות בהגדרת העברת הנתונים, כדאי לעיין במאמר בעיות בהעברה מ-Salesforce.

המאמרים הבאים