טעינת נתונים מ-ServiceNow ל-BigQuery

המסוף

1. עוברים לדף 'העברות נתונים' במסוף Cloud de Confiance .

   מעבר אל 'העברות נתונים'

2. לוחצים על add Create transfer (יצירת העברה).

3. בקטע Source type, בשדה Source, בוחרים באפשרות ServiceNow.

4. בקטע Data source details (פרטים של מקור הנתונים), מבצעים את הפעולות הבאות:

   • (אופציונלי) באפשרות Network attachment (צירוף לרשת), בוחרים צירוף לרשת מהתפריט הנפתח או לוחצים על Create Network Attachment (יצירת צירוף לרשת).
     • בוחרים את הרשת שאליה מצורף המכשיר כדי להגדיר את העברת הנתונים הזו לשימוש בכתובת IP אחת ועקבית. אפשר להשתמש באפשרות הזו אם מופע ServiceNow שלכם מוגדר לקבל תעבורה רק מכתובות IP ספציפיות.
     • מידע נוסף על יצירת קובץ מצורף לרשת זמין במאמר הגדרת חיבורים באמצעות קבצים מצורפים לרשת
     • מידע נוסף על הגדרת כתובות IP ב-ServiceNow זמין במאמר בנושא הגדרת כתובות IP פנימיות מותרות ב-ServiceNow.
   • בשדה Instance ID, מזינים את מזהה המופע של ServiceNow. אפשר למצוא את זה בכתובת ה-URL של ServiceNow, לדוגמה https://INSTANCE_ID.service-now.com.
   • (אופציונלי) בסוג הענן של ServiceNow, בוחרים את סוג הענן של חשבון ServiceNow:
     • בוחרים באפשרות מסחרי אם כתובת ה-URL של מופע ServiceNow שלכם תואמת לתבנית https://INSTANCE_ID.service-now.com. זה ערך ברירת המחדל.
     • בוחרים באפשרות Government Community Cloud (GCC) אם כתובת ה-URL של מופע ServiceNow שלכם תואמת לתבנית https://INSTANCE_ID.servicenowservices.com.
   • בשדה שם משתמש, מזינים את שם המשתמש ב-ServiceNow שבו רוצים להשתמש לחיבור.
   • בשדה סיסמה, מזינים את הסיסמה של ServiceNow.
   • בקטע Client ID (מזהה לקוח), מזינים את מזהה הלקוח מפרטי הכניסה של OAuth. הוראות ליצירת פרטי כניסה זמינות במאמר יצירת פרטי כניסה של OAuth.
   • בקטע Client secret, מזינים את סוד הלקוח מפרטי הכניסה של OAuth.
   • בשדה Enable legacy mapping (הפעלת מיפוי מדור קודם), בוחרים באפשרות true (ברירת מחדל) כדי להשתמש במיפוי מדור קודם של סוגי נתונים. בוחרים באפשרות false כדי להשתמש במיפוי המעודכן של סוג הנתונים. מידע נוסף על העדכונים של מיפוי סוגי הנתונים זמין במאמר 16 במרץ 2027.
   • בקטע סוג ההעברה, בוחרים באפשרות מלאה או מצטברת.
     • אם בוחרים באפשרות מצטבר (תצוגה מקדימה) במצב כתיבה, בוחרים באפשרות Upsert. מידע נוסף על מצבי כתיבה זמין במאמר העברות מלאות או מצטברות.
   • כדי להעביר טבלאות של ServiceNow, לוחצים על עיון:
     • בוחרים את האובייקטים שרוצים להעביר למערך הנתונים של היעד ב-BigQuery. אפשר גם להזין באופן ידני את כל האובייקטים שרוצים לכלול בהעברת הנתונים בשדה הזה.
     • אם בחרתם באפשרות Upsert (עדכון והוספה) כמצב הכתיבה המצטבר, אתם צריכים לבחור עמודה כעמודת סימן המים, ואז לבחור עמודה אחת או יותר כמפתח הראשי.
   • בקטע Value type (סוג הערך), בוחרים אחת מהאפשרויות הבאות:
     • כדי להעביר את הערכים שמאוחסנים במסד הנתונים, בוחרים באפשרות בפועל.
     • כדי להעביר את ערכי התצוגה של העמודות, בוחרים באפשרות תצוגה.

5. בקטע הגדרות יעד, בשדה מערך נתונים, בוחרים את מערך הנתונים שיצרתם לאחסון הנתונים.

6. בקטע Transfer config name (שם הגדרת ההעברה), בשדה Display name (שם מוצג), מזינים שם להעברת הנתונים.

7. בקטע Schedule options:

   • ברשימה תדירות החזרה, בוחרים אפשרות כדי לציין באיזו תדירות תתבצע העברת הנתונים הזו. כדי לציין תדירות חזרה מותאמת אישית, בוחרים באפשרות בהתאמה אישית. אם בוחרים באפשרות על פי דרישה, העברת הנתונים הזו תפעל כשמפעילים את ההעברה באופן ידני.
   • אם רלוונטי, בוחרים באפשרות התחלה מיידית או התחלה בשעה שנקבעה, ומזינים תאריך התחלה ומשך הפעלה.

8. אופציונלי: בקטע אפשרויות התראות, מבצעים את הפעולות הבאות:

   • כדי להפעיל התראות באימייל, לוחצים על המתג התראות באימייל. כשמפעילים את האפשרות הזו, האדמין של ההעברה מקבל הודעה באימייל אם ההעברה נכשלת.
   • כדי להפעיל התראות על הפעלת העברה ב-Pub/Sub להעברת הנתונים הזו, לוחצים על המתג התראות Pub/Sub. אפשר לבחור את שם הנושא או ללחוץ על יצירת נושא כדי ליצור נושא.

9. לוחצים על Save.

BQ

מזינים את הפקודה bq mk ומספקים את הדגל ליצירת העברה, --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=DISPLAY_NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

מחליפים את מה שכתוב בשדות הבאים:

• ‫PROJECT_ID (אופציונלי): מזהה הפרויקט ב- Cloud de Confiance by S3NS . אם לא מציינים מזהה פרויקט, המערכת משתמשת בפרויקט שמוגדר כברירת מחדל.
• ‫DATA_SOURCE: מקור הנתונים (לדוגמה, servicenow).
• ‫DISPLAY_NAME: השם המוצג של הגדרות ההעברה. שם העברת הנתונים יכול להיות כל ערך שיאפשר לכם לזהות את ההעברה אם תצטרכו לשנות אותה בהמשך.
• DATASET: מערך הנתונים של היעד בתצורת ההעברה.

• ‫PARAMETERS: הפרמטרים של הגדרות ההעברה שנוצרו בפורמט JSON. לדוגמה: --params='{"param":"param_value"}'. אלה הפרמטרים להעברת נתונים ב-ServiceNow:

  פרמטר של ServiceNow	חובה או אופציונלי	תיאור
  connector.networkAttachment	אופציונלי	השם של קובץ הצירוף לרשת שבו יש להשתמש כדי להבטיח קישוריות למופע ServiceNow.
  connector.instanceId	חובה	מזהה המופע של מופע ServiceNow
  connector.authentication.username	חובה	שם המשתמש של המשתמש במופע ServiceNow.
  connector.authentication.password	חובה	הסיסמה של המשתמש במופע ServiceNow.
  connector.authentication.oauth.clientId	חובה	מזהה הלקוח לאימות OAuth במופע ServiceNow.
  connector.authentication.oauth.clientSecret	חובה	סוד הלקוח לאימות OAuth במופע ServiceNow.
  connector.instanceCloudType	אופציונלי	מציינים את סוג הענן של חשבון ServiceNow. ערכים נתמכים: ‫COMMERCIAL_CLOUD, אם כתובת ה-URL של מופע ServiceNow שלכם תואמת לתבנית https://INSTANCE_ID.service-now.com ‫GOVERNMENT_COMMUNITY_CLOUD אם כתובת ה-URL של מופע ServiceNow שלכם תואמת לתבנית https://INSTANCE_ID.servicenowservices.com
  ingestionType	אופציונלי	ההגדרה הזו מגדירה את השיטה להעברת נתונים ממקור ServiceNow ליעד, וקובעת אם מתבצעת טעינה מחדש של מערך נתונים מלא או עדכון מצטבר יעיל.
  writeMode	אופציונלי	אם משתמשים בהוספה מצטברת, צריך לקבוע את אסטרטגיית הסנכרון להוספה מצטברת. חובה למלא את השדה הזה כדי לבצע העברות מצטברות. הערך הנתמך הוא WRITE_MODE_UPSERT.
  assets	חובה	רשימה של שמות הטבלאות ב-ServiceNow שיועברו מ-ServiceNow כחלק מההעברה.
  watermarkColumns	אופציונלי	אם משתמשים בהטמעה מצטברת, השדה בטבלת המקור (בדרך כלל datetime) משמש למעקב אחרי נקודת הסנכרון האחרונה שבוצעה בהצלחה, וכך המחבר יכול לבצע שאילתות ביעילות ולהעביר רק את הרשומות שנוצרו או שונו מאז אותו זמן ספציפי. חובה למלא את השדה הזה כדי לבצע העברות מצטברות.
  primaryKeys	אופציונלי	אם משתמשים בהוספה מצטברת, צריך לציין את העמודה הייחודית או את השילוב של העמודות שמשמשות לזיהוי ייחודי של כל שורה בטבלת המקור. חובה למלא את השדה הזה כדי לבצע העברות מצטברות.
  valueType	אופציונלי	הגדרות שקובעות איך סוגי נתונים ספציפיים מ-ServiceNow ממופים לסוגי נתונים ב-BigQuery.
  connector.legacyMapping	חובה	מגדירים את הערך true (ברירת מחדל) כדי להשתמש במיפוי סוגי הנתונים מדור קודם. הערך שמוגדר הוא false כדי להשתמש במיפוי המעודכן של סוגי הנתונים. אם אתם מבצעים העברה מצטברת, הערך הזה חייב להיות false. מידע נוסף על עדכוני המיפוי של סוגי הנתונים זמין במאמר בנושא 16 במרץ 2027.

  כשמציינים כמה נכסים במהלך העברה מצטברת, הערכים בשדות watermarkColumns ו-primaryKeys תואמים למיקום הערכים בשדה assets. חשוב לוודא שהסדר של הטבלאות והעמודות שלהן נשמר באופן עקבי בכל רשימות ההגדרות שקשורות זו לזו.

  לדוגמה, הפקודה הבאה יוצרת העברת נתונים של ServiceNow בפרויקט ברירת המחדל עם כל הפרמטרים הנדרשים:

    bq mk
      --transfer_config
      --target_dataset=mydataset
      --data_source=servicenow
      --display_name='My Transfer'
      --params='{"connector.authentication.oauth.clientId": "1234567890",
          "connector.authentication.oauth.clientSecret":"ABC12345",
          "connector.authentication.username":"user1",
          "connector.authentication.password":"abcdef1234",
          "connector.instanceId":"dev-instance",
          "connector.networkAttachment": "projects/dev-project1/regions/us-central1/networkattachments/na1"}'
  

  הפקודה הבאה יוצרת העברת נתונים מצטברת של נתוני ServiceNow בפרויקט שמוגדר כברירת מחדל, ומשתמשת במצב הכתיבה UPSERT.

    bq mk
        --transfer_config
        --target_dataset=mydataset
        --data_source=servicenow
        --display_name='My Transfer'
        --params='{"assets": ["incident", "change_request"],
            "connector.authentication.oauth.clientId": "1234567890",
            "connector.authentication.oauth.clientSecret":"ABC12345",
            "connector.authentication.username":"user1",
            "connector.authentication.password":"abcdef1234",
            "connector.instanceId":"dev-instance",
            "ingestionType":"incremental",
            "writeMode":"WRITE_MODE_UPSERT",
            "watermarkColumns":["sys_updated_on","sys_updated_on"],
            "primaryKeys":[["sys_id"], ["sys_id"]]}'
  

API

משתמשים בשיטה projects.locations.transferConfigs.create ומספקים מופע של המשאב TransferConfig.