תזמון של תהליכי הכנת נתונים

במאמר הזה נסביר איך לתזמן ולהפעיל באופן ידני משימות של הכנת נתונים ב-BigQuery כדי לבצע אוטומציה של תהליכי העבודה של טרנספורמציה של נתונים. תזמון מבטיח שהנתונים יישארו עדכניים ומדויקים בלי שתצטרכו להתערב ידנית, אבל אתם יכולים גם להריץ את ההכנות של הנתונים באופן ידני כדי לבדוק ולאמת את הטרנספורמציות לפני הפריסה. הכנת הנתונים מבוססת על Dataform.

אפשר לתזמן הכנות של נתונים באמצעות פרטי כניסה של משתמש לחשבון Google או באמצעות חשבון שירות בהתאמה אישית.

לפני שמתחילים

לפני שמתחילים, צריך ליצור הכנת נתונים.

דרישות של VPC Service Controls

אם אתם משתמשים ב-VPC Service Controls כדי להגן על ההכנות של הנתונים, חשוב שתדעו שהרצות מתוזמנות מופעלות על ידי Dataform. כשמגדירים את VPC Service Controls להפעלות מתוזמנות, צריך לוודא שמתקיימות הדרישות הבאות:

שלבי הגדרה מפורטים ושיקולי אבטחה זמינים במאמר הגדרת VPC Service Controls ל-Dataform.

התפקידים הנדרשים

כדי לתת הרשאה להכנת נתונים באמצעות חשבון שירות כשמריצים את הכנת הנתונים באופן ידני בסביבת פיתוח או מתזמנים את הכנת הנתונים, צריך להקצות תפקידים לחשבון השירות שבו מתכננים להשתמש להרצת תהליכי הכנת הנתונים. מידע נוסף מופיע במאמר מתן גישה לחשבון השירות של Dataform.

כדי לתזמן הכנת נתונים:

כדי לשפר את האבטחה של קביעת פגישות, אפשר לקרוא על הטמעה של הרשאות משופרות לקביעת פגישות.

פיתוח תהליך להכנת הנתונים

במהלך פיתוח של הכנת נתונים, אתם יכולים להריץ את השלבים באופן ידני ולבדוק את הפלט לפני שאתם פורסים את השינויים בסביבת הייצור. אתם יכולים לבדוק את הגרסה הנוכחית שאתם מפתחים על הנתונים שלכם, בזמן ש-BigQuery ממשיך להריץ את הגרסה האחרונה שהופעלה, בהתאם ללוח זמנים. לפני שמריצים את ההעברה, צריך להגדיר את היעד ולתקן את כל שגיאות האימות.

הפעלה ידנית של תהליך להכנת הנתונים בסביבת פיתוח

כדי לבדוק את השלבים של הכנת הנתונים ולאמת את התוצאות בטבלת היעד, מריצים את הכנת הנתונים באופן ידני מעורך הכנת הנתונים:

  1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על כלי הניתוחים:

    כפתור מודגש לחלונית הסייר.

    אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

  3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Data preparations.

  4. לוחצים על השם של הכנת הנתונים שרוצים להפעיל.

  5. בסרגל הכלים של עורך הכנת הנתונים, לוחצים על סמל האפשרויות הנוספות > הגדרת חוויית ההפעלה עכשיו.

  6. בקטע אימות, מאשרים את הכנת הנתונים באמצעות פרטי הכניסה של המשתמש בחשבון Google או באמצעות חשבון שירות.

    • כדי להשתמש בפרטי הכניסה של המשתמש בחשבון Google (תצוגה מקדימה), בוחרים באפשרות Execute with my user credentials (הפעלה עם פרטי הכניסה של המשתמש). זו האפשרות שמוגדרת כברירת המחדל.
    • כדי להשתמש בחשבון שירות, בוחרים באפשרות Execute with selected service account ואז בוחרים חשבון שירות. אם לחשבון השירות נדרשות הרשאות נוספות, מקצים לו את התפקידים הנדרשים על ידי לחיצה על הקצאת הכל.

  7. לוחצים על Save.

  8. מתקנים את שגיאות האימות שמופיעות.

  9. בסרגל הכלים של הכלי לעריכת הכנת נתונים, לוחצים על הפעלה.

  10. בתיבת הדו-שיח Run now (הפעלה עכשיו), לוחצים על Confirm (אישור) כדי לאשר שהפעלה ידנית כזו כותבת נתונים לטבלת יעד, שאולי משמשת גם להפעלות מתוזמנות.

    אם בחרתם באפשרות ביצוע עם פרטי הכניסה של המשתמש שלי כשיטת האימות, אתם צריכים לתת הרשאה לחשבון Google (תצוגה מקדימה).

    לאחר מכן, ההרצה מבצעת את השלבים ומעלה את הפלט ליעד.

  11. אופציונלי: אחרי שההרצה מסתיימת, אפשר לראות את הפרטים על ההרצה בחלונית Executions (הרצות).

פריסת תהליך להכנת הנתונים

כדי לתזמן הפעלות של גרסה של הכנת הנתונים, צריך קודם לשמור את השינויים ולפרוס אותם. התזמונים תמיד מריצים את הגרסה האחרונה שנפרסה, ומתעלמים מכל שינוי שלא נפרס.

כדי לפרוס הכנת נתונים, פועלים לפי השלבים הבאים:

  1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על כלי הניתוחים:

    כפתור מודגש לחלונית הסייר.

  3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Data preparations.

  4. לוחצים על השם של הכנת הנתונים שנבחרה.

    ייפתח הכלי לעריכת הכנת הנתונים.

  5. בסרגל הכלים של הכלי לעריכת הכנת נתונים, לוחצים על פריסה.

יצירת לוח זמנים

כדי ליצור תזמון להפעלת השלבים של הכנת הנתונים שהוטמעו ולטעינת הנתונים המוכנים לטבלה של היעד, צריך קודם לתזמן הפעלה של הכנת הנתונים. כדי לתזמן את ההפעלה, צריך להגדיר את היעד ולתקן את כל שגיאות האימות.

כדי ליצור לוח זמנים להכנת נתונים:

החלונית Explorer

  1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על כלי הניתוחים:

    כפתור מודגש לחלונית הסייר.

  3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Data preparations.

  4. לוחצים על השם של הכנת הנתונים שרוצים לתזמן.

  5. בסרגל הכלים של הכלי לעריכת הכנת נתונים, לוחצים על תזמון.

  6. מזינים שם ללוח הזמנים.

  7. בקטע אימות, מאשרים את הכנת הנתונים באמצעות פרטי הכניסה של המשתמש בחשבון Google או חשבון שירות.

    • כדי להשתמש בפרטי הכניסה של המשתמש בחשבון Google (תצוגה מקדימה), בוחרים באפשרות Execute with my user credentials (הפעלה עם פרטי הכניסה של המשתמש).
    • כדי להשתמש בחשבון שירות, בוחרים באפשרות Execute with selected service account ואז בוחרים חשבון שירות.

  8. קובעים תדירות.

  9. לוחצים על יצירת לוח זמנים. אם בחרתם באפשרות ביצוע עם פרטי הכניסה של המשתמש שלי כשיטת האימות, אתם צריכים לתת הרשאה לחשבון Google (תצוגה מקדימה).

הדף תזמון

  1. נכנסים לדף Scheduling במסוף Cloud de Confiance .

    מעבר ל'תזמון'

  2. לוחצים על יצירה ובוחרים באפשרות תזמון הכנת נתונים בתפריט.

  3. בחלונית Schedule data preparation (תזמון הכנת נתונים), בשדה Data preparation (הכנת נתונים), בוחרים את הכנת הנתונים שרוצים לתזמן.

  4. בשדה שם לוח הזמנים, מזינים שם ללוח הזמנים.

  5. בקטע אימות, מאשרים את הכנת הנתונים באמצעות פרטי הכניסה של המשתמש בחשבון Google או חשבון שירות.

    • כדי להשתמש בפרטי הכניסה של המשתמש בחשבון Google (תצוגה מקדימה), בוחרים באפשרות Execute with my user credentials (הפעלה עם פרטי הכניסה של המשתמש).
    • כדי להשתמש בחשבון שירות, בוחרים באפשרות Execute with selected service account ואז בוחרים חשבון שירות.

  6. בקטע Schedule frequency:

    1. בתפריט חזרה, בוחרים את התדירות של הרצות הכנת הנתונים.
    2. בשדה At time (בשעה), מזינים את השעה שבה יופעלו התהליכים המתוזמנים של הכנת הנתונים.
    3. בתפריט אזור זמן, בוחרים את אזור הזמן של לוח הזמנים.

  7. לוחצים על יצירת לוח זמנים. אם בחרתם באפשרות ביצוע עם פרטי הכניסה של המשתמש שלי כשיטת האימות, אתם צריכים לתת הרשאה לחשבון Google (תצוגה מקדימה).

איך נותנים הרשאה לחשבון Google

כדי לאמת את המשאב באמצעות פרטי הכניסה של המשתמש בחשבון Google, צריך להעניק באופן ידני הרשאה לצינורות של BigQuery לקבל את טוקן הגישה לחשבון Google ולגשת לנתוני המקור בשמכם. אתם יכולים לתת אישור ידני באמצעות ממשק תיבת הדו-שיח של OAuth.

צריך לתת הרשאה לצינורות של BigQuery רק פעם אחת.

כדי לבטל את ההרשאה שנתתם:

  1. עוברים אל הדף של החשבון ב-Google.
  2. לוחצים על BigQuery Pipelines.
  3. לוחצים על הסרת הגישה.

כדי לשנות את הבעלים של לוח הזמנים להכנת הנתונים על ידי עדכון פרטי הכניסה, צריך גם אישור ידני אם הבעלים החדש של חשבון Google מעולם לא יצר לוח זמנים.

הפעלה ידנית של תהליך מתוזמן להכנת נתונים

כשמריצים ידנית הכנת נתונים בלוח זמנים נבחר, BigQuery מבצע את הכנת הנתונים פעם אחת, באופן עצמאי מלוח הזמנים.

כדי להפעיל ידנית הכנת נתונים מתוזמנת, פועלים לפי השלבים הבאים:

  1. נכנסים לדף Scheduling במסוף Cloud de Confiance .

    מעבר ל'תזמון'

  2. לוחצים על השם של לוח הזמנים שנבחר להכנת הנתונים.

  3. בדף פרטי התזמון, לוחצים על הפעלה.

תצוגת לוחות זמנים

אפשר לראות את לוחות הזמנים של הכנת הנתונים בעורך הכנת הנתונים או בדף תזמון.

עורך להכנת נתונים

כדי לראות את לוח הזמנים של הכנת הנתונים, פועלים לפי השלבים הבאים:

  1. בסרגל הכלים של העורך להכנת נתונים, לוחצים על תזמון הצגת התזמון.
  2. אופציונלי: כדי לראות את היסטוריית התזמון, לוחצים על הצגת ההרצות הקודמות.

הדף תזמון

כדי לראות את כל התזמונים של הכנת הנתונים בפרויקט, פועלים לפי השלבים הבאים:

  1. נכנסים לדף Scheduling במסוף Cloud de Confiance .

    מעבר ל'תזמון'

  2. אופציונלי: כדי לראות את היסטוריית ההרצה ואת הפרטים של לוח זמנים מסוים, לוחצים על השם של לוח הזמנים. היסטוריית ההרצות הידניות לא מוצגת.

עריכת לוח זמנים

אפשר לערוך תזמון דרך הכלי לעריכת הכנת נתונים או דרך הדף תזמון.

עורך להכנת נתונים

כדי לערוך לוח זמנים:

  1. בסרגל הכלים של העורך להכנת נתונים, לוחצים על תזמון הצגת התזמון.
  2. בתיבת הדו-שיח תזמון הכנת הנתונים, לוחצים על עריכה ומעדכנים את התזמון.
  3. לוחצים על עדכון לוח הזמנים.

הדף תזמון

כדי לערוך לוח זמנים:

  1. נכנסים לדף Scheduling במסוף Cloud de Confiance .

    מעבר ל'תזמון'

  2. לוחצים על השם של לוח הזמנים שנבחר להכנת הנתונים.

  3. בדף פרטי התזמון, לוחצים על עריכה.

  4. לוחצים על הצגת לוח הזמנים.

  5. בתיבת הדו-שיח תזמון הכנת הנתונים, לוחצים על עריכה ומעדכנים את התזמון.

  6. לוחצים על עדכון לוח הזמנים.

מחיקת לוח זמנים

כדי למחוק באופן סופי תזמון של הכנת נתונים שנבחרה, פועלים לפי השלבים הבאים:

  1. נכנסים לדף Scheduling במסוף Cloud de Confiance .

    מעבר ל'תזמון'

  2. בשורה שמכילה את התזמון, לוחצים על more_vert פעולות > מחיקה.

המאמרים הבאים