תזמון קובצי notebook

במאמר הזה מוסבר איך לתזמן ולפרוס מחברות Colab Enterprise ב-BigQuery כדי להפוך משימות שונות לאוטומטיות. לדוגמה, אתם יכולים להריץ מחברות בזמן ובתדירות שצוינו כדי להפוך לאוטומטיות את הפעולות הבאות: אימון מודלים של למידת מכונה, קריאה לממשקי API חיצוניים או הרצת קוד של BigQuery DataFrames.

השינויים שאתם מבצעים ב-Notebook נשמרים אוטומטית, אבל הם זמינים רק לכם ולמשתמשים שיש להם גישה ל-Notebook. כדי לעדכן את לוח הזמנים עם גרסה חדשה של הנוטבוק, צריך לפרוס את הנוטבוק. כשפורסים מחברת, לוח הזמנים שלה מתעדכן עם הגרסה הנוכחית של המחברת. התזמון מריץ את הגרסה האחרונה של המחברת שנפרסה.

כל תזמון של מחברת מופעל באמצעות פרטי הכניסה של המשתמש בחשבון Google או באמצעות חשבון שירות בהתאמה אישית שבוחרים כשמגדירים את התזמון.

קובצי Notebook הם נכסי קוד שמבוססים על Dataform. עם זאת, מחברות לא מוצגות ב-Dataform. ‫Dataform כותב את הפלט של הפעלות מתוזמנות של מחברות ל-קטגוריה של Cloud Storage שנבחר במהלך יצירת התזמון.

לוחות זמנים של מחברות משתמשים בזמן ריצה סטנדרטי של E2. יש חיוב על זמני ריצה ב-Colab Enterprise. החיוב על עיבוד בזמן ריצה מתבסס על סוג המכונה E2. מידע על התמחור של סביבות זמן ריצה רגילות של E2 זמין במאמר בנושא התמחור של Colab Enterprise.

לפני שמתחילים

לפני שמתחילים, צריך ליצור מחברת.

הפעלת תזמון של פנקס

כדי לתזמן מחברות, צריך להקצות את התפקידים הבאים לחשבון השירות המותאם אישית שמתכננים להשתמש בו לתזמון מחברות:

משתמש בהרצת Notebook (roles/aiplatform.notebookExecutorUser)
פועלים לפי ההוראות במאמר הקצאת תפקיד יחיד בפרויקט כדי להקצות לחשבון השירות את התפקיד Notebook Executor User בפרויקט שנבחר.
אדמין באחסון (roles/storage.admin)
פועלים לפי ההוראות במאמר הוספת ישות מורשית למדיניות ברמת הקטגוריה כדי להוסיף את חשבון השירות כישות מורשית לקטגוריה של Cloud Storage שבה אתם מתכננים לאחסן את הפלט של הפעלות מתוזמנות של מחברות, ומעניקים לישות המורשית הזו את התפקיד אדמין אחסון.
משתמש בחשבון שירות (roles/iam.serviceAccountUser)
פועלים לפי ההוראות במאמר הקצאת תפקיד יחיד בחשבון שירות כדי להוסיף את חשבון השירות כחשבון משתמש לעצמו. במילים אחרות, מוסיפים את חשבון השירות כחשבון משתמש לאותו חשבון שירות. לאחר מכן, מעניקים לחשבון המשתמש הזה את התפקיד 'משתמש בחשבון שירות'.

בנוסף, צריך להעניק את התפקידים הבאים לסוכן השירות שמוגדר כברירת מחדל ב-Dataform:

יצירת אסימונים בחשבון שירות (roles/iam.serviceAccountTokenCreator)
פועלים לפי ההוראות במאמר הענקת גישה ליצירת אסימונים לחשבון שירות מותאם אישית של Dataform כדי להוסיף את סוכן השירות שמוגדר כברירת מחדל ב-Dataform כחשבון משתמש לחשבון השירות, ולהעניק לחשבון המשתמש הזה את התפקיד 'יצירת אסימונים בחשבון שירות'.
משתמש בחשבון שירות (roles/iam.serviceAccountUser)
פועלים לפי ההוראות במאמר הקצאה או ביטול של כמה תפקידי IAM באמצעות Cloud de Confiance מסוף כדי להקצות את התפקיד Service Account User לסוכן השירות של Dataform שמוגדר כברירת מחדל בחשבון השירות בהתאמה אישית.

מידע נוסף על חשבונות שירות ב-Dataform זמין במאמר מידע על חשבונות שירות ב-Dataform.

דרישות של VPC Service Controls

אם אתם משתמשים ב-VPC Service Controls כדי להגן על מחברות, חשוב לדעת שהרצות מתוזמנות מופעלות על ידי Dataform. כשמגדירים את VPC Service Controls להפעלות מתוזמנות, צריך לוודא שמתקיימות הדרישות הבאות:

שלבי הגדרה מפורטים ושיקולי אבטחה זמינים במאמר הגדרת VPC Service Controls ל-Dataform.

התפקידים הנדרשים

כדי ליצור תזמונים של מחברות, צריך את התפקידים הבאים:

כדי להשתמש בתבניות של סביבת זמן ריצה של נוטבוק כשמתזמנים נוטבוקים, צריך את התפקיד משתמש בסביבת זמן ריצה של נוטבוק (roles/aiplatform.notebookRuntimeUser).

כדי לערוך ולמחוק תזמונים של מחברות, צריך את התפקיד Dataform Editor (roles/dataform.editor).

כדי לראות את התזמונים של מחברות, צריך להקצות את התפקיד צפייה ב-Dataform‏ (roles/dataform.viewer).

כדי לשפר את האבטחה של קביעת פגישות, אפשר לקרוא על הטמעה של הרשאות משופרות לקביעת פגישות.

במאמר תפקידים והרשאות של IAM ב-BigQuery יש מידע נוסף על IAM ב-BigQuery.

מידע נוסף על IAM ב-Dataform זמין במאמר בקרת גישה באמצעות IAM.

יצירת לוח זמנים

כדי ליצור לוח זמנים למחברת, פועלים לפי השלבים הבאים:

החלונית Explorer

  1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על כלי הניתוחים:

    כפתור מודגש לחלונית הסייר.

    אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

  3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Notebooks.

  4. לוחצים על שם המחברת שרוצים לתזמן. אפשר להשתמש בתכונת החיפוש או במסננים כדי למצוא את המחברת.

  5. בסרגל הכלים של Notebook, לוחצים על תזמון.

    אפשר גם ללחוץ על תזמון ואז על יצירת לוח זמנים.

  6. בחלונית Schedule Notebook, בשדה Schedule name, מזינים שם לתזמון.

  7. בקטע Authentication (אימות), מאשרים את המחברת באמצעות פרטי הכניסה של משתמש בחשבון Google או באמצעות חשבון שירות.

    • כדי להשתמש בפרטי הכניסה של המשתמש בחשבון Google (תצוגה מקדימה), בוחרים באפשרות Execute with my user credentials (הפעלה עם פרטי הכניסה של המשתמש).
    • כדי להשתמש בחשבון שירות, בוחרים באפשרות Execute with selected service account ואז בוחרים חשבון שירות.

  8. בקטע Notebook options (אפשרויות ל-Notebook), בשדה Runtime template (תבנית זמן ריצה), בוחרים תבנית זמן ריצה של נוטבוק של Colab או את מפרטי ברירת המחדל של זמן הריצה. פרטים על יצירת תבנית של סביבת זמן ריצה של נוטבוק של Colab זמינים במאמר יצירת תבנית של סביבת זמן ריצה.

  9. בשדה Cloud Storage bucket, לוחצים על Browse ובוחרים או יוצרים קטגוריה של Cloud Storage.

    לחשבון השירות שנבחר צריך להיות מוקצה תפקיד ה-IAM‏ Storage Admin (roles/storage.admin) בדלי שנבחר. מידע נוסף זמין במאמר בנושא הפעלת תזמון של מחברות.

  10. בקטע Schedule frequency:

    1. בתפריט Repeats (חזרה), בוחרים את התדירות של הפעלות מתוזמנות של מחברות.
    2. בשדה At time, מזינים את השעה להפעלות המתוזמנות של קובץ ה-Notebook.
    3. בתפריט אזור זמן, בוחרים את אזור הזמן של לוח הזמנים.

  11. לוחצים על יצירת לוח זמנים. אם בחרתם באפשרות ביצוע עם פרטי הכניסה של המשתמש שלי כשיטת האימות, אתם צריכים לתת הרשאה לחשבון Google (תצוגה מקדימה).

כשיוצרים את לוח הזמנים, הגרסה הנוכחית של ה-notebook נפרסת באופן אוטומטי. כדי לעדכן את לוח הזמנים עם גרסה חדשה של הנוטבוק, פורסים את הנוטבוק.

הגרסה האחרונה של המחברת שפריסתה הושלמה תפעל במועד ובתדירות שתבחרו.

הדף תזמון

  1. נכנסים לדף Scheduling במסוף Cloud de Confiance .

    מעבר ל'תזמון'

  2. לוחצים על יצירה ובוחרים באפשרות תזמון מחברת בתפריט.

  3. בחלונית Schedule notebook, בשדה Notebook, בוחרים את ה-Notebook שרוצים לתזמן.

  4. בשדה שם לוח הזמנים, מזינים שם ללוח הזמנים.

  5. בקטע Authentication (אימות), מאשרים את המחברת באמצעות פרטי הכניסה של משתמש בחשבון Google או באמצעות חשבון שירות.

    • כדי להשתמש בפרטי הכניסה של המשתמש בחשבון Google (תצוגה מקדימה), בוחרים באפשרות Execute with my user credentials (הפעלה עם פרטי הכניסה של המשתמש).
    • כדי להשתמש בחשבון שירות, בוחרים באפשרות Execute with selected service account ואז בוחרים חשבון שירות.

  6. בקטע Notebook options (אפשרויות ל-Notebook), בשדה Runtime template (תבנית זמן ריצה), בוחרים תבנית זמן ריצה של נוטבוק של Colab או את מפרטי ברירת המחדל של זמן הריצה. פרטים על יצירת תבנית של סביבת זמן ריצה של נוטבוק של Colab זמינים במאמר יצירת תבנית של סביבת זמן ריצה.

  7. בשדה Cloud Storage bucket, לוחצים על Browse ובוחרים או יוצרים קטגוריה של Cloud Storage.

    לחשבון השירות שנבחר צריך להיות מוקצה תפקיד ה-IAM‏ Storage Admin (roles/storage.admin) בדלי שנבחר. מידע נוסף זמין במאמר בנושא הפעלת תזמון של מחברות.

  8. בקטע Schedule frequency:

    1. בתפריט Repeats (חזרה), בוחרים את התדירות של הפעלות מתוזמנות של מחברות.
    2. בשדה At time, מזינים את השעה להפעלות המתוזמנות של קובץ ה-Notebook.
    3. בתפריט אזור זמן, בוחרים את אזור הזמן של לוח הזמנים.

  9. לוחצים על יצירת לוח זמנים. אם בחרתם באפשרות ביצוע עם פרטי הכניסה של המשתמש שלי כשיטת האימות, אתם צריכים לתת הרשאה לחשבון Google (תצוגה מקדימה).

כשיוצרים את לוח הזמנים, הגרסה הנוכחית של ה-notebook נפרסת באופן אוטומטי. כדי לעדכן את לוח הזמנים עם גרסה חדשה של הנוטבוק, פורסים את הנוטבוק.

הגרסה האחרונה של המחברת שפריסתה הושלמה תפעל במועד ובתדירות שתבחרו.

איך נותנים הרשאה לחשבון Google

כדי לאמת את המשאב באמצעות פרטי הכניסה של המשתמש בחשבון Google, צריך להעניק באופן ידני הרשאה לצינורות של BigQuery לקבל את טוקן הגישה לחשבון Google ולגשת לנתוני המקור בשמכם. אתם יכולים לתת אישור ידני באמצעות ממשק תיבת הדו-שיח של OAuth.

צריך לתת הרשאה לצינורות של BigQuery רק פעם אחת.

כדי לבטל את ההרשאה שנתתם:

  1. עוברים אל הדף של החשבון ב-Google.
  2. לוחצים על BigQuery Pipelines.
  3. לוחצים על הסרת הגישה.

כדי לשנות את הבעלים של תזמון המחברת על ידי עדכון פרטי הכניסה, צריך גם אישור ידני אם הבעלים החדש של חשבון Google מעולם לא יצר תזמון.

פריסת Notebook

כשפורסים מחברת, לוח הזמנים שלה מתעדכן לגרסה הנוכחית של המחברת. התזמון מריץ את הגרסה האחרונה של המחברת שנפרסה.

אם יש לכם תזמון למחברת הזו, כשאתם עורכים את המחברת, BigQuery מציג לכם הנחיה לפרוס את השינויים כדי לעדכן את התזמון.

כדי לפרוס מחברת:

  1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על כלי הניתוחים:

    כפתור מודגש לחלונית הסייר.

  3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Notebooks.

  4. לוחצים על שם המחברת שנבחרה.

  5. לוחצים על פריסה.

לוח הזמנים המתאים מתעדכן עם הגרסה הנוכחית של ה-notebook. הגרסה האחרונה של המחברת שנפרסה תפעל בזמן המתוזמן.

הפעלה ידנית של מחברת שנפרסה

כשמריצים ידנית מחברת שהופעלה בלוח זמנים נבחר, BigQuery מריץ את המחברת שהופעלה פעם אחת, בלי קשר ללוח הזמנים.

כדי להריץ מחברת שנפרסה באופן ידני:

  1. נכנסים לדף Scheduling במסוף Cloud de Confiance .

    מעבר ל'תזמון'

  2. לוחצים על השם של לוח הזמנים של המחברת שנבחרה.

  3. בדף פרטי התזמון, לוחצים על הפעלה.

הצגת כל לוחות הזמנים

כדי לראות את כל התזמונים של מחברות בפרויקט:

  1. נכנסים לדף Scheduling במסוף Cloud de Confiance .

    מעבר ל'תזמון'

  2. אופציונלי: כדי להציג עמודות נוספות עם פרטים על התזמון של המחברת, לוחצים על Column display options, בוחרים עמודות ולוחצים על OK.

הצגת פרטים על לוח הזמנים

אפשר לראות את הפרטים של לוח זמנים שנבחר בחלונית כלי המחקר או בדף תזמון.

כדי לראות את פרטי לוח הזמנים של מחברת שנבחרה:

החלונית Explorer

  1. נכנסים לדף BigQuery במסוף Cloud de Confiance .

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על כלי הניתוחים:

    כפתור מודגש לחלונית הסייר.

  3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Notebooks.

  4. לוחצים על שם המחברת שנבחרה.

  5. בסרגל הכלים של Notebook, לוחצים על תזמון.

    לחלופין, לוחצים על תזמון:

    חלונית התזמון של ה-Notebook.

הדף תזמון

  1. נכנסים לדף Scheduling במסוף Cloud de Confiance .

    מעבר ל'תזמון'

  2. לוחצים על השם של לוח הזמנים של המחברת שנבחרה.

צפייה בהרצות קודמות

אפשר לראות את ההרצות הקודמות של תזמון notebook שנבחר בחלונית Explorer או בדף Scheduling.

כדי לראות את ההרצות הקודמות של לוח זמנים שנבחר של מחברת:

החלונית Explorer

  1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על כלי הניתוחים:

    כפתור מודגש לחלונית הסייר.

  3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Notebooks.

  4. לוחצים על שם המחברת שנבחרה.

  5. לוחצים על תזמון ואז על הצגת הפעלות קודמות.

הדף תזמון

  1. נכנסים לדף Scheduling במסוף Cloud de Confiance .

    מעבר ל'תזמון'

  2. לוחצים על השם של לוח הזמנים של המחברת שנבחרה.

  3. בדף פרטי התזמון, בקטע הפעלות קודמות, בודקים את ההפעלות הקודמות.

  4. אופציונלי: כדי לרענן את רשימת ההרצות הקודמות, לוחצים על רענון.

השבתת לוח זמנים

כדי להשהות הפעלות מתוזמנות של מחברת נבחרת בלי למחוק את התזמון, אפשר להשבית את התזמון.

כדי להשבית תזמון של notebook שנבחר, פועלים לפי השלבים הבאים:

החלונית Explorer

  1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על כלי הניתוחים:

    כפתור מודגש לחלונית הסייר.

  3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Notebooks.

  4. לוחצים על שם המחברת שנבחרה.

  5. בסרגל הכלים של Notebook, לוחצים על תזמון.

    לחלופין, לוחצים על תזמון:

    חלונית התזמון של ה-Notebook.

  6. בטבלה עם פרטי התזמון, בשורה מצב התזמון, לוחצים על המתג התזמון מופעל.

הדף תזמון

  1. נכנסים לדף Scheduling במסוף Cloud de Confiance .

    מעבר ל'תזמון'

  2. לוחצים על שם המחברת שנבחרה.

  3. בדף פרטי התזמון, לוחצים על השבתה.

הפעלת לוח זמנים

כדי להפעיל מחדש תזמון של הפעלות של notebook שהושבת:

החלונית Explorer

  1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על כלי הניתוחים:

    כפתור מודגש לחלונית הסייר.

  3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Notebooks.

  4. לוחצים על שם המחברת שנבחרה.

  5. בסרגל הכלים של Notebook, לוחצים על תזמון.

    אפשר גם ללחוץ על תזמון.

  6. בטבלה עם פרטי התזמון, בשורה מצב התזמון, לוחצים על המתג התזמון מושבת.

הדף תזמון

  1. נכנסים לדף Scheduling במסוף Cloud de Confiance .

    מעבר ל'תזמון'

  2. לוחצים על שם המחברת שנבחרה.

  3. בדף פרטי התזמון, לוחצים על הפעלה.

עריכת לוח זמנים

אפשר לערוך לוח זמנים בחלונית סייר או בדף תזמון.

כדי לערוך לוח זמנים:

החלונית Explorer

  1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על כלי הניתוחים:

    כפתור מודגש לחלונית הסייר.

  3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Notebooks.

  4. לוחצים על שם המחברת שנבחרה.

  5. לוחצים על תזמון ואז על עריכה.

  6. בתיבת הדו-שיח פרטי התזמון, עורכים את התזמון ולוחצים על עדכון התזמון.

הדף תזמון

  1. נכנסים לדף Scheduling במסוף Cloud de Confiance .

    מעבר ל'תזמון'

  2. לוחצים על השם של לוח הזמנים של המחברת שנבחרה.

  3. בדף פרטי התזמון, לוחצים על עריכה.

  4. לוחצים על הצגת לוח הזמנים ואז על עריכה.

  5. בתיבת הדו-שיח Schedule notebook, עורכים את לוח הזמנים ולוחצים על Update schedule.

מחיקת לוח זמנים

כדי למחוק באופן סופי תזמון של notebook שנבחר, פועלים לפי השלבים הבאים:

  1. נכנסים לדף Scheduling במסוף Cloud de Confiance .

    מעבר ל'תזמון'

  2. בצע אחת מהפעולות הבאות:

    • לוחצים על שם התזמון שנבחר, ואז בדף פרטי התזמון לוחצים על מחיקה.

    • בשורה שמכילה את התזמון שנבחר, לוחצים על הצגת פעולות בעמודה פעולות ואז על מחיקה.

  3. בתיבת הדו-שיח שמופיעה, לוחצים על מחיקה.

המאמרים הבאים