הגדרת מדיניות לגבי כשלים

אפשר להשתמש בפרמטר failure_policy של המחלקה aiplatform.PipelineJob כדי להגדיר אם הצינור צריך להיכשל באופן מיידי אם אחת מהמשימות נכשלת.

ההגדרות הבאות של מדיניות הכשל נתמכות בצינורות של Gemini Enterprise Agent Platform:

  • Fail fast (failure_policy = 'fast'): בוחרים בהגדרה הזו אם רוצים שצינור הנתונים יפסיק לתזמן משימות חדשות אחרי שמשימה נכשלת. משימות שכבר תוכננו ימשיכו לפעול עד שהן יושלמו.

  • Fail slow (failure_policy = 'slow'): בוחרים בהגדרה הזו אם רוצים שצינור הנתונים ימשיך לפעול גם אחרי שמשימה נכשלת. הצינור ממשיך לפעול עד שכל המשימות מבוצעות.

כדי להגדיר את מדיניות הכשלים של צינור עיבוד נתונים באמצעות Agent Platform SDK for Python, משתמשים בדוגמת הקוד הבאה:


job = aiplatform.PipelineJob(display_name = 'DISPLAY_NAME',
                             template_path = 'COMPILED_PIPELINE_PATH',
                             pipeline_root = 'PIPELINE_ROOT',
                             project = 'PROJECT_ID',
                             location = 'LOCATION',
                             failure_policy = 'FAILURE_POLICY')

מחליפים את מה שכתוב בשדות הבאים:

  • ‫DISPLAY_NAME: השם של צינור הנתונים, שיוצג במסוף Cloud de Confiance .

  • ‫COMPILED_PIPELINE_PATH: הנתיב לקובץ ה-YAML של צינור העיבוד שעבר קומפילציה. זו יכולה להיות נתיב מקומי או Cloud de Confiance by S3NS URI של אחסון.

  • ‫PIPELINE_ROOT: מציינים URI של Cloud Storage שחשבון השירות של צינורות העיבוד יכול לגשת אליו. פריטי המידע של הרצות הצינור מאוחסנים בתיקיית הבסיס של הצינור.

  • ‫PROJECT_ID: Cloud de Confiance by S3NS הפרויקט שבו צינור העברת הנתונים הזה פועל.

  • ‫LOCATION: האזור שבו צינור עיבוד הנתונים פועל. מידע נוסף על האזורים שבהם אפשר להשתמש ב-Agent Platform Pipelines זמין במאמר מדריך מיקומי Gemini Enterprise Agent Platform. אם לא מגדירים את הפרמטר הזה, המערכת משתמשת במיקום ברירת המחדל שמוגדר ב-aiplatform.init.

  • ‫FAILURE_POLICY: מציינים את מדיניות הכשל לצינור כולו. אלה ההגדרות שזמינות:

    • כדי להגדיר את צינור הנתונים כך שהוא ייכשל אחרי שמשימה אחת נכשלת, מזינים fast.

    • כדי להגדיר את צינור הנתונים כך שימשיך לתזמן משימות אחרי שמשימה אחת נכשלת, מזינים slow.

    אם לא מגדירים את הפרמטר הזה, הגדרת מדיניות הכשל מוגדרת כ-slow כברירת מחדל.

המאמרים הבאים