מחיקה מתוזמנת של אשכול

כדי למנוע חיובים ב-Cloud de Confiance על אשכול לא פעיל, כשיוצרים אשכול משתמשים בתכונה "מחיקה מתוזמנת של אשכול" ב-Managed Service for Apache Spark. התכונה הזו מאפשרת למחוק אשכול כשמתרחשים האירועים הבאים:

  • אחרי פרק זמן מסוים שבו האשכול לא פעיל
  • במועד מסוים בעתיד
  • אחרי פרק זמן מסוים שמתחיל מרגע שליחת הבקשה ליצירת האשכול.

פעולות שמשביתות את המחיקה המתוזמנת

בזמן שאשכול פועל, הפעולות הבאות משביתות את המחיקה המתוזמנת עד שהפעולה שגרמה להשבתה מבוטלת:

חישוב זמן חוסר הפעילות של האשכול

אתם יכולים להשתמש במחיקה מתוזמנת כדי למחוק אשכול אחרי זמן מסוים שבו הוא לא היה פעיל. זמן חוסר הפעילות מחושב אחרי שהאשכול נוצר וההקצאה שלו הושלמה. חישוב זמן חוסר הפעילות מתחיל כשלמערכת אין משימות שפועלות.

המאפיין cluster של dataproc:dataproc.cluster-ttl.consider-yarn-activity משפיע על החישוב של זמן חוסר הפעילות של האשכול, באופן הבא:

  • המאפיין הזה מופעל (מוגדר כ-true) כברירת מחדל.
  • כשהמאפיין הזה מופעל, גם הפעילות של YARN וגם הפעילות של Dataproc Jobs API צריכות להיות במצב של חוסר פעילות כדי להתחיל ולהמשיך להגדיל את חישוב זמן חוסר הפעילות של האשכול.
    • פעילות YARN כוללת אפליקציות YARN בהמתנה ואפליקציות YARN שפועלות.
    • הפעילות ב-Dataproc Jobs API כוללת משימות בהמתנה ומשימות שפועלות שנשלחו ל-Dataproc Jobs API.
  • כשהמאפיין הזה מוגדר לערך false, חישוב זמן חוסר הפעילות של האשכול מתחיל ונמשך רק כשאין פעילות ב-Dataproc Jobs API.

המאפיין dataproc:dataproc.cluster-ttl.consider-yarn-activity חל על אשכולות שנוצרו באמצעות גרסאות של קובצי אימג' שהופצו בתאריך 1.4.64, 1.5.39, 2.0.13 או אחריו, וגרסאות מאוחרות יותר של קובצי אימג'. באשכולות שנוצרו עם גרסאות קודמות של קובצי אימג', רק הפעילות של Dataproc Jobs API נלקחת בחשבון בחישוב זמן חוסר הפעילות של האשכול.

שימוש במחיקה מתוזמנת של אשכולות

אפשר להגדיר ערכים למחיקה מתוזמנת כשיוצרים אשכול באמצעות Google Cloud CLI,‏ Dataproc API או מסוף Cloud de Confiance . אחרי שיוצרים את האשכול, אפשר לעדכן אותו כדי לשנות או למחוק את ערכי המחיקה המתוזמנת שהוגדרו קודם לכן באשכול.

מסוףCloud de Confiance

  1. פותחים את הדף Create cluster.
  2. בקטע Define cost control settings, בוחרים באפשרות Set an optional retention policy to control costs ואז בוחרים את ההגדרות של המחיקה המתוזמנת (או העצירה המתוזמנת).

‫CLI של gcloud

כדי ליצור או לעדכן ערכים של מחיקה מתוזמנת באשכול, מעבירים את הדגלים והערכים שמפורטים בטבלה הבאה לפקודות gcloud dataproc clusters create או gcloud dataproc clusters update.

דגל של ה-CLI של gcloud תיאור רמת הפירוט של הערכים ערך מינימלי ערך מקסימלי
--delete-max-idle1 רלוונטי לפקודות ליצירת אשכולות ולעדכון אשכולות. משך הזמן מרגע שהאשכול הופך ללא פעיל אחרי שהוא נוצר או עודכן ונמצא במצב מוכן לשימוש, ועד לרגע שבו מתחילה מחיקת האשכול. צריך לציין את משך הזמן בפורמט IntegerUnit, כשהיחידה יכולה להיות "s, m, h, d" (שניות, דקות, שעות, ימים). לדוגמה: "30m"‏: 30 דקות מהרגע שבו האשכול הופך ללא פעיל. שנייה אחת 5 דקות 14 ימים
--no-delete-max-idle רלוונטי רק לפקודת עדכון האשכול. ביטול מחיקת האשכול שנקבעה בהגדרה הקודמת של הדגל delete-max-idle. לא רלוונטי לא רלוונטי לא רלוונטי
--delete-expiration-time2 רלוונטי לפקודות ליצירת אשכולות ולעדכון אשכולות. השעה שבה תתחיל מחיקת האשכול, בפורמט התאריך והשעה של ISO 8601. כדי ליצור את התאריך והשעה בפורמט הנכון, אפשר להשתמש במחולל חותמות הזמן. לדוגמה, הערך "2017-08-22T13:31:48-08:00" מציין זמן תפוגה של 13:21:48 באזור הזמן UTC -8:00.שנייה אחת ‫10 דקות מהשעה הנוכחית ‫14 ימים מהשעה הנוכחית
--delete-max-age2 ההגדרה חלה על פקודות ליצירת אשכולות ועדכון אשכולות. משך הזמן מרגע שליחת הבקשה ליצירת האשכול ועד לרגע שבו מתחילה מחיקת האשכול. צריך לציין את משך הזמן בפורמט IntegerUnit, כשהיחידה יכולה להיות "s, m, h, d" (שניות, דקות, שעות, ימים). דוגמאות: "30m"‏: 30 דקות מעכשיו; "1d"‏: יום אחד מעכשיו. שנייה אחת 10 דקות 14 ימים
--no-delete-max-age רלוונטי רק לפקודת עדכון האשכול. מבטלת את המחיקה האוטומטית של האשכול לפי הגדרת הדגל הקודמת של delete-max-age או delete-expiration-time. לא רלוונטי לא רלוונטי לא רלוונטי
הערות:
  1. אפשר להעביר את הדגל delete-max-idle עם הדגל delete-expiration-time או delete-max-age בבקשה ליצירה או לעדכון של האשכול. התנאי הראשון שמתקיים מוחק את האשכול.
  2. אפשר להעביר את הדגל delete-expiration-time או את הדגל delete-max-age לפקודה ליצירה או לעדכון של האשכול, אבל לא את שניהם.

דוגמה ליצירת אשכול:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --delete-max-idle=DURATION \
    --delete-expiration-time=TIME \
    ... other flags ...

דוגמה לעדכון אשכול:

gcloud dataproc clusters update CLUSTER_NAME \
    --region=REGION \
    --delete-max-idle=DURATION \
    --no-delete-max-age \
    ... other flags

‫API בארכיטקטורת REST

כדי ליצור או לעדכן ערכים של מחיקה מתוזמנת באשכול, מגדירים את השדות והערכים של ClusterLifecycleConfig ב-Dataproc API שמפורטים בטבלה הבאה, כחלק מבקשת API של cluster.create או cluster.patch ב-Managed Service for Apache Spark.

שדה API תיאור רמת הפירוט של הערכים ערך מינימלי ערך מקסימלי
idleDeleteTtl1 ההגדרה חלה על פקודות ליצירת אשכולות ועדכון אשכולות. משך הזמן מרגע שהאשכול הופך ללא פעיל אחרי שהוא נוצר או עודכן ונמצא במצב מוכן לשימוש, ועד לרגע שבו מתחילה מחיקת האשכול. כשמעדכנים אשכול עם ערך חדש, הערך החדש חייב להיות גדול מהערך שהוגדר קודם. צריך לציין משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, ובסוף להוסיף את האות "s". לדוגמה: "3.5s". כדי לבטל ערך idleDeleteTtl שהוגדר בעבר, צריך לשלוח משך זמן ריק. שנייה אחת 5 דקות 14 ימים
autoDeleteTime2 ההגדרה חלה על פקודות ליצירת אשכולות ועדכון אשכולות. הזמן שבו מתחילה מחיקת האשכול. כשמעדכנים אשכול עם שעה חדשה, השעה החדשה צריכה להיות מאוחרת יותר מהשעה שהוגדרה קודם. אם מגדירים ערך ריק ל-autoDeleteTime בזמן העדכון, המחיקה האוטומטית הקיימת מבוטלת.
צריך לציין חותמת זמן בפורמט RFC 3339 UTC "Zulu", ברמת דיוק של ננו-שניות. לדוגמה: "2014-10-02T15:01:23.045123456Z".
שנייה אחת ‫10 דקות מהשעה הנוכחית ‫14 ימים מהשעה הנוכחית
autoDeleteTtl2 משך הזמן מרגע שליחת הבקשה ליצירה או לעדכון של האשכול ועד לרגע שבו האשכול מתחיל להימחק. כשמעדכנים אשכול, מועד המחיקה המתוזמן החדש (מועד בקשת העדכון בתוספת משך הזמן החדש) צריך להיות מאוחר יותר ממועד המחיקה של האשכול שהוגדר קודם. כדי לבטל ערך autoDeleteTtl שהוגדר בעבר, צריך לשלוח ערך ריק. צריך לציין משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, ובסוף להוסיף את האות "s". לדוגמה: "3.5s". שנייה אחת 10 דקות 14 ימים
הערות:
  1. אפשר להגדיר או לעדכן את idleDeleteTtl ואת autoDeleteTime או autoDeleteTtl בבקשה ליצירה או לעדכון של האשכול. התנאי הראשון שמתקיים מפעיל את מחיקת האשכול.
  2. אתם יכולים להגדיר או לעדכן את autoDeleteTime או את autoDeleteTtl בבקשה, אבל לא את שניהם.

הצגת ההגדרות של אשכול המחיקה המתוזמנת

מסוףCloud de Confiance

  • כדי לראות את הגדרות המחיקה המתוזמנת של האשכול, בוחרים את שם האשכול בדף Clusters של Managed Service for Apache Spark במסוף Cloud de Confiance .
  • בדף הפרטים של האשכול, לוחצים על הכרטיסייה Configuration. כדי לראות את הגדרות המחיקה המתוזמנת, צריך לעבור לרשימת ההגדרות של האשכול.

‫CLI של gcloud

אתם יכולים להשתמש בפקודה gcloud dataproc clusters list כדי לוודא שהמחיקה המתוזמנת מופעלת באשכול.

 gcloud dataproc clusters list \
     --region=REGION
פלט לדוגמה:
...
NAME         WORKER_COUNT ... SCHEDULED_DELETE
CLUSTER_ID   NUMBER       ... enabled
...

אפשר להשתמש בפקודה gcloud dataproc clusters describe כדי לבדוק את הגדרות המחיקה המתוזמנת של האשכול LifecycleConfig.

gcloud dataproc clusters describe CLUSTER_NAME \
    --region=REGION
...
lifecycleConfig:
  autoDeleteTime: '2018-11-28T19:33:48.146Z'
  idleDeleteTtl: 1800s
  idleStartTime: '2018-11-28T18:33:48.146Z'
...

הערכים autoDeleteTime ו-idleDeleteTtl הם ערכי ההגדרה של המחיקה המתוזמנת שמוגדרים באשכול. ‫Managed Service for Apache Spark יוצר את הערך idleStartTime, שהוא שעת ההתחלה האחרונה של מצב חוסר הפעילות של האשכול. ‫Managed Service for Apache Spark מוחק את האשכול אם הוא נשאר במצב של חוסר פעילות ב-idleStartTime + idleDeleteTtl.

‫API בארכיטקטורת REST

כדי לוודא שהמחיקה המתוזמנת מופעלת באשכול, אפשר לשלוח בקשת clusters.list.