כדי למנוע חיובים ב-Cloud de Confiance על אשכול לא פעיל, כשיוצרים אשכול משתמשים בתכונה "מחיקה מתוזמנת של אשכול" ב-Managed Service for Apache Spark. התכונה הזו מאפשרת למחוק אשכול כשמתרחשים האירועים הבאים:
- אחרי פרק זמן מסוים שבו האשכול לא פעיל
- במועד מסוים בעתיד
- אחרי פרק זמן מסוים שמתחיל מרגע שליחת הבקשה ליצירת האשכול.
פעולות שמשביתות את המחיקה המתוזמנת
בזמן שאשכול פועל, הפעולות הבאות משביתות את המחיקה המתוזמנת עד שהפעולה שגרמה להשבתה מבוטלת:
- הסרת התפקיד "סוכן שירות של Managed Service for Apache Spark" ב-IAM מחשבון השירות של סוכן השירות של Dataproc
- השבתת Dataproc API בפרויקט של האשכול
- הפעלת ההגנה מפני מחיקה של מכונות וירטואליות ב-Compute Engine במכונה וירטואלית של אשכול עם מחיקה מתוזמנת
- הפעלת VPC Service Controls אם חשבון השירות של סוכן השירות של Managed Service for Apache Spark (זהות מישור הבקרה) לא נמצא בגבולות ההיקף
חישוב זמן חוסר הפעילות של האשכול
אתם יכולים להשתמש במחיקה מתוזמנת כדי למחוק אשכול אחרי זמן מסוים שבו הוא לא היה פעיל. זמן חוסר הפעילות מחושב אחרי שהאשכול נוצר וההקצאה שלו הושלמה. חישוב זמן חוסר הפעילות מתחיל כשלמערכת אין משימות שפועלות.
המאפיין cluster של dataproc:dataproc.cluster-ttl.consider-yarn-activity משפיע על החישוב של זמן חוסר הפעילות של האשכול, באופן הבא:
- המאפיין הזה מופעל (מוגדר כ-
true) כברירת מחדל. - כשהמאפיין הזה מופעל, גם הפעילות של YARN וגם הפעילות של Dataproc Jobs API צריכות להיות במצב של חוסר פעילות כדי להתחיל ולהמשיך להגדיל את חישוב זמן חוסר הפעילות של האשכול.
- פעילות YARN כוללת אפליקציות YARN בהמתנה ואפליקציות YARN שפועלות.
- הפעילות ב-Dataproc Jobs API כוללת משימות בהמתנה ומשימות שפועלות שנשלחו ל-Dataproc Jobs API.
- כשהמאפיין הזה מוגדר לערך
false, חישוב זמן חוסר הפעילות של האשכול מתחיל ונמשך רק כשאין פעילות ב-Dataproc Jobs API.
המאפיין dataproc:dataproc.cluster-ttl.consider-yarn-activity חל על אשכולות שנוצרו באמצעות גרסאות של קובצי אימג' שהופצו בתאריך 1.4.64, 1.5.39, 2.0.13 או אחריו, וגרסאות מאוחרות יותר של קובצי אימג'. באשכולות שנוצרו עם גרסאות קודמות של קובצי אימג', רק הפעילות של Dataproc Jobs API נלקחת בחשבון בחישוב זמן חוסר הפעילות של האשכול.
שימוש במחיקה מתוזמנת של אשכולות
אפשר להגדיר ערכים למחיקה מתוזמנת כשיוצרים אשכול באמצעות Google Cloud CLI, Dataproc API או מסוף Cloud de Confiance . אחרי שיוצרים את האשכול, אפשר לעדכן אותו כדי לשנות או למחוק את ערכי המחיקה המתוזמנת שהוגדרו קודם לכן באשכול.
מסוףCloud de Confiance
- פותחים את הדף Create cluster.
- בקטע Define cost control settings, בוחרים באפשרות Set an optional retention policy to control costs ואז בוחרים את ההגדרות של המחיקה המתוזמנת (או העצירה המתוזמנת).
CLI של gcloud
כדי ליצור או לעדכן ערכים של מחיקה מתוזמנת באשכול, מעבירים את הדגלים והערכים שמפורטים בטבלה הבאה לפקודות gcloud dataproc clusters create או gcloud dataproc clusters update.
| דגל של ה-CLI של gcloud | תיאור | רמת הפירוט של הערכים | ערך מינימלי | ערך מקסימלי |
|---|---|---|---|---|
--delete-max-idle1 |
רלוונטי לפקודות ליצירת אשכולות ולעדכון אשכולות.
משך הזמן מרגע שהאשכול הופך ללא פעיל אחרי שהוא נוצר או עודכן ונמצא במצב מוכן לשימוש, ועד לרגע שבו מתחילה מחיקת האשכול. צריך לציין את משך הזמן בפורמט IntegerUnit, כשהיחידה יכולה להיות "s, m, h, d" (שניות, דקות, שעות, ימים). לדוגמה: "30m": 30 דקות מהרגע שבו האשכול הופך ללא פעיל. |
שנייה אחת | 5 דקות | 14 ימים |
--no-delete-max-idle |
רלוונטי רק לפקודת עדכון האשכול.
ביטול מחיקת האשכול שנקבעה בהגדרה הקודמת של הדגל delete-max-idle. |
לא רלוונטי | לא רלוונטי | לא רלוונטי |
--delete-expiration-time2 |
רלוונטי לפקודות ליצירת אשכולות ולעדכון אשכולות. השעה שבה תתחיל מחיקת האשכול, בפורמט התאריך והשעה של ISO 8601. כדי ליצור את התאריך והשעה בפורמט הנכון, אפשר להשתמש במחולל חותמות הזמן. לדוגמה, הערך "2017-08-22T13:31:48-08:00" מציין זמן תפוגה של 13:21:48 באזור הזמן UTC -8:00. | שנייה אחת | 10 דקות מהשעה הנוכחית | 14 ימים מהשעה הנוכחית |
--delete-max-age2 |
ההגדרה חלה על פקודות ליצירת אשכולות ועדכון אשכולות.
משך הזמן מרגע שליחת הבקשה ליצירת האשכול ועד לרגע שבו מתחילה מחיקת האשכול. צריך לציין את משך הזמן בפורמט IntegerUnit, כשהיחידה יכולה להיות "s, m, h, d" (שניות, דקות, שעות, ימים). דוגמאות: "30m": 30 דקות מעכשיו;
"1d": יום אחד מעכשיו. |
שנייה אחת | 10 דקות | 14 ימים |
--no-delete-max-age |
רלוונטי רק לפקודת עדכון האשכול.
מבטלת את המחיקה האוטומטית של האשכול לפי הגדרת הדגל הקודמת של delete-max-age או delete-expiration-time. |
לא רלוונטי | לא רלוונטי | לא רלוונטי |
- אפשר להעביר את הדגל
delete-max-idleעם הדגלdelete-expiration-timeאוdelete-max-ageבבקשה ליצירה או לעדכון של האשכול. התנאי הראשון שמתקיים מוחק את האשכול. - אפשר להעביר את הדגל
delete-expiration-timeאו את הדגלdelete-max-ageלפקודה ליצירה או לעדכון של האשכול, אבל לא את שניהם.
דוגמה ליצירת אשכול:
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --delete-max-idle=DURATION \ --delete-expiration-time=TIME \ ... other flags ...
דוגמה לעדכון אשכול:
gcloud dataproc clusters update CLUSTER_NAME \ --region=REGION \ --delete-max-idle=DURATION \ --no-delete-max-age \ ... other flags
API בארכיטקטורת REST
כדי ליצור או לעדכן ערכים של מחיקה מתוזמנת באשכול, מגדירים את השדות והערכים של ClusterLifecycleConfig ב-Dataproc API שמפורטים בטבלה הבאה, כחלק מבקשת API של cluster.create או cluster.patch ב-Managed Service for Apache Spark.
| שדה API | תיאור | רמת הפירוט של הערכים | ערך מינימלי | ערך מקסימלי |
|---|---|---|---|---|
idleDeleteTtl1 |
ההגדרה חלה על פקודות ליצירת אשכולות ועדכון אשכולות.
משך הזמן מרגע שהאשכול הופך ללא פעיל אחרי שהוא נוצר או עודכן ונמצא במצב מוכן לשימוש, ועד לרגע שבו מתחילה מחיקת האשכול. כשמעדכנים אשכול עם ערך חדש, הערך החדש חייב להיות גדול מהערך שהוגדר קודם.
צריך לציין משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, ובסוף להוסיף את האות "s". לדוגמה: "3.5s".
כדי לבטל ערך idleDeleteTtl שהוגדר בעבר, צריך לשלוח משך זמן ריק. |
שנייה אחת | 5 דקות | 14 ימים |
autoDeleteTime2 |
ההגדרה חלה על פקודות ליצירת אשכולות ועדכון אשכולות.
הזמן שבו מתחילה מחיקת האשכול. כשמעדכנים אשכול עם שעה חדשה, השעה החדשה צריכה להיות מאוחרת יותר מהשעה שהוגדרה קודם. אם מגדירים ערך ריק ל-autoDeleteTime בזמן העדכון, המחיקה האוטומטית הקיימת מבוטלת.צריך לציין חותמת זמן בפורמט RFC 3339 UTC "Zulu", ברמת דיוק של ננו-שניות. לדוגמה: "2014-10-02T15:01:23.045123456Z". |
שנייה אחת | 10 דקות מהשעה הנוכחית | 14 ימים מהשעה הנוכחית |
autoDeleteTtl2 |
משך הזמן מרגע שליחת הבקשה ליצירה או לעדכון של האשכול ועד לרגע שבו האשכול מתחיל להימחק. כשמעדכנים אשכול, מועד המחיקה המתוזמן החדש (מועד בקשת העדכון בתוספת משך הזמן החדש) צריך להיות מאוחר יותר ממועד המחיקה של האשכול שהוגדר קודם. כדי לבטל ערך autoDeleteTtl שהוגדר בעבר, צריך לשלוח ערך ריק.
צריך לציין משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, ובסוף להוסיף את האות "s".
לדוגמה: "3.5s". |
שנייה אחת | 10 דקות | 14 ימים |
- אפשר להגדיר או לעדכן את
idleDeleteTtlואתautoDeleteTimeאוautoDeleteTtlבבקשה ליצירה או לעדכון של האשכול. התנאי הראשון שמתקיים מפעיל את מחיקת האשכול. - אתם יכולים להגדיר או לעדכן את
autoDeleteTimeאו אתautoDeleteTtlבבקשה, אבל לא את שניהם.
הצגת ההגדרות של אשכול המחיקה המתוזמנת
מסוףCloud de Confiance
- כדי לראות את הגדרות המחיקה המתוזמנת של האשכול, בוחרים את שם האשכול בדף Clusters של Managed Service for Apache Spark במסוף Cloud de Confiance .
- בדף הפרטים של האשכול, לוחצים על הכרטיסייה Configuration. כדי לראות את הגדרות המחיקה המתוזמנת, צריך לעבור לרשימת ההגדרות של האשכול.
CLI של gcloud
אתם יכולים להשתמש בפקודה gcloud dataproc clusters list כדי לוודא שהמחיקה המתוזמנת מופעלת באשכול.
gcloud dataproc clusters list \ --region=REGION
... NAME WORKER_COUNT ... SCHEDULED_DELETE CLUSTER_ID NUMBER ... enabled ...
אפשר להשתמש בפקודה gcloud dataproc clusters describe כדי לבדוק את הגדרות המחיקה המתוזמנת של האשכול LifecycleConfig.
gcloud dataproc clusters describe CLUSTER_NAME \ --region=REGION
... lifecycleConfig: autoDeleteTime: '2018-11-28T19:33:48.146Z' idleDeleteTtl: 1800s idleStartTime: '2018-11-28T18:33:48.146Z' ...
הערכים autoDeleteTime ו-idleDeleteTtl הם ערכי ההגדרה של המחיקה המתוזמנת שמוגדרים באשכול.
Managed Service for Apache Spark יוצר את הערך idleStartTime, שהוא שעת ההתחלה האחרונה של מצב חוסר הפעילות של האשכול. Managed Service for Apache Spark מוחק את האשכול אם הוא נשאר במצב של חוסר פעילות ב-idleStartTime + idleDeleteTtl.
API בארכיטקטורת REST
כדי לוודא שהמחיקה המתוזמנת מופעלת באשכול, אפשר לשלוח בקשת clusters.list.