כדי לצמצם את ההשפעה של חוסר הזמינות של מכונות וירטואליות שצוינו על ידי המשתמש באזורים ספציפיים בזמנים ספציפיים (מחסור במלאי), ב-Managed Service for Apache Spark אתם יכולים לבקש ליצור partial cluster על ידי ציון מספר מינימלי של primary workers שמאפשרים ליצור אשכול.
| אשכול רגיל | אשכול חלקי |
|---|---|
| אם אי אפשר ליצור ולהפעיל אחד או יותר מה-primary workers, יצירת האשכול תיכשל. ה-workers שנוצרים ממשיכים לפעול ולצבור חיובים עד שהמשתמש מוחק אותם. | אם אפשר ליצור את המספר המינימלי של ה-workers שצוין, האשכול נוצר. Failed (uninitialized) workers are deleted and don't incur charges. אם אי אפשר ליצור ולאתחל את המספר המינימלי של ה-workers שצוין, האשכול לא נוצר. ה-workers שנוצרים לא נמחקים כדי לאפשר ניפוי באגים. |
| זמן היצירה של האשכולות עבר אופטימיזציה. | יצירת האשכול עשויה להימשך זמן רב יותר, כי כל הצמתים צריכים לדווח על סטטוס ההקצאה. |
| אפשר ליצור אשכולות עם צומת יחיד. | אי אפשר ליצור אשכולות עם צומת יחיד. |
התאמה אוטומטית לעומס (Automatic scaling)
כדי לוודא שנוצר מספר היעד (המלא) של ה-primary workers, השתמשו בהתאמה לעומס (autoscaling) עם יצירת אשכול חלקי. אם עומס העבודה ידרוש זאת, ההתאמה האוטומטית לעומס תנסה לרכוש ברקע את ה-workers שנכשלו.
הדוגמה הבאה היא מדיניות התאמה לעומס שמנסה שוב עד שהמספר הכולל של מכונות ה-worker הראשיות מגיע לגודל היעד של 10.
הערכים minInstances ו-maxInstances של המדיניות תואמים למספר המינימלי ולמספר הכולל של ה-primary workers שצוינו בזמן יצירת האשכול (ראו יצירת אשכול חלקי).
הגדרת scaleDownFactor ל-0 מונעת מהאשכול לצמצם אנכית בהתאם לעומס (scale down) מ-10 ל-8, ועוזרת לשמור על מספר ה-workers במגבלה המקסימלית של 10 workers.
workerConfig:
minInstances: 8
maxInstances: 10
basicAlgorithm:
cooldownPeriod: 2m
yarnConfig:
scaleUpFactor: 1
scaleDownFactor: 0
gracefulDecommissionTimeout: 1h
יצירת אשכול חלקי
אתם יכולים להשתמש ב-Google Cloud CLI או ב-Dataproc API כדי ליצור אשכול חלקי ב-Managed Service for Apache Spark.
gcloud
כדי ליצור אשכול חלקי של Managed Service for Apache Spark בשורת הפקודה, מריצים את הפקודה הבאה של gcloud dataproc clusters create באופן מקומי בחלון הטרמינל או ב-Cloud Shell.
gcloud dataproc clusters create CLUSTER_NAME \ --project=PROJECT \ --region=REGION \ --num-workers=NUM_WORKERS \ --min-num-workers=MIN_NUM_WORKERS \ other args ...
מחליפים את מה שכתוב בשדות הבאים:
- CLUSTER_NAME: שם האשכול חייב להתחיל באות קטנה, ואחריה עד 51 אותיות קטנות, מספרים ומקפים, והוא לא יכול להסתיים במקף.
- PROJECT: הפרויקט שמשויך לאשכול המשימות.
- REGION: מציינים את האזור של Compute Engine שבו ימוקם אשכול המשימות.
- NUM_WORKERS: המספר הכולל של ה-primary workers באשכול שרוצים ליצור, אם הם זמינים.
- MIN_NUM_WORKERS: המספר המינימלי של ה-primary workers שצריך ליצור אם אי אפשר ליצור את המספר הכולל של ה-workers שצוין (
NUM_WORKERS). אם אי אפשר ליצור את המספר המינימלי הזה של ה-primary workers, יצירת האשכול תיכשל (ה-workers שנוצרו לא נמחקים כדי לאפשר ניפוי באגים). אם לא משתמשים בדגל הזה, המערכת מנסה ליצור אשכול רגיל עם המספר הכולל של ה-primary workers (NUM_WORKERS).
REST
כדי ליצור אשכול חלקי ב-Dataproc, מציינים את המספר המינימלי של ה-primary workers בשדה workerConfig.minNumInstances כחלק מבקשת clusters.create.
הצגת מספר העובדים שהוקצו
אחרי שיוצרים אשכול, אפשר להריץ את הפקודה הבאה של ה-CLI של gcloud כדי להציג את מספר ה-workers, כולל ה-workers המשניים, שהוקצו באשכול.
gcloud dataproc clusters list \ --project=PROJECT \ --region=REGION \ --filter=clusterName=CLUSTER_NAME