אפשר ליצור אשכולות של Managed Service for Apache Spark ב-Compute Engine בצמתים של דייר יחיד. צומת עם דייר יחיד הוא שרת Compute Engine שמוקדש לאירוח המכונות הווירטואליות של הפרויקט שלכם בלבד. כשיוצרים אשכול של Managed Service for Apache Spark בצומת של דייר יחיד, המכונות הווירטואליות של האשכול נשארות מופרדות פיזית ממכונות וירטואליות בפרויקטים אחרים. האשכולות פועלים כאשכולות רגילים של Managed Service for Apache Spark, אבל עם בידוד חומרה נוסף כדי לתת מענה לבעיות אבטחה ותאימות.
אשכולות של שרתי לדייר יחיד (sole-tenant) ב-Managed Service for Apache Spark נוצרים בקבוצת שרתי לדייר יחיד (sole-tenant) שמוגדרת על ידי המשתמש. המאסטר, ה-worker וה-worker המשניים של כל אשכול ייווצרו בתוך קבוצת הצמתים הזו של שרת לדייר יחיד.
צעדים ראשונים
-
כדאי להשתמש בקבוצות של צמתים עם התאמה אוטומטית לעומס אם אתם מתכוונים ליצור אשכולות עם התאמה אוטומטית לעומס בקבוצת השרתים לדייר יחיד.
המלצות לגבי התאמה אוטומטית של גודל קבוצת הצמתים:
- מוודאים שהערך של
max-nodesבקבוצת השרתים לדייר יחיד מספיק לערך שלmaxInstancesבאשכולות שייווצרו בקבוצת השרתים לדייר יחיד. - משתמשים במדיניות ברירת המחדל או במדיניות התחזוקה של קבוצת הצמתים
migrate-within-node-group. יכול להיות שהמכונות הווירטואליות לא יהיו זמינות למשך שעה לכל היותר עם המדיניותrestart-in-place.
- מוודאים שהערך של
יצירת אשכול עם דייר יחיד
לפני שיוצרים אשכול עם שרת לדייר יחיד (sole-tenant), כדאי לעיין בהגבלות על מכונות וירטואליות של שרת לדייר יחיד (sole-tenant).
אם יוצרים אשכול עם התאמה אוטומטית לעומס בקבוצת שרתים לדייר יחיד, מומלץ להשתמש גם בהתאמה אוטומטית לעומס בקבוצת השרתים (ראו המלצות להתאמה אוטומטית לעומס של קבוצת שרתים).
פקודת gcloud
כדי ליצור אשכול עם דייר יחיד, מעבירים את הדגל --node-group לפקודה gcloud dataproc clusters create.
הערות לגבי סימון:
-
--region(חובה): צריך להיות זהה לאזור של קבוצת הדיירים היחידה. -
--node-group(חובה): אפשר לציין את שם קבוצת השרתים לדייר יחיד (sole-tenant) (node-group-name) או את מזהה ה-URI של המשאב של קבוצת השרתים לדייר יחיד (sole-tenant) (projects/project-id/zones/zone/nodeGroups/node-group-name). -
--zone(חובה): אזור האשכול חייב להיות זהה לאזור של קבוצת השרתים לדייר יחיד.
gcloud dataproc clusters create cluster-name \ --region=region \ --zone=zone \ --node-group=node group resource name or URI \ ... other args
API בארכיטקטורת REST
יוצרים אשכול עם דייר יחיד באמצעות בקשת clusters.create שמציינת את NodeGroupAffinity.nodeGroupUri של קבוצת הצמתים עם דייר יחיד.
הערה: אזור האשכול שצוין בשדה zoneUri
חייב להיות זהה לאזור של קבוצת השרתים לדייר יחיד (sole-tenant).
המסוף
בשלב הזה, אי אפשר ליצור אשכול של Managed Service for Apache Spark עם דייר יחיד במסוף Cloud de Confiance .