בעזרת המטמון של אשכולות ב-Managed Service for Apache Spark, אתם יכולים לאחסן באופן מקומי בצומתי האשכול נתונים מ-Cloud Storage שאתם ניגשים אליהם לעיתים קרובות, וכך להאיץ את ביצוע המשימות. המטמון המקומי הזה מקצר את זמן האחזור של הקריאה ומצמצם את בקשות ה-API של Cloud Storage לעומסי עבודה שחוזרים על עצמם.
כשמפעילים את השמירה במטמון של אשכול Managed Service for Apache Spark, האשכול שומר במטמון את הנתונים ב-Cloud Storage ש-Spark ניגש אליהם לעיתים קרובות.
יתרונות
- ביצועים משופרים: שמירה במטמון יכולה לשפר את ביצועי המשימות, כי היא מקצרת את הזמן שנדרש כדי לאחזר נתונים מהאחסון.
- עלויות אחסון נמוכות יותר: מכיוון שנתונים בשימוש תכוף נשמרים במטמון בדיסק המקומי, מתבצעות פחות קריאות ל-API לאחסון כדי לאחזר נתונים.
- התאמה למשימות Spark: כשמפעילים את השמירה במטמון באשכול, היא חלה על כל משימות Spark שפועלות באשכול, גם אם הן נשלחו ל-Managed Service for Apache Spark וגם אם הן פועלות באופן עצמאי באשכול.
מגבלות ודרישות
- אפשר להשתמש במטמון רק במשימות של Managed Service for Apache Spark.
- רק נתונים מ-Cloud Storage נשמרים במטמון.
- אפשר לשמור במטמון רק באשכולות שעומדים בדרישות הבאות:
- לאשכול יש מאסטר אחד ו-
nוורקרים (אין תמיכה באשכולות של זמינות גבוהה (HA) וצומת יחיד). - התכונה הזו זמינה ב-Managed Service for Apache Spark בגרסאות קובצי האימג'
2.0.72+,2.1.20+ו-2.2.0+. - לכל צומת באשכול חייבים להיות מחוברים כונני SSD מקומיים עם ממשק NVME (Non-Volatile Memory Express) (אין תמיכה ב-Persistent Disks (PD)). הנתונים נשמרים במטמון רק ב-NVME local SSDs.
- האשכול משתמש בחשבון השירות שמוגדר כברירת מחדל למכונות וירטואליות לצורך אימות. אין תמיכה בחשבונות שירות של מכונות וירטואליות בהתאמה אישית.
- לאשכול יש מאסטר אחד ו-
הפעלת שמירת אשכולות במטמון
אפשר להפעיל את השמירה במטמון של האשכול כשיוצרים אשכול של Managed Service for Apache Spark באמצעות מסוף Cloud de Confiance , Google Cloud CLI או Dataproc API.
מסוףCloud de Confiance
- פותחים את הדף Create cluster במסוף Cloud de Confiance .
- לוחצים על הגדרות נוספות כדי להרחיב את הקטע.
- עורכים את ההתאמה האישית והגדרות אחרות.
- בחלונית שנפתחת, בקטע מאפייני אשכול, לוחצים על + הוספת מאפיינים.
- בוחרים באפשרות dataproc ברשימה Prefix, ואז מוסיפים את המפתח
dataproc.cluster.caching.enabledואת הערךtrue.
CLI של gcloud
מריצים את הפקודה gcloud dataproc clusters create באופן מקומי בחלון הטרמינל או ב-Cloud Shell באמצעות מאפיין האשכול dataproc:dataproc.cluster.caching.enabled=true.
דוגמה:
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --properties dataproc:dataproc.cluster.caching.enabled=true \ --num-master-local-ssds=2 \ --master-local-ssd-interface=NVME \ --num-worker-local-ssds=2 \ --worker-local-ssd-interface=NVME \ other args ...
API בארכיטקטורת REST
מגדירים את SoftwareConfig.properties כך שיכלול את מאפיין האשכול "dataproc:dataproc.cluster.caching.enabled": "true" כחלק מבקשת clusters.create.