ב-Managed Service for Apache Spark אתם יכולים לאחסן ולעבד נתונים של עומסי עבודה באמצעות מערכת הקבצים המבוזרת של Hadoop (HDFS) ו-Cloud Storage במקביל. בעזרת החיבור ל-Cloud Storage שמותקן מראש, אתם יכולים להעביר נתונים אל האשכולות ומחוצה להם, תוך התאמה של אחסון הדיסק הבסיסי של ה-VM לדרישות הביצועים של המשימה.
אפשרויות אחסון ושיקולים
התכונות והשיקולים הבאים יכולים להיות חשובים כשבוחרים אפשרויות מחשוב ואחסון נתונים לאשכולות ולמשימות של Managed Service for Apache Spark:
- HDFS עם Cloud Storage: ב-Managed Service for Apache Spark משתמשים במערכת הקבצים המבוזרת של Hadoop (HDFS) לאחסון. בנוסף, Managed Service for Apache Spark מתקין באופן אוטומטי את המחבר של Cloud Storage שתואם ל-HDFS, ומאפשר להשתמש ב-Cloud Storage במקביל ל-HDFS. אפשר להעביר נתונים אל האשכול וממנו באמצעות העלאה והורדה ל-HDFS או ל-Cloud Storage.
- דיסקים של מכונות וירטואליות:
- כברירת מחדל, כשלא מספקים כונני SSD מקומיים, נתוני HDFS ונתוני ביניים של ערבוב מאוחסנים בדיסקי אתחול של מכונות וירטואליות, שהם Persistent Disks.
- אם משתמשים בכונני SSD מקומיים, נתוני HDFS ונתוני ביניים של ערבוב נשמרים בכונני ה-SSD.
- הגודל והסוג של הדיסק הקבוע (PD) משפיעים על הביצועים ועל גודל ה-VM, בין שמשתמשים ב-HDFS ובין שמשתמשים ב-Cloud Storage לאחסון נתונים.
- דיסקי האתחול של המכונות הווירטואליות נמחקים כשהאשכול נמחק.