אחסון נתונים ב-Hadoop

ב-Managed Service for Apache Spark אתם יכולים לאחסן ולעבד נתונים של עומסי עבודה באמצעות מערכת הקבצים המבוזרת של Hadoop‏ (HDFS) ו-Cloud Storage במקביל. בעזרת החיבור ל-Cloud Storage שמותקן מראש, אתם יכולים להעביר נתונים אל האשכולות ומחוצה להם, תוך התאמה של אחסון הדיסק הבסיסי של ה-VM לדרישות הביצועים של המשימה.

אפשרויות אחסון ושיקולים

התכונות והשיקולים הבאים יכולים להיות חשובים כשבוחרים אפשרויות מחשוב ואחסון נתונים לאשכולות ולמשימות של Managed Service for Apache Spark:

  • ‫HDFS עם Cloud Storage: ב-Managed Service for Apache Spark משתמשים במערכת הקבצים המבוזרת של Hadoop‏ (HDFS) לאחסון. בנוסף, Managed Service for Apache Spark מתקין באופן אוטומטי את המחבר של Cloud Storage שתואם ל-HDFS, ומאפשר להשתמש ב-Cloud Storage במקביל ל-HDFS. אפשר להעביר נתונים אל האשכול וממנו באמצעות העלאה והורדה ל-HDFS או ל-Cloud Storage.
  • דיסקים של מכונות וירטואליות:
    • כברירת מחדל, כשלא מספקים כונני SSD מקומיים, נתוני HDFS ונתוני ביניים של ערבוב מאוחסנים בדיסקי אתחול של מכונות וירטואליות, שהם Persistent Disks.
    • אם משתמשים בכונני SSD מקומיים, נתוני HDFS ונתוני ביניים של ערבוב נשמרים בכונני ה-SSD.
    • הגודל והסוג של הדיסק הקבוע (PD) משפיעים על הביצועים ועל גודל ה-VM, בין שמשתמשים ב-HDFS ובין שמשתמשים ב-Cloud Storage לאחסון נתונים.
    • דיסקי האתחול של המכונות הווירטואליות נמחקים כשהאשכול נמחק.