צירוף דיסקים מסוג Hyperdisk למכונות וירטואליות של Managed Service for Apache Spark

בדף הזה מוסבר איך לחבר דיסקים מסוג Hyperdisk למכונות וירטואליות (VM) באשכול של Managed Service for Apache Spark. אפשר להגדיר את הדיסקים בנפרד לקבוצות של צומתי מאסטר, צומתי עובדים ראשיים וצומתי עובדים משניים. הדיסקים האלה מחוברים לצומתי האשכול בנוסף לדיסק האתחול ולכל כונני SSD מקומיים שמחוברים לצומתי האשכול.

לפני שמתחילים

  1. In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Verify that you have the permissions required to complete this guide.

  3. Verify that billing is enabled for your Cloud de Confiance project.

  4. Enable the Managed Service for Apache Spark API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

התפקידים הנדרשים

כדי להריץ את הדוגמאות שבדף הזה, צריך תפקידים מסוימים ב-IAM. יכול להיות שהתפקידים האלה כבר הוקצו בהתאם למדיניות הארגון. כדי לבדוק את התפקידים שהוקצו, קראו את המאמר האם צריך להקצות תפקידים?.

כדי לקרוא הסבר על מתן תפקידים, קראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

תפקידי משתמשים

כדי לקבל את ההרשאות שדרושות ליצירת אשכול Managed Service for Apache Spark, בקשו מהאדמין להקצות לכם את התפקידים הבאים ב-IAM:

תפקיד של חשבון שירות

כדי לוודא שלחשבון השירות שמשמש כברירת מחדל ב-Compute Engine יש את ההרשאות שנדרשות ליצירת אשכול Managed Service for Apache Spark, צריך לבקש מהאדמין לתת לחשבון השירות שמשמש כברירת מחדל ב-Compute Engine את התפקיד Dataproc Worker ‏(roles/dataproc.worker) ב-IAM בפרויקט.

מאפייני הדיסק

לדיסקים מצורפים יש את המאפיינים הבאים:

  • מחזור חיים: משך החיים של דיסק מצורף תואם למשך החיים של ה-VM שאליו הוא מצורף. הדיסק נוצר על ידי Managed Service for Apache Spark כשהוא יוצר את ה-VM, ונמחק כשהוא מוחק את ה-VM.
  • חוסר יכולת לשנות: אי אפשר לעדכן את המאפיינים של דיסק מצורף, כמו גודל, IOPS או קצב העברת נתונים, אחרי שהאשכול נוצר.
  • טעינה ושימוש: השירות Managed Service for Apache Spark טוען דיסקים ב-/mnt/N, כאשר N הוא מספר שלם חיובי (לדוגמה, /mnt/1, /mnt/2). נתוני HDFS ונתונים זמניים, כמו פלט של מיון נתונים (shuffle), משתמשים בדיסקים המצורפים במקום בדיסק אחסון מתמיד (persistent disk) של האתחול.

הגדרת הדיסק

כשמצרפים דיסקים לצומתי אשכולות של Managed Service for Apache Spark, אפשר לציין את הפרמטרים הבאים של הגדרת הדיסק:

חיבור דיסקים לאשכול

אפשר לצרף דיסקים כשיוצרים אשכול של Managed Service for Apache Spark באמצעות ה-CLI של gcloud או Dataproc API כדי לציין את הגדרות הדיסק.

‫CLI של gcloud

  • כדי לצרף דיסקים כשיוצרים אשכול, משתמשים בדגל --master-attached-disks, --worker-attached-disks או --secondary-worker-attached-disks עם הפקודה gcloud dataproc clusters create.

  • כל דגל מקבל רשימה של הגדרות דיסק שמופרדות באמצעות נקודה-פסיק. כל הגדרת דיסק היא רשימה מופרדת בפסיקים של צמדי מפתח/ערך של type,‏ size,‏ iops ו-throughput (ראו הגדרת דיסק).

דוגמה: הפקודה הבאה יוצרת אשכול ומצרפת שני דיסקים מסוג Hyperdisk לכל צומת של primary worker.

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --worker-attached-disks='type=hyperdisk-balanced,size=100GB,iops=5000,throughput=200;type=hyperdisk-throughput,size=9000GB'

API

  • כדי לצרף דיסקים, צריך לכלול מערך attachedDiskConfigs באובייקט diskConfig של קבוצת המכונות masterConfig,‏ workerConfig או secondaryWorkerConfig.

  • מזינים את ההגדרות בגוף של בקשת API מסוג clusters.create.

דוגמה: קטע ה-JSON הבא מציג מערך attachedDiskConfigs שמצרף שני דיסקים מסוג Hyperdisk.

[
  {
    "type": "hyperdisk-balanced",
    "diskSizeGb": 100,
    "provisionedIops": 5000,
    "provisionedThroughput": 200
  },
  {
    "type": "hyperdisk-throughput",
    "diskSizeGb": 9000
  }
]