בדף הזה מוסבר איך לחבר דיסקים מסוג Hyperdisk למכונות וירטואליות (VM) באשכול של Managed Service for Apache Spark. אפשר להגדיר את הדיסקים בנפרד לקבוצות של צומתי מאסטר, צומתי עובדים ראשיים וצומתי עובדים משניים. הדיסקים האלה מחוברים לצומתי האשכול בנוסף לדיסק האתחול ולכל כונני SSD מקומיים שמחוברים לצומתי האשכול.
לפני שמתחילים
-
In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that you have the permissions required to complete this guide.
-
Verify that billing is enabled for your Cloud de Confiance project.
Enable the Managed Service for Apache Spark API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.
התפקידים הנדרשים
כדי להריץ את הדוגמאות שבדף הזה, צריך תפקידים מסוימים ב-IAM. יכול להיות שהתפקידים האלה כבר הוקצו בהתאם למדיניות הארגון. כדי לבדוק את התפקידים שהוקצו, קראו את המאמר האם צריך להקצות תפקידים?.
כדי לקרוא הסבר על מתן תפקידים, קראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
תפקידי משתמשים
כדי לקבל את ההרשאות שדרושות ליצירת אשכול Managed Service for Apache Spark, בקשו מהאדמין להקצות לכם את התפקידים הבאים ב-IAM:
- עריכת Dataproc (
roles/dataproc.editor) בפרויקט - משתמש בחשבון שירות (
roles/iam.serviceAccountUser) בחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine
תפקיד של חשבון שירות
כדי לוודא שלחשבון השירות שמשמש כברירת מחדל ב-Compute Engine יש את ההרשאות שנדרשות ליצירת אשכול Managed Service for Apache Spark, צריך לבקש מהאדמין לתת לחשבון השירות שמשמש כברירת מחדל ב-Compute Engine את התפקיד Dataproc Worker (roles/dataproc.worker) ב-IAM בפרויקט.
מאפייני הדיסק
לדיסקים מצורפים יש את המאפיינים הבאים:
- מחזור חיים: משך החיים של דיסק מצורף תואם למשך החיים של ה-VM שאליו הוא מצורף. הדיסק נוצר על ידי Managed Service for Apache Spark כשהוא יוצר את ה-VM, ונמחק כשהוא מוחק את ה-VM.
- חוסר יכולת לשנות: אי אפשר לעדכן את המאפיינים של דיסק מצורף, כמו גודל, IOPS או קצב העברת נתונים, אחרי שהאשכול נוצר.
- טעינה ושימוש: השירות Managed Service for Apache Spark טוען דיסקים ב-
/mnt/N, כאשרNהוא מספר שלם חיובי (לדוגמה,/mnt/1,/mnt/2). נתוני HDFS ונתונים זמניים, כמו פלט של מיון נתונים (shuffle), משתמשים בדיסקים המצורפים במקום בדיסק אחסון מתמיד (persistent disk) של האתחול.
הגדרת הדיסק
כשמצרפים דיסקים לצומתי אשכולות של Managed Service for Apache Spark, אפשר לציין את הפרמטרים הבאים של הגדרת הדיסק:
Disk type – חובה: סוג הדיסק שמחובר למכונות הווירטואליות. אפשר להשתמש ב-Hyperdisks הבאים:
hyperdisk-balancedhyperdisk-extremehyperdisk-mlhyperdisk-throughput
אי אפשר לצרף לצומתי אשכולות דיסקים מסוג
hyperdisk balanced high availabilityודיסקים קבועים.גודל – אופציונלי: גודל הדיסק. הערך חייב להיות מספר שלם ואחריו
GBלג'יגה-בייט אוTBלטרה-בייט. לדוגמה, הפקודה10GBמצרפת דיסק בנפח 10GB. מידע נוסף זמין במאמר מגבלות הגודל של Hyperdisk.IOPs – אופציונלי: מציין את ה-IOPS שצריך להקצות לדיסק המצורף. הפרמטר הזה מגדיר את המגבלה של פעולות קלט/פלט בדיסק לשנייה. מידע נוסף זמין במאמר רמות ביצועים שמוגדרות כברירת מחדל.
Throughput – אופציונלי: מציין את קצב העברת הנתונים שיוקצה לדיסק המצורף. הפרמטר הזה מגדיר את מגבלת התפוקה ב-
MiBלשנייה. מידע נוסף זמין במאמר רמות ביצועים שמוגדרות כברירת מחדל.
חיבור דיסקים לאשכול
אפשר לצרף דיסקים כשיוצרים אשכול של Managed Service for Apache Spark באמצעות ה-CLI של gcloud או Dataproc API כדי לציין את הגדרות הדיסק.
CLI של gcloud
כדי לצרף דיסקים כשיוצרים אשכול, משתמשים בדגל
--master-attached-disks,--worker-attached-disksאו--secondary-worker-attached-disksעם הפקודהgcloud dataproc clusters create.כל דגל מקבל רשימה של הגדרות דיסק שמופרדות באמצעות נקודה-פסיק. כל הגדרת דיסק היא רשימה מופרדת בפסיקים של צמדי מפתח/ערך של
type,size,iopsו-throughput(ראו הגדרת דיסק).
דוגמה: הפקודה הבאה יוצרת אשכול ומצרפת שני דיסקים מסוג Hyperdisk לכל צומת של primary worker.
gcloud dataproc clusters create CLUSTER_NAME \
--region=REGION \
--worker-attached-disks='type=hyperdisk-balanced,size=100GB,iops=5000,throughput=200;type=hyperdisk-throughput,size=9000GB'
API
כדי לצרף דיסקים, צריך לכלול מערך
attachedDiskConfigsבאובייקטdiskConfigשל קבוצת המכונותmasterConfig,workerConfigאוsecondaryWorkerConfig.מזינים את ההגדרות בגוף של בקשת API מסוג
clusters.create.
דוגמה: קטע ה-JSON הבא מציג מערך attachedDiskConfigs שמצרף שני דיסקים מסוג Hyperdisk.
[
{
"type": "hyperdisk-balanced",
"diskSizeGb": 100,
"provisionedIops": 5000,
"provisionedThroughput": 200
},
{
"type": "hyperdisk-throughput",
"diskSizeGb": 9000
}
]