יצירת אשכול ב-Managed Service for Apache Spark
דרישות:
שם: שם האשכול חייב להתחיל באות קטנה, ואחריה עד 51 אותיות קטנות, מספרים ומקפים. הוא לא יכול להסתיים במקף.
אזור האשכול: צריך לציין אזור של Compute Engine לאשכול, כמו
us-east1אוeurope-west1, כדי לבודד את משאבי האשכול, כמו מכונות וירטואליות ומטא-נתונים של האשכול שמאוחסנים ב-Cloud Storage, בתוך האזור.- למידע נוסף על אזורים ב-Compute Engine, ראו אזור האשכול.
- במאמר אזורים ותחומים זמינים מוסבר איך לבחור אזור. אפשר גם להריץ את הפקודה
gcloud compute regions listכדי להציג רשימה של האזורים הזמינים.
קישוריות: מכונות וירטואליות (VM) של Compute Engine באשכול של Managed Service for Apache Spark, שמורכב ממכונות VM של מאסטר ושל worker VM, דורשות קישוריות מלאה של רשתות IP פנימיות. רשת ה-VPC של
defaultמספקת את הקישוריות הזו (ראו הגדרת הרשת של אשכול Managed Service for Apache Spark).
המסוף
פותחים את הדף Create a cluster של Managed Service for Apache Spark במסוף Cloud de Confiance בדפדפן, ואז לוחצים על Create בשורה Compute engine של האשכול בדף Create a Dataproc cluster on Compute Engine. החלונית Set up cluster נבחרת והשדות מתמלאים בערכי ברירת מחדל. אתם יכולים לבחור כל חלונית ולאשר או לשנות את ערכי ברירת המחדל כדי להתאים אישית את האשכול.
לוחצים על Create כדי ליצור את האשכול. שם האשכול מופיע בדף Clusters, והסטטוס שלו מתעדכן ל-Running אחרי שהאשכול מוקצה. לוחצים על שם האשכול כדי לפתוח את דף הפרטים של האשכול, שבו אפשר לבדוק את המשימות, המכונות והגדרות התצורה של האשכול, ולהתחבר לממשקי אינטרנט שפועלים באשכול.
gcloud
כדי ליצור אשכול Managed Service for Apache Spark בשורת הפקודה, מריצים את הפקודה gcloud dataproc clusters create באופן מקומי בחלון הטרמינל או ב-Cloud Shell.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION
הפקודה יוצרת אשכול עם הגדרות ברירת המחדל של Managed Service for Apache Spark למכונות הווירטואליות של המאסטר וה-worker, לגודל ולסוג הדיסק, לסוג הרשת, לאזור ולתחום שבהם האשכול נפרס ולהגדרות אחרות של האשכול. בפקודה gcloud dataproc clusters create מוסבר איך להשתמש בהגדרות flag בשורת הפקודה כדי להתאים אישית את הגדרות האשכול.
יצירת אשכול באמצעות קובץ YAML
- מריצים את הפקודה הבאה של
gcloudכדי לייצא את ההגדרות של אשכול Managed Service for Apache Spark קיים לקובץcluster.yaml.gcloud dataproc clusters export EXISTING_CLUSTER_NAME \ --region=REGION \ --destination=cluster.yaml
- יוצרים אשכול חדש על ידי ייבוא ההגדרות של קובץ ה-YAML.
gcloud dataproc clusters import NEW_CLUSTER_NAME \ --region=REGION \ --source=cluster.yaml
הערה: במהלך פעולת הייצוא, המערכת מסננת שדות ספציפיים לאשכול, כמו שם האשכול, שדות פלט בלבד ותוויות שנוספו באופן אוטומטי. אסור להשתמש בשדות האלה בקובץ ה-YAML המיובא שמשמש ליצירת אשכול.
REST
בקטע הזה מוסבר איך ליצור אשכול עם ערכי חובה והגדרות ברירת המחדל (מאסטר אחד, 2 וורקרים).
לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:
- CLUSTER_NAME: שם האשכול
- PROJECT: מזהה הפרויקט ב- Cloud de Confiance by S3NS
- REGION: אזור זמין ב-Compute Engine שבו ייווצר האשכול.
- ZONE: אזור אופציונלי בתוך האזור שנבחר שבו ייווצר האשכול.
- MASTER_MACHINE_TYPE: (מומלץ) סוג המכונה של צומת המאסטר (לדוגמה,
n4-standard-4). - WORKER_MACHINE_TYPE: (מומלץ) סוג המכונה של צומתי העובדים (לדוגמה,
n4-standard-4).
ה-method של ה-HTTP וכתובת ה-URL:
POST https://dataproc.googleapis.com/v1/projects/PROJECT/regions/REGION/clusters
תוכן בקשת JSON:
{
"project_id":"PROJECT",
"cluster_name":"CLUSTER_NAME",
"config":{
"master_config":{
"num_instances":1,
"machine_type_uri":"MASTER_MACHINE_TYPE",
"image_uri":""
},
"softwareConfig": {
"imageVersion": "",
"properties": {},
"optionalComponents": []
},
"worker_config":{
"num_instances":2,
"machine_type_uri":"WORKER_MACHINE_TYPE",
"image_uri":""
},
"gce_cluster_config":{
"zone_uri":"ZONE"
}
}
}
כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:
אתם אמורים לקבל תגובת JSON שדומה לזו:
{
"name": "projects/PROJECT/regions/REGION/operations/b5706e31......",
"metadata": {
"@type": "type.googleapis.com/google.cloud.dataproc.v1.ClusterOperationMetadata",
"clusterName": "CLUSTER_NAME",
"clusterUuid": "5fe882b2-...",
"status": {
"state": "PENDING",
"innerState": "PENDING",
"stateStartTime": "2019-11-21T00:37:56.220Z"
},
"operationType": "CREATE",
"description": "Create cluster with 2 workers",
"warnings": [
"For PD-Standard without local SSDs, we strongly recommend provisioning 1TB ...""
]
}
}
Go
- מתקינים את ספריית הלקוח.
- הגדרת Application Default Credentials
- מריצים את הקוד.
Java
- מתקינים את ספריית הלקוח.
- הגדרת Application Default Credentials
- מריצים את הקוד.
Node.js
- מתקינים את ספריית הלקוח.
- הגדרת Application Default Credentials
- מריצים את הקוד.
Python
- מתקינים את ספריית הלקוח.
- הגדרת Application Default Credentials
- מריצים את הקוד.