המדריך הזה כולל הדרכה מפורטת ב-Cloud Shell שבה משתמשים בספריות הלקוח של Google Cloud ל-Python כדי לשלוח קריאה פרוגרמטית ל-Managed Service for Apache Spark gRPC APIs, ליצור אשכול ולשלוח אליו משימה.
בקטעים הבאים מוסבר איך פועל הקוד של המדריך, שנמצא במאגר GoogleCloudPlatform/python-dataproc ב-GitHub.
הרצת המדריך של Cloud Shell
לוחצים על Open in Cloud Shell כדי להריץ את ההדרכה המפורטת.
הבנת הקוד
בקטע הזה מוסבר איך הקוד של המדריך משתמש בספריות הלקוח של Cloud ל-Python כדי לבצע אימות ב- Cloud de Confiance, ליצור אשכול, לשלוח משימת Spark ולמחוק את האשכול.
Application Default Credentials
המדריך המפורט של Cloud Shell במאמר הזה מספק אימות באמצעות פרטי הכניסה לפרויקט ב- Cloud de Confiance . כשמריצים קוד באופן מקומי, מומלץ להשתמש בפרטי כניסה לחשבון שירות כדי לאמת את הקוד.
יצירת אשכול ב-Managed Service for Apache Spark
הערכים הבאים מוגדרים כדי ליצור את האשכול:
- הפרויקט שבו ייווצר האשכול
- האזור שבו ייווצר האשכול
- שם האשכול
- הגדרת האשכול, שמציינת מאסטר אחד ושני primary workers
הגדרות ברירת המחדל של התצורה משמשות להגדרות האשכול שנותרו. אתם יכולים לשנות את הגדרות ברירת המחדל של האשכול. לדוגמה, אפשר להוסיף מכונות וירטואליות משניות (ברירת המחדל = 0) או לציין רשת VPC שאינה ברירת המחדל לאשכול. מידע נוסף זמין במאמר CreateCluster.
שליחת משימה
הערכים הבאים מוגדרים לשליחת המשימה:
- הפרויקט שבו ייווצר האשכול
- האזור שבו ייווצר האשכול
- הגדרת המשימה, שמציינת את שם האשכול ואת נתיב הקובץ (URI) של משימת PySpark ב-Cloud Storage
מידע נוסף זמין במאמר SubmitJob.
מחיקת האשכול
הערכים הבאים מוגדרים למחיקת האשכול:
- הפרויקט שבו ייווצר האשכול
- האזור שבו ייווצר האשכול
- שם האשכול
מידע נוסף זמין במאמר DeleteCluster.