כשיוצרים אשכול, מערכת הקבצים שמוגדרת כברירת מחדל היא HDFS. כדי לשנות את ההתנהגות הזו, אפשר להגדיר את defaultFS כקטגוריה של Cloud Storage. כברירת מחדל, Managed Service for Apache Spark יוצר גם קטגוריית אחסון זמני וקטגוריית אחסון ביניים ב-Cloud Storage בפרויקט, או משתמש מחדש בקטגוריות אחסון זמני וקטגוריות אחסון ביניים קיימות שנוצרו על ידי Managed Service for Apache Spark מבקשות קודמות ליצירת אשכולות.
קטגוריית Staging: משמשת להכנת יחסי התלות של משימות באשכול, פלט מנהל ההתקן של המשימה וקובצי התצורה של האשכול. הוא גם מקבל פלט מאיסוף נתוני אבחון של תמונת מצב.
קטגוריה זמנית: משמשת לאחסון נתונים זמניים של אשכולות ומשימות, כמו קובצי היסטוריה של Spark ו-MapReduce. בנוסף, מאחסן נתוני אבחון של נקודות ביקורת שנאספו במהלך מחזור החיים של אשכול.
אם לא תציינו קטגוריית ביניים או קטגוריה זמנית כשאתם יוצרים אשכול, Managed Service for Apache Spark יגדיר מיקום ב-Cloud Storage בארה"ב, באסיה או באיחוד האירופי לקטגוריית הביניים ולקטגוריה הזמנית של האשכול, בהתאם לאזור ב-Compute Engine שבו האשכול פרוס. לאחר מכן הוא ייצור וינהל את הקטגוריות האלה ברמת הפרויקט, לכל מיקום. קטגוריות זמניות וקטגוריות של שלבי ביניים שנוצרו על ידי Managed Service for Apache Spark משותפות בין אשכולות באותו אזור, ונוצרות עם משך זמן של שמירה במחיקה רכה ב-Cloud Storage שמוגדר ל-0 שניות. אם אתם מציינים קטגוריות משלכם להעברה זמנית ולנתונים זמניים, כדאי לשנות את משך השמירה של המחיקה הרכה כדי להפחית את חיובי האחסון שנגרמים בגלל אובייקטים שנמחקו באופן זמני.
הקטגוריה הזמנית מכילה נתונים זמניים, וזמן החיים (TTL) שלה הוא 90 יום. לקטגוריית ה-staging, שיכולה להכיל נתוני הגדרות וקובצי תלות שנדרשים לכמה אשכולות, אין TTL. עם זאת, אתם יכולים להחיל כלל מחזור חיים על קובצי התלות (קבצים עם סיומת ".jar" שנמצאים בתיקיית קטגוריית ה-staging) כדי לתזמן את ההסרה של קובצי התלות כשהאשכולות לא יצטרכו אותם יותר.
יצירת קטגוריות זמניות וקטגוריות של שלבי ביניים משלכם
במקום להסתמך על יצירת קטגוריית אחסון זמנית וקטגוריית אחסון של שלב ביניים כברירת מחדל, אתם יכולים לציין קטגוריות קיימות של Cloud Storage ש-Managed Service for Apache Spark ישתמש בהן כקטגוריית אחסון זמנית וקטגוריית אחסון של שלב ביניים של האשכול.
מסוףCloud de Confiance
כדי לציין או לבחור את קטגוריית ה-Staging של האשכול:
- פותחים את הדף Create cluster.
- לוחצים על הגדרות נוספות כדי להרחיב את הקטע.
- עורכים את ההתאמה האישית והגדרות אחרות.
- בקטע Cloud Storage staging bucket שבחלונית שנפתחת, מציינים קטגוריה.
הערה: אי אפשר לציין קטגוריה זמנית באמצעות מסוף Cloud de Confiance .
CLI של gcloud
מריצים את הפקודה gcloud dataproc clusters create עם הדגלים --bucket ו/או --temp-bucket באופן מקומי בחלון הטרמינל או ב-Cloud Shell כדי לציין את קטגוריית ה-Staging ו/או הקטגוריה הזמנית של האשכול.
gcloud dataproc clusters create cluster-name \ --region=region \ --bucket=bucket-name \ --temp-bucket=bucket-name \ other args ...
API בארכיטקטורת REST
משתמשים בשדות ClusterConfig.configBucket ו-ClusterConfig.tempBucket בבקשה clusters.create כדי לציין את קטגוריות ה-staging והקטגוריות הזמניות של האשכול.
ב-Managed Service for Apache Spark, לקטגוריות של Cloud Storage שמחוברות לאשכולות יש מבנה תיקיות מוגדר, ואפשר לחבר יותר מאשכול אחד לקטגוריה. מבנה התיקיות שמשמש לשמירת הפלט של מנהל ההתקן של המשימה ב-Cloud Storage הוא:
cloud-storage-bucket-name
- google-cloud-dataproc-metainfo
- list of cluster IDs
- list of job IDs
- list of output logs for a job
כדי להציג את השמות של קטגוריות ה-Staging והקטגוריות הזמניות של האשכול, אתם יכולים להשתמש בכלי שורת הפקודה gcloud, ב-Dataproc API או במסוףCloud de Confiance .
מסוףCloud de Confiance
- אפשר לראות את פרטי האשכול, כולל השם של קטגוריית ה-staging של האשכול, בדף Clusters במסוף Cloud de Confiance .
- בדף Cloud Storage Browser במסוף Cloud de Confiance , מסננים את התוצאות שמכילות את המחרוזת "dataproc-temp-".
CLI של gcloud
מריצים את הפקודה gcloud dataproc clusters describe באופן מקומי בחלון הטרמינל או ב-Cloud Shell.
הקטגוריות הזמניות והקטגוריות של ה-staging שמשויכות לאשכול מופיעות בפלט.
gcloud dataproc clusters describe cluster-name \
--region=region \
...
clusterName: cluster-name
clusterUuid: daa40b3f-5ff5-4e89-9bf1-bcbfec ...
config:
configBucket: dataproc-...
...
tempBucket: dataproc-temp...
API בארכיטקטורת REST
מפעילים את clusters.get כדי להציג את פרטי האשכול, כולל השמות של קטגוריות ה-Staging והקטגוריות הזמניות של האשכול.
{
"projectId": "vigilant-sunup-163401",
"clusterName": "cluster-name",
"config": {
"configBucket": "dataproc-...",
...
"tempBucket": "dataproc-temp-...",
}
defaultFS
אפשר להגדיר את core:fs.defaultFS למיקום של קטגוריה ב-Cloud Storage (gs://defaultFS-bucket-name) כדי להגדיר את Cloud Storage כמערכת הקבצים שמוגדרת כברירת מחדל. הפעולה הזו גם מגדירה את core:fs.gs.reported.permissions, ההרשאה המדווחת שמוחזרת על ידי חיבור ל-Cloud Storage לכל הקבצים, לערך 777.
אם Cloud Storage לא מוגדר כמערכת הקבצים שמוגדרת כברירת מחדל, המערכת תשתמש ב-HDFS, והמאפיין core:fs.gs.reported.permissions יחזיר את ערך ברירת המחדל 700.
gcloud dataproc clusters create cluster-name \ --properties=core:fs.defaultFS=gs://defaultFS-bucket-name \ --region=region \ --bucket=staging-bucket-name \ --temp-bucket=temp-bucket-name \ other args ...