מעקב אחרי אשכולות ומשימות של Managed Service for Apache Spark

במאמר הזה נסביר על כלים ושיטות שבהם אתם יכולים להשתמש כדי לעקוב אחרי התקינות והביצועים של אשכולות ומשימות ב-Managed Spark.

ממשקי אינטרנט בקוד פתוח

להרבה רכיבי קוד פתוח של אשכולות Managed Service for Apache Spark, כמו Apache Hadoop ו-Apache Spark, יש ממשקי אינטרנט. אפשר להשתמש בממשקים האלה כדי לעקוב אחרי משאבי האשכול וביצועי המשימות. לדוגמה, אתם יכולים להשתמש בממשק המשתמש של YARN Resource Manager כדי לראות את הקצאת המשאבים של אפליקציית YARN באשכול Managed Service for Apache Spark.

שרת היסטוריה קבוע

ממשקי אינטרנט בקוד פתוח שפועלים באשכול זמינים כשהאשכול פועל, אבל הם מסתיימים כשמוחקים את האשכול. כדי לראות את נתוני האשכול והמשימה אחרי שהאשכול נמחק, אפשר ליצור שרת היסטוריה קבוע (PHS).

דוגמה: נתקלתם בשגיאה או בהאטה במשימה ואתם רוצים לנתח אותה. אתם עוצרים או מוחקים את אשכול המשימות, ואז צופים בנתוני ההיסטוריה של המשימות ומנתחים אותם באמצעות ה-PHS.

אחרי שיוצרים PHS, מפעילים אותו באשכול של Managed Service for Apache Spark או בעומס עבודה באצווה של Managed Service for Apache Spark כשיוצרים את האשכול או שולחים את עומס העבודה באצווה. שרת PHS יכול לגשת לנתוני ההיסטוריה של משימות שפועלות בכמה אשכולות, וכך מאפשר לכם לעקוב אחרי משימות בפרויקט במקום לעקוב אחרי ממשקי משתמש נפרדים שפועלים באשכולות שונים.

יומנים של Managed Service for Apache Spark

‫Managed Service for Apache Spark אוסף את היומנים שנוצרו על ידי Apache Hadoop, ‏Spark, ‏Hive, ‏ZooKeeper ומערכות אחרות בקוד פתוח שפועלות באשכולות, ושולח אותם ל-Logging. היומנים האלה מקובצים לפי מקור היומנים, כך שאתם יכולים לבחור ולהציג את היומנים שמעניינים אתכם: לדוגמה, יומני YARN NodeManager ו-Spark Executor שנוצרו באשכול מסומנים בתוויות בנפרד. במאמר יומנים של Managed Service for Apache Spark מוסבר בהרחבה על התוכן והאפשרויות של היומנים של Managed Service for Apache Spark.

Cloud Logging

כלי רישום ביומן הוא מערכת מנוהלת לחלוטין לניהול יומנים בזמן אמת. הוא מספק אחסון ליומנים שנאספו משירותי Cloud de Confiance וכלים לחיפוש, סינון וניתוח של יומנים בקנה מידה נרחב. אשכולות של Managed Service for Apache Spark יוצרים כמה יומנים, כולל יומנים של סוכן השירות של Managed Service for Apache Spark, יומני הפעלה של אשכולות ויומני רכיבי OSS, כמו יומני NodeManager של YARN.

כברירת מחדל, הרישום ביומן מופעל באשכולות של Managed Service for Apache Spark ובעומסי עבודה באצווה של Managed Service for Apache Spark. היומנים מיוצאים מדי פעם ל-Logging, שם הם נשמרים אחרי מחיקת האשכול או אחרי שהעומס על המערכת מסתיים.

מדדים של Managed Service for Apache Spark

מדדי אשכולות ומשימות של Managed Service for Apache Spark, עם הקידומת dataproc.googleapis.com/, מורכבים מנתוני סדרת זמנים שמספקים תובנות לגבי ביצועי האשכול, כמו ניצול המעבד (CPU) או סטטוס המשימה. מדדים בהתאמה אישית של Managed Service for Apache Spark, עם הקידומת custom.googleapis.com/, כוללים מדדים שנוצרו על ידי מערכות קוד פתוח שפועלות באשכול, כמו המדד running applications של YARN. התובנות מהמדדים של Managed Service for Apache Spark יכולות לעזור לכם להגדיר את האשכולות בצורה יעילה. הגדרת התראות שמבוססות על מדדים יכולה לעזור לכם לזהות בעיות ולהגיב להן במהירות.

כברירת מחדל, המדדים של האשכולות והמשימות של Managed Service for Apache Spark נאספים ללא תשלום. איסוף המדדים המותאמים אישית מחויב ללקוחות. אפשר להפעיל את האיסוף של מדדים בהתאמה אישית כשיוצרים אשכול. איסוף מדדי Spark ב-Managed Service for Apache Spark מופעל כברירת מחדל בעומסי עבודה באצווה של Spark.

Cloud Monitoring

ב-Monitoring נעשה שימוש במטא-נתונים ובמדדים של האשכול, כולל מדדים של HDFS,‏ YARN, משימות ופעולות, כדי לספק תובנות לגבי התקינות, הביצועים והזמינות של אשכולות ומשימות ב-Managed Service for Apache Spark. אתם יכולים להשתמש ב-Monitoring כדי לחקור מדדים, להוסיף תרשימים, ליצור לוחות בקרה וליצור התראות.

Metrics Explorer

אתם יכולים להשתמש ב-Metrics Explorer כדי לראות את המדדים של Managed Service for Apache Spark. המדדים של האשכול, המשימה והאצווה של Managed Service for Apache Spark מופיעים במשאבים Cloud Managed Service for Apache Spark Cluster,‏ Cloud Managed Service for Apache Spark Job ו-Cloud Managed Service for Apache Spark Batch. המדדים המותאמים אישית של Managed Service for Apache Spark מופיעים בקטגוריה Custom של המשאב VM Instances.

תרשימים

אתם יכולים להשתמש ב-Metrics Explorer כדי ליצור תרשימים שממחישים את המדדים של Managed Service for Apache Spark.

דוגמה: אתם יוצרים תרשים כדי לראות את מספר אפליקציות ה-Yarn הפעילות שפועלות באשכולות, ואז מוסיפים מסנן כדי לבחור מדדים חזותיים לפי שם האשכול או האזור.

מרכזי שליטה

אתם יכולים ליצור מרכזי בקרה כדי לעקוב אחרי אשכולות ומשימות של Managed Service for Apache Spark באמצעות מדדים מכמה פרויקטים וממוצרים שונים של Cloud de Confiance . אפשר ליצור מרכזי בקרה במסוף Cloud de Confiance מהדף Dashboards Overview, על ידי לחיצה, יצירה ושמירה של תרשים מהדף Metrics Explorer.

התראות

אתם יכולים ליצור התראות על מדדים של Managed Service for Apache Spark כדי לקבל התראות בזמן על בעיות באשכולות או במשימות.

המאמרים הבאים