גרסאות Image של Managed Service for Apache Spark מריצות את השירותים הבאים בצומתי אשכולות.
כל הצמתים
השירותים הבאים פועלים בכל הצמתים באשכול.
| סוג הצומת | שירות | גרסאות תמונה | תיאור |
|---|---|---|---|
| כל הצמתים | google-dataproc-agent | all | מקבל משימות מ-Managed Service for Apache Spark ומפעיל מנהלי התקנים של משימות |
| google-fluentd | all | אוסף יומנים ושולח אותם ל-Logging |
אשכולות רגילים
השירותים הבאים פועלים באשכולות רגילים.
| סוג הצומת | שירות | גרסאות תמונה | תיאור |
|---|---|---|---|
| מאסטר | hadoop-hdfs-namenode | all | ניהול מערכת הקבצים של HDFS |
| hadoop-hdfs-secondarynamenode | all | נקודות ביקורת של NameNode | |
| hadoop-mapreduce-historyserver | all | מציג מידע על היסטוריית האפליקציה של mapreduce | |
| hadoop-yarn-resourcemanager | all | מתזמן ומנהל אפליקציות YARN | |
| hadoop-yarn-timelineserver | 1.3 ומעלה | מציג מידע על היסטוריית האפליקציות של YARN | |
| hive-metastore | all | ניהול המטא-נתונים של טבלאות Hive. כברירת מחדל, משתמש במסד הנתונים המקומי mariadb (גרסאות תמונה < 1.5) או mysql (גרסאות תמונה 1.5+) בצומת הראשי כמאגר המטא-נתונים של טבלת Hive.
לא מומלץ להשתמש במסד הנתונים שמוגדר כברירת מחדל, כי מסדי הנתונים האלה קשורים למחזור החיים של האשכול. במקום זאת, השתמשו באחת מהאפשרויות הבאות כמסד הנתונים של המטא-חנות של Hive (לפי סדר ההמלצה):
|
|
| hive-server2 | all | משרת שאילתות שמתקבלות מלקוחות (בעיקר שאילתות מעטפת של Beeline) מול Hive | |
| mariadb | < 1.5 | מסד נתונים רלציוני שמשמש כברירת המחדל של מסד הנתונים הבסיסי ל-Hive metastore בתמונות של Managed Service for Apache Spark בגרסה < 1.5 | |
| mysql | 1.5 ומעלה | מסד נתונים רלציוני שמשמש כברירת המחדל של מסד הנתונים הבסיסי ל-Hive metastore בתמונות של Managed Service for Apache Spark בגרסה 1.5 ומעלה | |
| nfs-kernel-server | < 1.3 | NFS היא מערכת קובצי רשת. | |
| spark-history-server | all | מציג מידע על היסטוריית האפליקציות של Spark | |
| כל העובדים | hadoop-yarn-nodemanager | all | מפעיל ומנהל קונטיינרים של YARN |
| רק Primary Workers | hadoop-hdfs-datanode | all | אחסון בלוקים של HDFS |
אשכולות HA
באשכולות של זמינות גבוהה (HA) ב-Managed Service for Apache Spark, שירותים שונים פועלים בצומתי מאסטר שונים, כמו שמוצג בהמשך. השירותים של צומת העובד באשכול HA זהים לאלה שמפורטים באשכולות רגילים.
| סוג הצומת | שירות | גרסאות תמונה | תיאור |
|---|---|---|---|
| כל המאסטרים | hadoop-hdfs-journalnode | all | קוורום של צומתי יומן מנהל יומן עריכה של שינויים במרחב השמות של HDFS. אם מתרחש מעבר לגיבוי בעת כשל, ה-Standby NameNode קורא את יומן העריכה ומקבל את השליטה מה-Active NameNode. |
| hadoop-yarn-resourcemanager | all | מתזמן ומנהל אפליקציות YARN | |
| hive-metastore | all | ניהול המטא-נתונים של טבלאות Hive. כברירת מחדל, משתמש במסד הנתונים המקומי mariadb (גרסאות תמונה < 1.5) או mysql (גרסאות תמונה 1.5+) בצומת הראשי כמאגר המטא-נתונים של טבלת Hive.
לא מומלץ להשתמש במסד הנתונים שמוגדר כברירת מחדל, כי מסדי הנתונים האלה קשורים למחזור החיים של האשכול. במקום זאת, השתמשו באחת מהאפשרויות הבאות כמסד הנתונים של המטא-חנות של Hive (לפי סדר ההמלצה):
|
|
| hive-server2 | all | משרת שאילתות שמתקבלות מלקוחות (בעיקר שאילתות מעטפת של Beeline) מול Hive | |
| zookeeper-server | all | קוורום של ZooKeeper משמש לתיאום מבוזר. באשכולות של זמינות גבוהה (HA), הוא משמש לבחירת מנהיג של HDFS NameNodes ומנהלי משאבים של YARN. | |
| רק מאסטר 0 ו-1 | hadoop-hdfs-namenode | all | ניהול מערכת הקבצים של HDFS |
| hadoop-hdfs-zkfc | all | ZKFC הוא התהליך של ZKFailoverController, שפועל עם NameNode של HDFS. הוא עוקב אחרי התקינות של NameNode ומנהל את בחירת ה-leader באמצעות ZooKeeper במקרה של יתירות כשל. |
|
| רק מאסטר 0 | hadoop-mapreduce-historyserver | all | מציג מידע על היסטוריית האפליקציה של mapreduce |
| hadoop-yarn-timelineserver | 1.3 ומעלה | מציג מידע על היסטוריית האפליקציות של YARN | |
| mariadb | < 1.5 | מסד נתונים רלציוני שמשמש כברירת המחדל של מסד הנתונים הבסיסי ל-Hive metastore בתמונות של Managed Service for Apache Spark בגרסה < 1.5 | |
| mysql | 1.5 ומעלה | מסד נתונים רלציוני שמשמש כברירת המחדל של מסד הנתונים הבסיסי ל-Hive metastore בתמונות של Managed Service for Apache Spark בגרסה 1.5 ומעלה | |
| nfs-kernel-server | < 1.3 | NFS היא מערכת קובצי רשת. | |
| spark-history-server | all | מציג מידע על היסטוריית האפליקציות של Spark |