בדף הזה מוסבר על שגיאות מחסור בזיכרון (OOM) ב-Managed Service for Apache Spark במכונות וירטואליות של Compute Engine, ואיך לפתור אותן.
ההשפעות של שגיאות OOM
כשבמכונות הווירטואליות של Managed Service for Apache Spark מתרחשות שגיאות של מחסור בזיכרון (OOM), ההשפעות כוללות את התנאים הבאים:
המכונות הווירטואליות של המאסטר וה-worker קופאות לפרק זמן מסוים.
שגיאות OOM במכונות וירטואליות של מאסטר גורמות למשימות להיכשל עם השגיאה "המשימה לא נרכשה".
שגיאות OOM ב-worker VM גורמות לאובדן הצומת ב-YARN HDFS, מה שמעכב את ביצוע המשימה ב-Managed Service for Apache Spark.
פקדי זיכרון של YARN
ב-Apache YARN יש את הסוגים הבאים של אמצעי בקרה על הזיכרון:
- מבוסס-סקרים (מדור קודם)
- מחמיר
- אלסטי
כברירת מחדל, ב-Managed Service for Apache Spark לא מוגדר yarn.nodemanager.resource.memory.enabled כדי להפעיל את אמצעי הבקרה על הזיכרון של YARN, מהסיבות הבאות:
- אם גודלי הקונטיינרים לא מוגדרים בצורה נכונה, בקרה קפדנית על הזיכרון עלולה לגרום לסיום הקונטיינרים כשיש מספיק זיכרון.
- דרישות של בקרת זיכרון גמיש יכולות להשפיע לרעה על ביצוע המשימות.
- יכול להיות שאמצעי הבקרה על הזיכרון של YARN לא יצליחו למנוע שגיאות OOM כשתהליכים צורכים זיכרון באופן אגרסיבי.
הגנה על הזיכרון ב-Managed Service for Apache Spark
כשיש עומס על הזיכרון של מכונה וירטואלית באשכול של Managed Service for Apache Spark, ההגנה על הזיכרון של Managed Service for Apache Spark סוגרת תהליכים או קונטיינרים עד שהמצב של חוסר בזיכרון מסתיים.
ב-Managed Service for Apache Spark, הגנת הזיכרון פועלת על צומתי האשכולות הבאים בגרסאות התמונה של Managed Service for Apache Spark:
| תפקיד | 1.5 | 2.0 | 2.1 | 2.2 |
|---|---|---|---|---|
| מכונה וירטואלית ראשית | 1.5.74+ | 2.0.48+ | all | all |
| worker VM | לא זמין | 2.0.76+ | 2.1.24+ | all |
| מכונה וירטואלית של מאגר מנהלי התקנים | לא זמין | 2.0.76+ | 2.1.24+ | all |
זיהוי ואישור של סגירת תהליכים על ידי הגנת הזיכרון
אתם יכולים להשתמש במידע הבא כדי לזהות ולאשר סיום של משימות בגלל עומס על הזיכרון.
סיום תהליכים
תהליכים שהסתיימו בגלל הגנת הזיכרון של Managed Service for Apache Spark יוצאים עם הקוד
137או143.כש-Managed Service for Apache Spark מסיים תהליך בגלל עומס על הזיכרון, יכולים להתרחש הפעולות או התנאים הבאים:
- Managed Service for Apache Spark מגדיל את המדד המצטבר
dataproc.googleapis.com/node/problem_countומגדיר אתreasonלערךProcessKilledDueToMemoryPressure. איסוף מדדי משאבים ב-Managed Service for Apache Spark - Managed Service for Apache Spark כותב יומן
google.dataproc.oom-killerעם ההודעה:"A process is killed due to memory pressure: process name. כדי לראות את ההודעות האלה, צריך להפעיל את Logging ולהשתמש במסנן היומן הבא:resource.type="cloud_dataproc_cluster" resource.labels.cluster_name="CLUSTER_NAME" resource.labels.cluster_uuid="CLUSTER_UUID" jsonPayload.message:"A process is killed due to memory pressure:"
- Managed Service for Apache Spark מגדיל את המדד המצטבר
סגירת משימות של מאגר צומתי מאסטר או צומתי דרייבר
כשמשימה של צומת מאסטר או של מאגר צומתי דרייבר ב-Managed Service for Apache Spark מסתיימת בגלל עומס על הזיכרון, המשימה נכשלת ומופיע קוד השגיאה
Driver received SIGTERM/SIGKILL signal and exited with INT. כדי לראות את ההודעות האלה, צריך להפעיל את Logging ולהשתמש במסנן היומן הבא:resource.type="cloud_dataproc_cluster" resource.labels.cluster_name="CLUSTER_NAME" resource.labels.cluster_uuid="CLUSTER_UUID" jsonPayload.message:"Driver received SIGTERM/SIGKILL signal and exited with"- בודקים את היומן של
google.dataproc.oom-killerאו אתdataproc.googleapis.com/node/problem_countכדי לוודא שהמשימה הסתיימה בגלל הגנת הזיכרון של Managed Service for Apache Spark (ראו סיום תהליכים).
פתרונות:
- אם לאשכול יש מאגר מנהלי התקנים, מגדילים את
driver-required-memory-mbלשימוש בפועל בזיכרון של המשימה. - אם לאשכול אין מאגר מנהלי התקנים, צריך ליצור מחדש את האשכול ולהפחית את המספר המקסימלי של משימות בו-זמניות שפועלות באשכול.
- משתמשים בסוג מכונה של צומת מאסטר עם זיכרון מוגבר.
- בודקים את היומן של
סגירת קונטיינרים של YARN בצומת עובד
Managed Service for Apache Spark כותב את ההודעה הבאה במנהל המשאבים של YARN:
container id exited with code EXIT_CODE. כדי לראות את ההודעות האלה, צריך להפעיל את הרישום ביומן ואז להשתמש במסנן היומן הבא:resource.type="cloud_dataproc_cluster" resource.labels.cluster_name="CLUSTER_NAME" resource.labels.cluster_uuid="CLUSTER_UUID" jsonPayload.message:"container" AND "exited with code" AND "which potentially signifies memory pressure on NODE
אם קונטיינר נסגר עם
code INT, בודקים את היומן שלgoogle.dataproc.oom-killerאו אתdataproc.googleapis.com/node/problem_countכדי לוודא שהמשימה הופסקה על ידי Managed Service for Apache Spark Memory Protection (ראו הפסקת תהליכים).פתרונות:
- מוודאים שהגדרתם את גודל המאגר בצורה נכונה.
- כדאי להנמיך את
yarn.nodemanager.resource.memory-mb. המאפיין הזה קובע את נפח הזיכרון שמשמש לתזמון קונטיינרים של YARN. - אם קונטיינרים של משימות נכשלים באופן עקבי, בדקו אם חלוקת נתונים לא מאוזנת (partition skew) גורמת לשימוש מוגבר בקונטיינרים ספציפיים. אם כן, צריך לחלק מחדש את המשימה או להגדיל את ה-worker כדי לעמוד בדרישות הזיכרון הנוספות.
כוונון עדין של הגנת הזיכרון של Linux בצומת הראשי (מתקדם)
צומתי המאסטר של Managed Service for Apache Spark משתמשים בכלי earlyoom כדי למנוע קריסות של המערכת על ידי פינוי זיכרון כשהזיכרון הזמין נמוך באופן קריטי. הגדרת ברירת המחדל מתאימה לעומסי עבודה רבים. עם זאת, יכול להיות שתצטרכו לשנות את ההגדרות אם לצומת הראשי יש כמות גדולה של זיכרון והוא צורך זיכרון במהירות.
בתרחישים של עומס גבוה על הזיכרון, המערכת יכולה להיכנס למצב של "התרוצצות" (thrashing), שבו היא משקיעה את רוב הזמן בניהול הזיכרון ולא מגיבה. זה יכול לקרות כל כך מהר, עד ש-earlyoom לא מצליח לבצע פעולה על סמך הגדרות ברירת המחדל שלו, או לא מצליח לפעול לפני שתגובת ה-OOM של הליבה מופעלת.
לפני שמתחילים
- זו אפשרות כוונון מתקדמת. לפני שמשנים את ההגדרות של
earlyoom, כדאי לנסות פתרונות אחרים, כמו שימוש ב-VM ראשי עם יותר זיכרון, הפחתת מספר המשימות שפועלות בו-זמנית או אופטימיזציה של השימוש בזיכרון של המשימות.
התאמה אישית של ההגדרות של earlyoom
כברירת מחדל, earlyoom מוגדר להשתמש בכמות קבועה של זיכרון פנוי כטריגר. במכונות וירטואליות עם כמות גדולה של זיכרון RAM, למשל 32GB או יותר, הכמות הקבועה הזו עשויה לייצג חלק קטן מסך הזיכרון.
במצב כזה, המערכת עלולה להיות חשופה לעליות חדות פתאומיות בשימוש בזיכרון.
כדי להתאים אישית את ההגדרות של earlyoom, מתחברים לצומת הראשי ומשנים את קובץ התצורה.
פותחים את קובץ התצורה לעריכה:
sudo nano /etc/default/earlyoomמשנים את סף הזיכרון המינימלי. מאתרים את השורה
EARLYOOM_ARGS. האפשרות-M <kbytes>מגדירה את הכמות המינימלית של זיכרון פנוי ב-KiB ש-earlyoomמנסה לשמור. ערך ברירת המחדל הוא-M 65536, שהוא64 MiB.אם לצומת הראשי יש זיכרון משמעותי, צריך להגדיל את הערך הזה. לדוגמה, כדי להגדיר את הסף ל-
1 GiB(1048576 KiB), משנים את השורה באופן הבא:EARLYOOM_ARGS="-r 15 -M 1048576 -s 1"הערות:
-
-r: מרווח הזמן בין דוחות הזיכרון בשניות -
-s: הסף של שטח ההחלפה להפעלתearlyoom
-
מפעילים מחדש את השירות
earlyoomכדי להחיל את השינויים:sudo systemctl restart earlyoom