Auf dieser Seite finden Sie Informationen zu Fehlern aufgrund von unzureichendem Arbeitsspeicher (OOM) in Managed Service for Apache Spark auf Compute Engine-VMs sowie Schritte zur Fehlerbehebung und Behebung von OOM-Fehlern.
Auswirkungen von OOM-Fehlern
Wenn auf Managed Service for Apache Spark-VMs Fehler aufgrund von unzureichendem Arbeitsspeicher (OOM) auftreten, hat dies folgende Auswirkungen:
Master- und Worker-VMs werden für einen bestimmten Zeitraum eingefroren.
OOM-Fehler auf Master-VMs führen dazu, dass Jobs mit dem Fehler „Aufgabe nicht erfasst“ fehlschlagen.
OOM-Fehler auf Worker-VMs führen zu einem Verlust des Knotens auf YARN HDFS, was die Ausführung von Managed Service for Apache Spark-Jobs verzögert.
YARN-Speichersteuerung
Apache YARN bietet die folgenden Arten von Speichersteuerungen:
- Abfragebasiert (alt)
- Strikt
- Elastic
Standardmäßig wird yarn.nodemanager.resource.memory.enabled von Managed Service for Apache Spark nicht festgelegt, um die YARN-Arbeitsspeichersteuerung zu aktivieren. Das hat folgende Gründe:
- Eine strikte Arbeitsspeichersteuerung kann dazu führen, dass Container beendet werden, wenn genügend Arbeitsspeicher vorhanden ist, die Containergrößen jedoch nicht richtig konfiguriert sind.
- Anforderungen an die elastische Arbeitsspeichersteuerung können sich negativ auf die Jobausführung auswirken.
- YARN-Speichersteuerungen können Fehler aufgrund fehlenden Arbeitsspeichers möglicherweise nicht verhindern, wenn Prozesse aggressiv Arbeitsspeicher verbrauchen.
Speicherschutz für Managed Service for Apache Spark
Wenn eine Managed Service for Apache Spark-Cluster-VM unter Speicherdruck steht, beendet der Managed Service for Apache Spark-Arbeitsspeicherschutz Prozesse oder Container, bis die OOM-Bedingung entfernt wurde.
Managed Service for Apache Spark bietet Speicherschutz für die folgenden Clusterknoten in den folgenden Managed Service for Apache Spark-Image-Versionen:
| Rolle | 1,5 | 2.0 | 2.1 | 2.2 |
|---|---|---|---|---|
| Master-VM | 1.5.74+ | 2.0.48+ | Alle | Alle |
| Worker-VM | Nicht verfügbar | 2.0.76+ | 2.1.24+ | Alle |
| Treiberpool-VM | Nicht verfügbar | 2.0.76+ | 2.1.24+ | Alle |
Beendigungen des Speicherschutzes identifizieren und bestätigen
Anhand der folgenden Informationen können Sie Jobbeendigungen aufgrund von Speicherauslastung identifizieren und bestätigen.
Prozessbeendigungen
Prozesse, die durch den Speicherschutz von Managed Service for Apache Spark beendet werden, werden mit dem Code
137oder143beendet.Wenn Managed Service for Apache Spark einen Prozess aufgrund von Speicherdruck beendet, können die folgenden Aktionen oder Bedingungen auftreten:
- Managed Service for Apache Spark erhöht den kumulativen Messwert
dataproc.googleapis.com/node/problem_countund setztreasonaufProcessKilledDueToMemoryPressure. Weitere Informationen finden Sie unter Ressourcenmesswerte für Managed Service for Apache Spark erfassen. - Managed Service for Apache Spark schreibt ein
google.dataproc.oom-killer-Log mit der Nachricht:"A process is killed due to memory pressure: process name. Wenn Sie diese Nachrichten aufrufen möchten, aktivieren Sie Logging und verwenden Sie dann den folgenden Logfilter:resource.type="cloud_dataproc_cluster" resource.labels.cluster_name="CLUSTER_NAME" resource.labels.cluster_uuid="CLUSTER_UUID" jsonPayload.message:"A process is killed due to memory pressure:"
- Managed Service for Apache Spark erhöht den kumulativen Messwert
Beendigung von Jobs auf Masterknoten- oder Treiberknotenpools
Wenn ein Job im Masterknoten- oder Treiberknotenpool von Managed Service for Apache Spark aufgrund von Speichermangel beendet wird, schlägt der Job mit dem Fehlercode
Driver received SIGTERM/SIGKILL signal and exited with INTfehl. Wenn Sie diese Nachrichten aufrufen möchten, aktivieren Sie Logging und verwenden Sie dann den folgenden Logfilter:resource.type="cloud_dataproc_cluster" resource.labels.cluster_name="CLUSTER_NAME" resource.labels.cluster_uuid="CLUSTER_UUID" jsonPayload.message:"Driver received SIGTERM/SIGKILL signal and exited with"- Prüfen Sie das
google.dataproc.oom-killer-Log oder diedataproc.googleapis.com/node/problem_count, um zu bestätigen, dass der Managed Service for Apache Spark-Arbeitsspeicherschutz den Job beendet hat (siehe Prozessbeendigungen).
Lösungen:
- Wenn der Cluster einen Treiberpool hat, erhöhen Sie
driver-required-memory-mbauf die tatsächliche Arbeitsspeichernutzung des Jobs. - Wenn der Cluster keinen Treiberpool hat, erstellen Sie den Cluster neu und verringern Sie die maximale Anzahl gleichzeitiger Jobs, die auf dem Cluster ausgeführt werden.
- Verwenden Sie einen Maschinentyp für den Masterknoten mit mehr Arbeitsspeicher.
- Prüfen Sie das
Beendigung von YARN-Containern auf Worker-Knoten
Managed Service for Apache Spark schreibt die folgende Nachricht in den YARN-Ressourcenmanager:
container id exited with code EXIT_CODE. Wenn Sie diese Nachrichten aufrufen möchten, aktivieren Sie Logging und verwenden Sie dann den folgenden Logfilter:resource.type="cloud_dataproc_cluster" resource.labels.cluster_name="CLUSTER_NAME" resource.labels.cluster_uuid="CLUSTER_UUID" jsonPayload.message:"container" AND "exited with code" AND "which potentially signifies memory pressure on NODE
Wenn ein Container mit
code INTbeendet wurde, prüfen Sie dasgoogle.dataproc.oom-killer-Log oder diedataproc.googleapis.com/node/problem_count, um festzustellen, ob der Job durch den Speicherschutz von Managed Service for Apache Spark beendet wurde (siehe Prozessbeendigungen).Lösungen:
- Prüfen Sie, ob die Containergrößen richtig konfiguriert sind.
- Sie sollten
yarn.nodemanager.resource.memory-mbverringern. Dieses Attribut steuert die Menge an Arbeitsspeicher, die für die Planung von YARN-Containern verwendet wird. - Wenn Jobcontainer immer wieder fehlschlagen, prüfen Sie, ob eine Datenverzerrung zu einer erhöhten Nutzung bestimmter Container führt. Wenn ja, partitionieren Sie den Job neu oder erhöhen Sie die Worker-Größe, um zusätzliche Arbeitsspeicheranforderungen zu erfüllen.
Linux-Speicherschutz auf dem Masterknoten optimieren (erweitert)
Managed Service for Apache Spark-Masterknoten verwenden das Dienstprogramm earlyoom, um Systemabstürze zu verhindern, indem Speicher freigegeben wird, wenn der verfügbare Speicher kritisch niedrig ist. Die Standardkonfiguration ist für viele Arbeitslasten geeignet. Möglicherweise müssen Sie die Konfiguration jedoch anpassen, wenn Ihr Masterknoten über viel Arbeitsspeicher verfügt und der Arbeitsspeicher schnell verbraucht wird.
In Szenarien mit hoher Speicherauslastung kann das System in einen Zustand des „Thrashing“ geraten, in dem es die meiste Zeit mit der Speicherverwaltung verbringt und nicht mehr reagiert. Dies kann so schnell geschehen, dass earlyoom basierend auf den Standardeinstellungen keine Maßnahmen ergreift oder nicht reagiert, bevor die OOM-Antwort des Kernels aufgerufen wird.
Hinweis
- Dies ist eine erweiterte Abstimmungsoption. Bevor Sie die
earlyoom-Einstellungen anpassen, sollten Sie andere Lösungen priorisieren, z. B. die Verwendung einer Master-VM mit mehr Arbeitsspeicher, die Reduzierung der Job-Nebenläufigkeit oder die Optimierung der Job-Arbeitsspeichernutzung.
earlyoom-Einstellungen anpassen
In der Standardkonfiguration von earlyoom wird eine feste Menge an verfügbarem Arbeitsspeicher als Trigger verwendet. Auf virtuellen Maschinen mit einem großen Arbeitsspeicher (RAM), z. B. 32GB oder mehr, kann dieser feste Betrag einen kleinen Teil des Gesamtarbeitsspeichers ausmachen.
Dadurch ist das System anfällig für plötzliche Spitzen bei der Arbeitsspeichernutzung.
Wenn Sie die earlyoom-Einstellungen anpassen möchten, stellen Sie eine Verbindung zum Masterknoten her und ändern Sie die Konfigurationsdatei.
Öffnen Sie die Konfigurationsdatei zur Bearbeitung:
sudo nano /etc/default/earlyoomPassen Sie den Mindestschwellenwert für den Arbeitsspeicher an. Suchen Sie die Zeile
EARLYOOM_ARGS. Mit der Option-M <kbytes>wird die Mindestmenge an verfügbarem Arbeitsspeicher in KiB festgelegt, dieearlyoomversucht, beizubehalten. Der Standardwert ist-M 65536, also64 MiB.Erhöhen Sie diesen Wert für einen Masterknoten mit viel Arbeitsspeicher. Wenn Sie den Schwellenwert beispielsweise auf
1 GiB(1048576 KiB) festlegen möchten, ändern Sie die Zeile so:EARLYOOM_ARGS="-r 15 -M 1048576 -s 1"Hinweise:
-r: Intervall für Speicherbericht in Sekunden-s: Der Schwellenwert für den Auslagerungsspeicher, umearlyoomauszulösen
Starten Sie den Dienst
earlyoomneu, um die Änderungen zu übernehmen:sudo systemctl restart earlyoom