Cette page fournit des informations sur les erreurs de mémoire saturée (OOM, Out Of Memory) de Managed Service pour Apache Spark sur les VM Compute Engine, et explique comment résoudre ces erreurs.
Effets des erreurs de mémoire insuffisante
Lorsque les VM Managed Service pour Apache Spark rencontrent des erreurs de mémoire insuffisante (OOM), les effets incluent les conditions suivantes :
Les VM de nœud maître et de nœud de calcul se figent pendant un certain temps.
Les erreurs de mémoire insuffisante des VM maîtres entraînent l'échec des jobs avec des erreurs "tâche non acquise".
Les erreurs de mémoire saturée des VM de nœud de calcul entraînent la perte du nœud sur YARN HDFS, ce qui retarde l'exécution des jobs Managed Service pour Apache Spark.
Commandes de mémoire YARN
Apache YARN fournit les types de contrôles de mémoire suivants :
- Basé sur l'interrogation (ancien)
- Strict
- Elastic
Par défaut, Managed Service pour Apache Spark ne définit pas yarn.nodemanager.resource.memory.enabled pour activer les contrôles de mémoire YARN, pour les raisons suivantes :
- Un contrôle strict de la mémoire peut entraîner l'arrêt des conteneurs lorsque la mémoire est suffisante, si la taille des conteneurs n'est pas configurée correctement.
- Les exigences de contrôle de la mémoire élastique peuvent avoir un impact négatif sur l'exécution des jobs.
- Les contrôles de mémoire YARN peuvent ne pas empêcher les erreurs de mémoire insuffisante lorsque les processus consomment de la mémoire de manière agressive.
Protection de la mémoire de Managed Service pour Apache Spark
Lorsqu'une VM de cluster Managed Service pour Apache Spark subit une pression de mémoire, la protection de la mémoire de Managed Service pour Apache Spark arrête les processus ou les conteneurs jusqu'à ce que la condition de mémoire insuffisante soit supprimée.
Managed Service pour Apache Spark fournit une protection de la mémoire pour les nœuds de cluster suivants dans les versions d'image Managed Service pour Apache Spark suivantes :
| Rôle | 1.5 | 2.0 | 2.1 | 2.2 |
|---|---|---|---|---|
| VM maître | 1.5.74+ | 2.0.48+ | tous | tous |
| VM de nœud de calcul | Non disponible | 2.0.76+ | 2.1.24+ | tous |
| VM du pool de pilotes | Non disponible | 2.0.76+ | 2.1.24+ | tous |
Identifier et confirmer les arrêts de protection de la mémoire
Vous pouvez utiliser les informations suivantes pour identifier et confirmer les arrêts de jobs dus à une pression de mémoire.
Arrêts de processus
Les processus arrêtés par la protection de la mémoire de Managed Service pour Apache Spark se terminent avec le code
137ou143.Lorsque Managed Service pour Apache Spark met fin à un processus en raison d'une pression sur la mémoire, les actions ou conditions suivantes peuvent se produire :
- Managed Service pour Apache Spark incrémente la métrique cumulative
dataproc.googleapis.com/node/problem_countet définitreasonsurProcessKilledDueToMemoryPressure. Consultez Collecte des métriques de ressources Managed Service pour Apache Spark. - Managed Service pour Apache Spark écrit un journal
google.dataproc.oom-killeravec le message suivant :"A process is killed due to memory pressure: process name. Pour afficher ces messages, activez Logging, puis utilisez le filtre de journaux suivant :resource.type="cloud_dataproc_cluster" resource.labels.cluster_name="CLUSTER_NAME" resource.labels.cluster_uuid="CLUSTER_UUID" jsonPayload.message:"A process is killed due to memory pressure:"
- Managed Service pour Apache Spark incrémente la métrique cumulative
Arrêt des jobs du nœud maître ou du pool de nœuds de pilote
Lorsqu'un job de nœud maître ou de pool de nœuds de pilote Managed Service pour Apache Spark se termine en raison d'une pression de mémoire, le job échoue avec le code d'erreur
Driver received SIGTERM/SIGKILL signal and exited with INT. Pour afficher ces messages, activez Logging, puis utilisez le filtre de journaux suivant :resource.type="cloud_dataproc_cluster" resource.labels.cluster_name="CLUSTER_NAME" resource.labels.cluster_uuid="CLUSTER_UUID" jsonPayload.message:"Driver received SIGTERM/SIGKILL signal and exited with"- Vérifiez le journal
google.dataproc.oom-killeroudataproc.googleapis.com/node/problem_countpour confirmer que la protection de la mémoire de Managed Service pour Apache Spark a arrêté le job (voir Arrêts de processus).
Solutions :
- Si le cluster dispose d'un pool de pilotes, augmentez
driver-required-memory-mbpour qu'il corresponde à l'utilisation réelle de la mémoire du job. - Si le cluster ne dispose pas d'un pool de pilotes, recréez-le en réduisant le nombre maximal de jobs simultanés exécutés sur le cluster.
- Utilisez un type de machine de nœud maître avec une mémoire accrue.
- Vérifiez le journal
Arrêts de conteneurs YARN de nœuds de calcul
Managed Service pour Apache Spark écrit le message suivant dans le gestionnaire de ressources YARN :
container id exited with code EXIT_CODE. Pour afficher ces messages, activez Logging, puis utilisez le filtre de journaux suivant :resource.type="cloud_dataproc_cluster" resource.labels.cluster_name="CLUSTER_NAME" resource.labels.cluster_uuid="CLUSTER_UUID" jsonPayload.message:"container" AND "exited with code" AND "which potentially signifies memory pressure on NODE
Si un conteneur s'est arrêté avec le code
code INT, vérifiez le journalgoogle.dataproc.oom-killeroudataproc.googleapis.com/node/problem_countpour confirmer que la protection de la mémoire de Managed Service pour Apache Spark a arrêté le job (voir Arrêts de processus).Solutions :
- Vérifiez que les tailles des conteneurs sont correctement configurées.
- Envisagez de réduire
yarn.nodemanager.resource.memory-mb. Cette propriété contrôle la quantité de mémoire utilisée pour planifier les conteneurs YARN. - Si les conteneurs de jobs échouent systématiquement, vérifiez si le décalage des données entraîne une utilisation accrue de conteneurs spécifiques. Si tel est le cas, repartitionnez le job ou augmentez la taille des nœuds de calcul pour répondre aux besoins de mémoire supplémentaires.
Ajuster la protection de la mémoire Linux sur le nœud maître (avancé)
Les nœuds maîtres Managed Service pour Apache Spark utilisent l'utilitaire earlyoom pour éviter les blocages du système en libérant de la mémoire lorsque la mémoire disponible est extrêmement faible. La configuration par défaut convient à de nombreuses charges de travail. Toutefois, vous devrez peut-être ajuster la configuration si votre nœud maître dispose d'une grande quantité de mémoire et qu'il consomme rapidement de la mémoire.
Dans les scénarios où la sollicitation de la mémoire est élevée, le système peut entrer dans un état d'écrasement, où il passe la majeure partie de son temps à gérer la mémoire et ne répond plus. Cela peut se produire si rapidement que earlyoom ne parvient pas à agir en fonction de ses paramètres par défaut ou avant que la réponse OOM du noyau ne soit appelée.
Avant de commencer
- Il s'agit d'une option de réglage avancée. Avant d'ajuster les paramètres
earlyoom, donnez la priorité à d'autres solutions, telles que l'utilisation d'une VM maître avec plus de mémoire, la réduction de la simultanéité des jobs ou l'optimisation de l'utilisation de la mémoire des jobs.
Personnaliser les paramètres de earlyoom
La configuration earlyoom par défaut utilise une quantité fixe de mémoire libre comme déclencheur. Sur les machines virtuelles disposant d'une grande quantité de RAM, par exemple 32GB ou plus, cette quantité fixe peut représenter une petite fraction de la mémoire totale.
Le système est donc susceptible de subir des pics soudains d'utilisation de la mémoire.
Pour personnaliser les paramètres earlyoom, connectez-vous au nœud maître et modifiez le fichier de configuration.
Ouvrez le fichier de configuration pour le modifier :
sudo nano /etc/default/earlyoomAjustez le seuil de mémoire minimal. Recherchez la ligne
EARLYOOM_ARGS. L'option-M <kbytes>définit la quantité minimale de mémoire libre en Kio queearlyoomtente de maintenir. La valeur par défaut est-M 65536, ce qui correspond à64 MiB.Pour un nœud maître disposant d'une mémoire importante, augmentez cette valeur. Par exemple, pour définir le seuil sur
1 GiB(1048576 KiB), modifiez la ligne comme suit :EARLYOOM_ARGS="-r 15 -M 1048576 -s 1"Remarques :
-r: intervalle de rapport de mémoire en secondes-s: seuil d'espace d'échange pour déclencherearlyoom
Redémarrez le service
earlyoompour appliquer les modifications :sudo systemctl restart earlyoom