Par défaut, les jobs Managed Service pour Apache Spark ne redémarrent pas automatiquement en cas d'échec. Certains paramètres facultatifs vous permettent de configurer les tâches pour qu'elles redémarrent en cas d'échec. Lorsque vous configurez un job pour qu'il redémarre, vous spécifiez le nombre maximal de nouvelles tentatives par heure (la valeur maximale est de 10 nouvelles tentatives par heure) ou le nombre maximal de nouvelles tentatives au total (la valeur maximale est de 240 nouvelles tentatives au total), ou les deux.
Le redémarrage des tâches atténue les types d'échecs courants, comme les problèmes de mémoire insuffisante et les redémarrages inattendus de machines virtuelles Compute Engine. Le redémarrage est particulièrement utile pour les tâches de longue durée et en flux continu. Par exemple, vous pouvez redémarrer les jobs de streaming Spark exécutés sur des clusters Managed Service pour Apache Spark afin de vous assurer qu'ils sont résilients.
Sémantique de tâche redémarrable
La sémantique suivante s'applique à la notification de succès ou d'échec des tâches :
- Une tâche est signalée comme réussie si le pilote se termine avec le code
0. - Une tâche est signalée comme un échec dans les cas suivants :
- Le pilote se termine avec un code non égal à 0 plus de 4 fois en 10 minutes.
- Le pilote se termine avec un code non égal à 0 et a dépassé la limite définie dans le paramètre
max_failures_per_houroumax_failures_total.
- Une tâche est redémarrée si le pilote se termine avec un code non égal à 0, s'il ne fait pas face à une situation de thrashing et s'il respecte la limite définie dans le paramètre
max_failures_per_houroumax_failures_total.
Considérations liées à la conception des tâches
- Concevez vos tâches de manière à qu'elles redémarrent avec fluidité. Par exemple, si votre tâche écrit dans un répertoire, elle accepte la possibilité que le répertoire existe déjà lorsque la tâche est redémarrée.
- Les jobs de streaming Apache Spark qui créent des points de contrôle peuvent être redémarrés après un échec, mais ils ne signalent pas l'état Yarn.
Créer et utiliser des jobs redémarrables
Vous pouvez spécifier le nombre maximal de redémarrages d'un job par heure et le nombre maximal de nouvelles tentatives lors de l'envoi du job via l'outil de ligne de commande gcloud de la gcloud CLI, l'API REST Managed Service pour Apache Spark ouCloud de Confiance console.
Exemple : Si vous souhaitez autoriser votre tâche à effectuer jusqu'à 10 nouvelles tentatives, mais pas plus de cinq fois en une heure, définissez max-failures-total sur 10 et max-failures-per-hour sur 5.
gcloud
Spécifiez le nombre maximal de redémarrages d'un job par heure (la valeur maximale est de 10 nouvelles tentatives par heure) ou le nombre maximal de nouvelles tentatives (la valeur maximale est de 240 nouvelles tentatives au total), ou les deux, à l'aide des options --max-failures-per-hour et --max-failures-total, respectivement.
gcloud dataproc jobs submit job type \ --region=region \ --max-failures-per-hour=number \ --max-failures-total=number \ ... other args
API REST
Spécifiez le nombre maximal de redémarrages d'un job par heure (la valeur maximale est de 10 nouvelles tentatives par heure) ou le nombre maximal de nouvelles tentatives (la valeur maximale est de 240 nouvelles tentatives au total), ou les deux, en définissant respectivement les champs Job.JobScheduling maxFailuresPerHour et/ou maxFailuresTotal.
Exemple
POST /v1/projects/project-id/regions/us-central1/jobs:submit/
{
"projectId": "project-id",
"job": {
"placement": {
"clusterName": "example-cluster"
},
"reference": {
"jobId": "cea7ae0b...."
},
"sparkJob": {
"args": [
"1000"
],
"mainClass": "org.apache.spark.examples.SparkPi",
"jarFileUris": [
"file:///usr/lib/spark/examples/jars/spark-examples.jar"
]
},
"scheduling": {
"maxFailuresPerHour": 5
"maxFailuresTotal": 10
}
}
}
Console
Vous pouvez envoyer des jobs de cluster redémarrables en spécifiant Nombre maximal de redémarrages par heure dans la section Exécution et propriétés du job (avec Spark sur Compute Engine sélectionné sous Sélectionner le type de calcul pour le job) sur la page Envoyer un job de Managed Service pour Apache Spark (la valeur maximale est de 10 fois par heure). Le paramètre "Nombre maximal de redémarrages" n'est pas disponible dans la console Cloud de Confiance .