Per impostazione predefinita, i job di Managed Service for Apache Spark non vengono riavviati automaticamente in caso di errore. Utilizzando le impostazioni facoltative, puoi impostare i job in modo che vengano riavviati in caso di errore. Quando imposti un job per il riavvio, specifichi il numero massimo di tentativi all'ora (il valore massimo è 10 tentativi all'ora) o il numero massimo di tentativi totali (il valore massimo è 240 tentativi totali) o entrambi.
Il riavvio dei job riduce i tipi comuni di errori dei job, inclusi i problemi di memoria esaurita e i riavvii imprevisti delle macchine virtuali di Compute Engine. I job riavviabili sono particolarmente utili per i job di lunga durata e di streaming. Ad esempio, puoi riavviare i job di streaming Spark in esecuzione sui cluster Managed Service for Apache Spark per assicurarti che siano resilienti.
Semantica dei job riavviabili
La seguente semantica si applica alla segnalazione dell'esito positivo o negativo dei job:
- Un job viene segnalato come riuscito se il driver termina con il codice
0. - Un job viene segnalato come non riuscito se:
- Il driver termina con un codice diverso da zero più di 4 volte in 10 minuti.
- Il driver termina con un codice diverso da zero e ha superato l'impostazione
max_failures_per_houromax_failures_total.
- Un job verrà riavviato se il driver esce con un codice diverso da zero, non è in thrashing e rientra nelle impostazioni
max_failures_per_houremax_failures_total.
Considerazioni sulla progettazione dei job
- Progetta i job in modo che gestiscano il riavvio in modo controllato. Ad esempio, se il job scrive in una directory, deve tenere conto della possibilità che la directory esista quando il job viene riavviato.
- I job di flussi di dati Apache Spark che eseguono il checkpoint possono essere riavviati dopo un errore, ma non segnalano lo stato di YARN.
Crea e utilizza job riavviabili
Puoi specificare il numero massimo di volte in cui un job può essere riavviato all'ora e il numero massimo di tentativi totali quando invii il job tramite lo strumento a riga di comando gcloud di gcloud CLI, l'API REST di Managed Service for Apache Spark o Cloud de Confiance console.
Esempio: se vuoi consentire al job di riprovare fino a 10 volte, ma non più di 5 volte in un'ora, imposta max-failures-total su 10 e max-failures-per-hour su 5.
gcloud
Specifica il numero massimo di volte in cui un job può essere riavviato all'ora
(il valore massimo è 10 tentativi all'ora) o il numero massimo di tentativi totali (il valore massimo è 240 tentativi totali) o entrambi, utilizzando rispettivamente
i flag --max-failures-per-hour e --max-failures-total.
gcloud dataproc jobs submit job type \ --region=region \ --max-failures-per-hour=number \ --max-failures-total=number \ ... other args
API REST
Specifica il numero massimo di volte in cui un job può essere riavviato all'ora
(il valore massimo è 10 tentativi all'ora) o il numero massimo di tentativi
totali (il valore massimo è 240 tentativi totali) o entrambi, impostando rispettivamente i campi
Job.JobScheduling
maxFailuresPerHour
e/o maxFailuresTotal.
Esempio
POST /v1/projects/project-id/regions/us-central1/jobs:submit/
{
"projectId": "project-id",
"job": {
"placement": {
"clusterName": "example-cluster"
},
"reference": {
"jobId": "cea7ae0b...."
},
"sparkJob": {
"args": [
"1000"
],
"mainClass": "org.apache.spark.examples.SparkPi",
"jarFileUris": [
"file:///usr/lib/spark/examples/jars/spark-examples.jar"
]
},
"scheduling": {
"maxFailuresPerHour": 5
"maxFailuresTotal": 10
}
}
}
Console
Puoi inviare job del cluster riavviabili specificando Numero massimo di riavvii all'ora nella sezione Esecuzione e proprietà del job (con Spark su Compute Engine selezionato in Seleziona il tipo di computing per il job) nella pagina Invia un job di Managed Service for Apache Spark (il valore massimo è 10 volte all'ora). L'impostazione del numero massimo di riavvii totali non è disponibile nella console Cloud de Confiance .