Neustartfähige Jobs

Standardmäßig werden Managed Service for Apache Spark-Jobs bei einem Fehler nicht automatisch neu gestartet. Mit optionalen Einstellungen können Sie festlegen, dass Jobs nach einem Fehler neu gestartet werden. Wenn Sie einen Job so einrichten, dass er neu gestartet wird, geben Sie die maximale Anzahl von Wiederholungsversuchen pro Stunde (maximal 10 Wiederholungsversuche pro Stunde) oder die maximale Anzahl von Wiederholungsversuchen insgesamt (maximal 240 Wiederholungsversuche insgesamt) oder beides an.

Durch einen Neustart können häufige Jobfehler behoben werden, wie z. B. Fehler aufgrund fehlenden Speichers und eines unerwarteten Neustarts von virtuellen Compute Engine-Maschinen. Neustartfähige Jobs sind insbesondere für Jobs mit langer Laufzeit und Streaming-Jobs sinnvoll. Sie können beispielsweise Spark-Streamingjobs, die in Managed Service for Apache Spark-Clustern ausgeführt werden, neu starten, um die Ausfallsicherheit der Streamingjobs zu gewährleisten.

Semantik neustartfähiger Jobs

Mit der folgenden Semantik werden Erfolg und Fehler von Jobs gemeldet:

  • Ein Job gilt als erfolgreich, wenn der Treiber mit dem Code 0 beendet wird.
  • Ein Job gilt in folgenden Fällen als fehlgeschlagen:
    • Der Treiber wird innerhalb von zehn Minuten mindestens viermal mit einem Code ungleich null beendet.
    • Der Treiber wird mit einem Code ungleich null beendet und hat die Einstellung max_failures_per_hour oder max_failures_total überschritten.
  • Ein Job wird neu gestartet, wenn der Treiber mit einem Code ungleich null beendet wird, nicht "flattert" und die Einstellungen max_failures_per_hour und max_failures_total nicht überschreitet.

Überlegungen zum Jobdesign

  • Entwerfen Sie Ihre Jobs so, dass Neustarts reibungslos bewältigt werden können. Wenn der Job beispielsweise in ein Verzeichnis schreibt, entspricht dies der Möglichkeit, dass das Verzeichnis beim Neustart des Jobs vorhanden ist.
  • Apache Spark-Streamingjobs, die Prüfpunkte erstellen, können nach einem Fehler neu gestartet werden, melden aber keinen Yarn-Status.

Neustartbare Jobs erstellen und verwenden

Sie können die maximale Anzahl der Neustarts eines Jobs pro Stunde und die maximale Anzahl der Wiederholungsversuche angeben, wenn Sie den Job über das gcloud-Befehlszeilentool der gcloud CLI, die Managed Service for Apache Spark REST API oder dieCloud de Confiance consoleeinreichen.

Beispiel:Wenn Sie möchten, dass Ihr Job bis zu 10-mal, aber nicht mehr als fünfmal in einer Stunde wiederholen kann, setzen Sie max-failures-total auf 10 und max-failures-per-hour auf 5.

gcloud

Geben Sie mit den Flags --max-failures-per-hour und --max-failures-total die maximale Anzahl der Neustarts eines Jobs pro Stunde (maximal 10 Wiederholungen pro Stunde) oder die maximale Anzahl der Gesamtwiederholungen (maximal 240 Wiederholungen insgesamt) oder beides an.

gcloud dataproc jobs submit job type \
    --region=region \
    --max-failures-per-hour=number \
    --max-failures-total=number \
    ... other args

REST API

Geben Sie die maximale Anzahl der Neustarts eines Jobs pro Stunde (maximal 10 Wiederholungsversuche pro Stunde) oder die maximale Anzahl der Gesamtwiederholungen (maximal 240 Wiederholungsversuche) oder beides an, indem Sie die Felder Job.JobScheduling maxFailuresPerHour und/oder maxFailuresTotal festlegen.

Beispiel

POST /v1/projects/project-id/regions/us-central1/jobs:submit/
{
"projectId": "project-id",
"job": {
"placement": {
  "clusterName": "example-cluster"
},
"reference": {
  "jobId": "cea7ae0b...."
},
"sparkJob": {
  "args": [
    "1000"
  ],
  "mainClass": "org.apache.spark.examples.SparkPi",
  "jarFileUris": [
    "file:///usr/lib/spark/examples/jars/spark-examples.jar"
  ]
},
"scheduling": {
  "maxFailuresPerHour": 5
  "maxFailuresTotal": 10
}
}
}

Console

Sie können neustartfähige Clusterjobs senden, indem Sie im Abschnitt Jobausführung und ‑eigenschaften (mit Spark on Compute Engine unter Compute-Typ für Job auswählen) auf der Seite Job senden von Managed Service for Apache Spark die Option Maximale Neustarts pro Stunde angeben (der Höchstwert ist 10 Mal pro Stunde). Die Einstellung „Maximal zulässige Neustarts insgesamt“ ist in der Cloud de Confiance Console nicht verfügbar.