Tugas yang dapat dimulai ulang

Secara default, tugas Managed Service untuk Apache Spark tidak akan otomatis dimulai ulang jika terjadi kegagalan. Dengan menggunakan setelan opsional, Anda dapat menyetel tugas untuk dimulai ulang jika gagal. Saat menetapkan tugas untuk dimulai ulang, Anda menentukan jumlah maksimum percobaan ulang per jam (nilai maksimum adalah 10 percobaan ulang per jam) atau jumlah maksimum total percobaan ulang (nilai maksimum adalah 240 total percobaan ulang) atau keduanya.

Memulai ulang tugas akan mengurangi jenis kegagalan tugas yang umum, termasuk masalah kehabisan memori dan reboot virtual machine Compute Engine yang tidak terduga. Tugas yang dapat dimulai ulang sangat berguna untuk tugas yang berjalan lama dan tugas streaming. Misalnya, Anda dapat memulai ulang tugas streaming Spark yang berjalan di cluster Managed Service untuk Apache Spark guna memastikan bahwa tugas streaming tersebut tangguh.

Semantik tugas yang dapat dimulai ulang

Semantik berikut berlaku untuk melaporkan keberhasilan atau kegagalan tugas:

  • Tugas dilaporkan berhasil jika driver dihentikan dengan kode 0.
  • Tugas dilaporkan gagal jika:
    • Driver dihentikan dengan kode bukan nol lebih dari 4 kali dalam 10 menit.
    • Driver dihentikan dengan kode bukan nol, dan telah melampaui setelan max_failures_per_hour atau max_failures_total.
  • Tugas akan dimulai ulang jika driver keluar dengan kode selain nol, tidak mengalami thrashing, dan berada dalam setelan max_failures_per_hour dan max_failures_total.

Pertimbangan desain tugas

  • Desain tugas Anda agar dapat menangani mulai ulang dengan baik. Misalnya, jika tugas Anda menulis ke direktori, tugas Anda akan mengakomodasi kemungkinan bahwa direktori tersebut akan ada saat tugas dimulai ulang.
  • Tugas streaming Apache Spark yang melakukan checkpoint dapat dimulai ulang setelah kegagalan, tetapi tidak akan melaporkan status Yarn.

Membuat dan menggunakan tugas yang dapat dimulai ulang

Anda dapat menentukan jumlah maksimum tugas yang dapat dimulai ulang per jam dan jumlah total percobaan ulang maksimum saat mengirimkan tugas melalui alat command line gcloud gcloud CLI, Managed Service untuk Apache Spark REST API, atauCloud de Confiance console.

Contoh: Jika Anda ingin mengizinkan tugas Anda mencoba ulang hingga 10 kali, tetapi tidak lebih dari 5 kali dalam satu jam, tetapkan max-failures-total ke 10 dan max-failures-per-hour ke 5.

gcloud

Tentukan jumlah maksimum percobaan ulang tugas per jam (nilai maksimumnya adalah 10 percobaan ulang per jam) atau jumlah maksimum total percobaan ulang (nilai maksimumnya adalah 240 total percobaan ulang) atau keduanya, menggunakan flag --max-failures-per-hour dan --max-failures-total.

gcloud dataproc jobs submit job type \
    --region=region \
    --max-failures-per-hour=number \
    --max-failures-total=number \
    ... other args

REST API

Tentukan jumlah maksimum berapa kali tugas dapat dimulai ulang per jam (nilai maksimum adalah 10 percobaan ulang per jam) atau jumlah maksimum total percobaan ulang (nilai maksimum adalah 240 total percobaan ulang) atau keduanya, dengan menetapkan Job.JobScheduling maxFailuresPerHour dan/atau kolom maxFailuresTotal.

Contoh

POST /v1/projects/project-id/regions/us-central1/jobs:submit/
{
"projectId": "project-id",
"job": {
"placement": {
  "clusterName": "example-cluster"
},
"reference": {
  "jobId": "cea7ae0b...."
},
"sparkJob": {
  "args": [
    "1000"
  ],
  "mainClass": "org.apache.spark.examples.SparkPi",
  "jarFileUris": [
    "file:///usr/lib/spark/examples/jars/spark-examples.jar"
  ]
},
"scheduling": {
  "maxFailuresPerHour": 5
  "maxFailuresTotal": 10
}
}
}

Konsol

Anda dapat mengirimkan tugas cluster yang dapat dimulai ulang dengan menentukan Max restarts per hour di bagian Job execution and properties (dengan Spark on Compute Engine dipilih di bagian Select compute type for job) di halaman Submit a job Managed Service untuk Apache Spark (nilai maksimumnya adalah 10 kali per jam). Setelan total mulai ulang maksimum tidak tersedia di konsol Cloud de Confiance .