Pekerja sekunder Managed Service untuk Apache Spark

Selain menggunakan VM Compute Engine standar sebagai worker Managed Service untuk Apache Spark (disebut worker "utama"), cluster Managed Service untuk Apache Spark dapat menggunakan worker secondary.

Karakteristik berikut berlaku untuk semua worker sekunder di cluster Managed Service untuk Apache Spark:

  • Hanya pemrosesan—Worker sekunder tidak menyimpan data. Node ini hanya berfungsi sebagai node pemrosesan. Oleh karena itu, Anda dapat menggunakan worker sekunder untuk menskalakan komputasi tanpa menskalakan penyimpanan.

  • Hanya worker sekunder—Anda dapat membuat cluster skala nol dengan worker sekunder saja. Namun, jika Anda membuat cluster standar dan hanya menentukan worker sekunder (Anda tidak menentukan jumlah worker utama), Managed Service untuk Apache Spark akan menambahkan dua worker utama ke cluster.

  • Jenis mesin—Secara default, worker sekunder menggunakan jenis mesin worker utama cluster. Misalnya, jika Anda membuat cluster dengan worker utama yang menggunakan jenis mesin n1-standard-4, secara default, semua worker sekunder yang ditambahkan ke cluster juga akan menggunakan mesin n1-standard-4.

    Alih-alih menggunakan jenis mesin worker utama default untuk worker sekunder, Anda dapat menentukan satu atau beberapa daftar jenis mesin yang diberi peringkat untuk worker sekunder. Lihat VM Fleksibel Managed Service untuk Apache Spark untuk mengetahui informasi selengkapnya.

  • Ukuran persistent disk—Secara default, worker sekunder dibuat dengan ukuran yang lebih kecil antara 1.000 GB atau ukuran boot disk worker utama. Kapasitas disk ini digunakan untuk caching data lokal dan tidak tersedia melalui HDFS. Anda dapat mengganti ukuran disk default dengan perintah gcloud dataproc clusters create --secondary-worker-boot-disk-size saat pembuatan cluster. Anda dapat menentukan flag ini meskipun cluster tidak akan memiliki worker sekunder saat dibuat.

  • Pembuatan Asinkron—Saat Anda menambahkan worker sekunder dengan membuat atau meningkatkan skala cluster, worker sekunder mungkin tidak disediakan pada saat operasi pembuatan atau update selesai. Hal ini karena Managed Service untuk Apache Spark mengelola worker sekunder menggunakan Grup Instance Terkelola (MIG), yang membuat VM secara asinkron segera setelah dapat disediakan (lihat Memeriksa status instance terkelola).

Worker sekunder preemptible dan non-preemptible

Ada tiga jenis worker sekunder: spot VM, preemptible VM standar, dan non-preemptible VM. Jenis worker sekunder Managed Service untuk Apache Spark default adalah preemptible VM standar. Anda dapat menentukan campuran worker sekunder Spot dan non-preemptible.

Contoh: Jika Anda memilih tiga worker sekunder saat membuat cluster, Anda dapat menentukan tiga Spot VM, tiga preemptible VM, tiga VM non-preemptible, atau gabungan worker spot dan non-preemptible.

Pekerja preemptible

  • Meskipun potensi penghapusan worker preemptible dapat memengaruhi stabilitas tugas, Anda dapat memutuskan untuk menggunakan preemptible instance guna menurunkan biaya komputasi per jam untuk pemrosesan data non-kritis atau untuk membuat cluster yang sangat besar dengan total biaya yang lebih rendah (Anda dapat menggunakan kalkulator harga Google Cloud untuk memperkirakan biaya).

  • Untuk hasil terbaik, jumlah preemptible worker di cluster Anda harus kurang dari 50% dari total jumlah semua worker (worker utama ditambah semua worker sekunder) di cluster Anda.

  • Saat menggunakan worker preemptible, tugas Anda kemungkinan besar akan mengalami lebih banyak kegagalan tugas worker tunggal sementara dibandingkan dengan tugas yang dijalankan pada worker non-preemptible. Untuk meningkatkan toleransi tugas terhadap kegagalan tugas tingkat rendah, Anda dapat menetapkan nilai properti cluster yang mirip dengan nilai properti default yang digunakan dengan cluster penskalaan otomatis untuk meningkatkan jumlah maksimum percobaan ulang tugas dan membantu menghindari kegagalan tugas.

  • Pertimbangan penghematan biaya: Menggunakan preemptible VM tidak selalu menghemat biaya karena preemption dapat menyebabkan eksekusi tugas yang lebih lama, sehingga biaya tugas menjadi lebih tinggi. Meskipun menggunakan Mode Fleksibilitas yang Ditingkatkan (EFM) dengan preemptible VM dapat membantu mengurangi hasil ini, penghematan biaya keseluruhan dari preemptible VM akan bervariasi sesuai dengan setiap kasus penggunaan. Secara umum, tugas yang berumur pendek lebih cocok untuk penggunaan preemptible VM, karena kemungkinan preemption selama eksekusi tugas akan lebih rendah. Coba berbagai opsi tugas, seperti tanpa preemptible VM dan preemptible VM dengan EFM, untuk memperkirakan biaya dan mendapatkan solusi terbaik.

Worker non-preemptible

Pilih pekerja sekunder

Anda dapat menentukan jumlah dan jenis worker sekunder saat membuat cluster menggunakan Cloud de Confiance konsol, gcloud CLI, atau Dataproc API.

  • Anda dapat menggabungkan spot dengan worker sekunder non-preemptible.
  • Anda dapat memperbarui cluster setelah dibuat untuk mengubah jumlah, tetapi bukan jenis, worker sekunder di cluster Anda.
  • Update label akan disebarkan ke semua worker sekunder preemptible dalam waktu 24 jam. Update label tidak akan disebarkan ke worker sekunder non-preemptible yang sudah ada. Update label akan disebarkan ke semua worker yang ditambahkan ke cluster setelah update label. Misalnya, jika Anda meningkatkan skala cluster, semua worker primer dan worker baru akan memiliki label baru.

Konsol

Anda dapat menentukan jumlah worker sekunder saat membuat cluster Managed Service untuk Apache Spark dari konsol Cloud de Confiance . Setelah cluster dibuat, Anda dapat menambahkan dan menghapus worker sekunder dengan mengedit konfigurasi cluster dari konsolCloud de Confiance .

Membuat cluster dengan worker sekunder

  1. Buka halaman Create cluster.
  2. Klik Additional configuration untuk meluaskan bagian tersebut.
  3. Edit Secondary workers.
  4. Di panel yang terbuka, tentukan jumlah, jenis, dan setelan worker sekunder lainnya.

Mengupdate cluster dengan instance sekunder

Untuk memperbarui jumlah worker sekunder dalam cluster, klik nama cluster di halaman Clusters di konsol Cloud de Confiance . Di halaman Cluster details. Klik tab Configuration, lalu klik Edit dan perbarui angka di kolom Secondary worker nodes.

Menghapus semua instance sekunder dari cluster

Untuk menghapus semua worker sekunder dari cluster, update konfigurasi cluster seperti yang dijelaskan sebelumnya, dengan menentukan 0 di kolom Secondary worker nodes.

Perintah gcloud CLI

Gunakan perintah gcloud dataproc clusters create untuk menambahkan worker sekunder ke cluster saat cluster dibuat. Setelah cluster dibuat, Anda dapat menambahkan atau menghapus worker sekunder ke atau dari cluster dengan perintah gcloud dataproc clusters update (jumlah, tetapi bukan jenis worker sekunder yang dapat diupdate).

Membuat cluster dengan worker sekunder

Untuk membuat cluster dengan worker sekunder, gunakan perintah gcloud dataproc clusters create dengan argumen --num-secondary-workers. Worker sekunder adalah preemptible VM standar secara default. Anda dapat menentukan worker sekunder non-preemptible atau spot saat membuat cluster dengan menetapkan flag --secondary-worker-type ke `non-preemptible` atau `spot`. Contoh berikut menunjukkan cara membuat cluster dengan setiap jenis worker sekunder: `preemptible` (default), spot (preemptible), dan non-preemptible. Anda dapat menggunakan flag tambahan untuk menggabungkan spot dengan worker sekunder non-preemptible.

Contoh 1

Perintah berikut membuat "cluster1" dengan dua worker sekunder preemptible standar (jenis default).

gcloud dataproc clusters create cluster1 \
    --num-secondary-workers=2 \
    --region=us-central1
Contoh 2

Perintah berikut menggunakan flag secondary-worker-type untuk membuat "cluster2" dengan dua worker sekunder spot (preemptible).

gcloud dataproc clusters create cluster2 \
    --num-secondary-workers=2 \
    --secondary-worker-type=spot \
    --region=us-central1

Contoh 3

Perintah berikut menggunakan flag secondary-worker-type untuk membuat "cluster3" dengan dua worker sekunder non-preemptible.

gcloud dataproc clusters create cluster3 \
    --num-secondary-workers=2 \
    --secondary-worker-type=non-preemptible \
    --region=us-central1

Mengubah ukuran boot disk worker sekunder. Secara default, semua worker sekunder dibuat dengan ukuran yang lebih kecil dari 1.000 GB atau ukuran boot disk worker utama. Kapasitas disk ini digunakan untuk caching data lokal dan tidak tersedia melalui HDFS. Anda dapat mengganti ukuran disk default dengan perintah gcloud dataproc clusters create --secondary-worker-boot-disk-size saat pembuatan cluster. Flag ini dapat ditentukan meskipun cluster tidak memiliki worker sekunder pada saat pembuatan.

Biarkan konsol Cloud de Confiance membuat permintaan pembuatan cluster Anda. Di bagian bawah halaman Create cluster, klik Equivalent command line atau Equivalent REST agar konsol Cloud de Confiance membuat perintah gcloud CLI atau permintaan REST API yang setara.

Mengupdate cluster dengan worker sekunder

Untuk mengupdate cluster guna menambahkan atau menghapus worker sekunder, gunakan perintah gcloud dataproc clusters update dengan flag --num-secondary-workers.

Contoh

Perintah berikut mengupdate example-cluster untuk menggunakan empat worker sekunder (dari jenis default atau jenis yang ditentukan saat Anda membuat cluster).

gcloud dataproc clusters update example-cluster \
    --num-secondary-workers=4 \
    --region=us-central1

Menghapus semua worker sekunder dari cluster

Untuk menghapus semua worker sekunder dari cluster, gunakan perintah gcloud dataproc clusters update dengan --num-secondary-workers ditetapkan ke 0.

Contoh

Perintah berikut menghapus semua worker sekunder dari "example-cluster".

gcloud dataproc clusters update example-cluster \
    --num-secondary-workers=0 \
    --region=us-central1

REST API

Membuat cluster dengan worker sekunder

Gunakan API clusters.create Managed Service untuk Apache Spark untuk menambahkan worker sekunder ke cluster saat cluster dibuat. Contoh berikut menunjukkan cara membuat cluster dengan setiap jenis worker sekunder: preemptible (default), spot (preemptible), dan non-preemptible. Anda dapat menggunakan kolom tambahan untuk menggabungkan spot dengan worker sekunder non-preemptible.

Contoh 1

Permintaan POST berikut membuat "cluster1" dengan dua worker VM preemptible standar (jenis default).


POST https://dataproc.googleapis.com/v1/projects/project-id/regions/region/clusters

{
  "clusterName": "cluster1",
  "config": {
    "secondaryWorkerConfig": {
      "numInstances": 2
    }
  }
}

Contoh 2

Permintaan POST berikut membuat "cluster2" dengan dua worker VM spot (preemptible).


POST https://dataproc.googleapis.com/v1/projects/project-id/regions/region/clusters

{
  "clusterName": "cluster2",
  "config": {
    "secondaryWorkerConfig": {
      "numInstances": 2,
      "preemptibility": "SPOT"
    }
  }
}

Contoh 3

Permintaan POST berikut membuat "cluster3" dengan dua worker sekunder non-preemptible.


POST https://dataproc.googleapis.com/v1/projects/project-id/regions/region/clusters

{
  "clusterName": "cluster3",
  "config": {
    "secondaryWorkerConfig": {
      "numInstances": 2,
      "preemptibility": "NON_PREEMPTIBLE"
    }
  }
}

Mengupdate cluster dengan worker sekunder

Gunakan API clusters.patch Managed Service untuk Apache Spark guna menambahkan dan menghapus worker sekunder.

Contoh

Permintaan PATCH berikut mengupdate cluster agar memiliki empat worker sekunder (dari jenis default atau jenis yang ditentukan saat Anda membuat cluster).


PATCH /v1/projects/project-id/regions/region/clusters/cluster-name?updateMask=config.secondary_worker_config.num_instances
{
  "config": {
    "secondaryWorkerConfig": {
      "numInstances": 4
    }
  }
}

Biarkan konsol Cloud de Confiance membuat permintaan pembuatan cluster Anda. Di bagian bawah halaman Create cluster, klik Equivalent command line atau Equivalent REST agar konsol Cloud de Confiance membuat perintah gcloud CLI atau permintaan REST API yang setara.

Memecahkan masalah worker sekunder

  • Masalah izin akun layanan: Worker sekunder dibuat melalui grup instance terkelola. Jika ada masalah izin, log Managed Service untuk Apache Spark tidak akan melaporkan kegagalan pembuatan worker sekunder, tetapi worker yang gagal akan tercantum di tab VM Instances pada halaman Cluster details di konsolCloud de Confiance tanpa tanda centang hijau. Untuk melihat listingan, buka halaman Clusters Managed Service untuk Apache Spark, lalu klik nama cluster untuk membuka halaman Cluster details untuk cluster tersebut.

  • Masalah izin grup instance terkelola: Untuk memeriksa apakah ada masalah dengan izin grup instance terkelola:

    1. Temukan nama grup instance terkelola (instanceGroupManagerName).

      KonsolCloud de Confiance

      1. Buka halaman Clusters, lalu klik nama cluster untuk membuka halaman Cluster details untuk cluster tersebut.
      2. Klik Equivalent REST di bagian bawah halaman, lalu lihat nilai config.secondaryWorkerConfig.managedGroupConfig.instanceGroupManagerName.

      gcloud CLI

      Jalankan perintah gcloud dataproc clusters describe dengan flag --format untuk menampilkan instanceGroupManagerName.

      gcloud dataproc clusters describe CLUSTER_NAME \
          --region=REGION \
          --format='value(config.secondaryWorkerConfig.managedGroupConfig.instanceGroupManagerName)'
      

      REST API

      Kirim permintaan clusters.get untuk menampilkan nilai config.secondaryWorkerConfig.managedGroupConfig.instanceGroupManagerName.

    2. Lihat log di Logs Explorer.
    • Pilih jenis resource Google Compute Engine Instance Group, dan filter untuk nama grup instance terkelola.

    • Atau, Anda dapat menerapkan filter logging untuk `resource.type="gce_instance_group" dan resource.labels.instance_group_name=INSTANCE_GROUP_MANAGER_NAME.

Menggabungkan spot dengan worker sekunder non-preemptible

Anda dapat menentukan kombinasi worker sekunder spot dan non-preemptible saat membuat cluster Managed Service untuk Apache Spark.

Setelan worker sekunder untuk menggabungkan worker sekunder spot dengan worker sekunder non-preemptible

Gunakan setelan worker sekunder berikut saat Anda membuat cluster Managed Service untuk Apache Spark guna mendapatkan tingkat kapasitas worker sekunder minimum dengan kemampuan untuk meningkatkan kapasitas saat spot VM tersedia:

  • secondary worker number: Total jumlah worker sekunder yang akan disediakan.

  • jenis worker sekunder: spot adalah jenis worker sekunder saat menggabungkan spot dengan worker sekunder non-preemptible.

  • standardCapacityBase: Jumlah worker sekunder non-preemptible (standar) yang akan disediakan. Worker sekunder non-preemptible disediakan sebelum jenis worker sekunder lainnya.

  • standardCapacityPercentAboveBase: Setelah jumlah worker sekunder standardCapacityBase terpenuhi, jumlah worker sekunder yang tersisa yang diperlukan untuk memenuhi total jumlah worker sekunder yang diminta akan dipenuhi dengan kombinasi VM non-preemptible dan Spot VM sebagai berikut:

    • standardCapacityPercentAboveBase: Persentase sisa worker sekunder yang akan diisi dengan VM non-preemptible.
    • Jumlah yang tersisa untuk memenuhi total jumlah worker sekunder yang diminta akan diisi dengan VM spot.

Contoh:

  • Jumlah worker sekunder: 15
  • standardCapacityBase: 5
  • standardCapacityPercentAboveBase 30%

Hasil:

  • Non-preemptible: 8 = 5 (standardCapacityBase) + 3 (30% dari sisa 10)
  • Spot: 7 (70% dari sisa 10)
  • Total = 15

Membuat cluster dengan campuran worker sekunder spot dan non-preemptible

Anda dapat menggunakan gcloud CLI atau Dataproc API untuk menggabungkan worker sekunder spot dengan worker sekunder non-preemptible saat membuat cluster.

gcloud

Jalankan perintah berikut secara lokal atau di Cloud Shell untuk membuat cluster dengan campuran worker sekunder spot dan non-preemptible.

gcloud dataproc clusters create CLUSTER_NAME \
    --project=PROJECT_ID \
    --region=REGION \
    --secondary-worker-type=spot \
    --num-secondary-workers=NUMBER_SECONDARY_WORKERS \
    --secondary-worker-standard-capacity-base=STANDARD_CAPACITY_BASE \
    --secondary-worker-standard-capacity-percent-above-base=STANDARD_CAPACITY_PERCENT_ABOVE_BASE \
    OTHER_FLAGS_AS_NEEDED

Catatan:

API

Untuk menggabungkan spot dengan worker sekunder non-preemptible, tetapkan kolom API preemptibility, standardCapacityBase, dan standardCapacityPercentAboveBase Managed Service untuk Apache Spark sebagai bagian dari permintaan cluster.create, seperti yang ditunjukkan dalam contoh JSON berikut:

{
  "clusterName": "CLUSTER_NAME",
  "config": {
    "secondaryWorkerConfig": {
      "numInstances": 15,
      **"preemptibility": "spot"**,
      "instanceFlexibilityPolicy": {
        "provisioningModelMix": {
          **"standardCapacityBase": STANDARD_CAPACITY_BASE**
          **"standardCapacityPercentAboveBase": STANDARD_CAPACITY_PERCENT_ABOVE_BASE**
        }
      }
    }
  }
}

Catatan:

Menggabungkan pencampuran worker sekunder dengan VM fleksibel

Anda dapat menggabungkan worker sekunder spot dan non-preemptible serta menentukan bentuk VM fleksibel untuk worker sekunder saat membuat cluster.

Contoh gcloud CLI:

gcloud dataproc clusters create cluster-name \
    --project=project-id \
    --region=us-central1 \
    --secondary-worker-type=spot \
    --num-secondary-workers=15 \
    --secondary-worker-standard-capacity-base=5 \
    --secondary-worker-standard-capacity-percent-above-base=30 \
    --secondary-worker-machine-types="type=n2-standard-8,rank=0" \
    --secondary-worker-machine-types="type=e2-standard-8,type=t2d-standard-8,rank=1"
    ...other flags as needed

Karakteristik pencampuran worker sekunder

Bagian ini menjelaskan beberapa perilaku dan karakteristik yang terkait dengan pencampuran worker sekunder spot dan non-preemptible.

Preferensi worker sekunder

Managed Service untuk Apache Spark tidak memberikan preferensi pada VM spot atau non-preemptible saat menjadwalkan aplikasi di worker sekunder.

Penskalaan worker sekunder

Saat worker sekunder diskalakan melalui penskalaan otomatis atau penskalaan manual, Managed Service untuk Apache Spark mempertahankan rasio spot-ke-non-preemptible yang diminta saat menambahkan worker sekunder.

Memperbarui setelan campuran pekerja sekunder

Anda menentukan kombinasi worker sekunder spot dan non-preemptible saat membuat cluster Managed Service untuk Apache Spark. Anda tidak dapat mengubah setelan campuran worker sekunder setelah membuat cluster.

Preemption worker sekunder Spot

  • Managed Service untuk Apache Spark tidak mengontrol waktu preemption Spot VM (lihat Preemption Spot VM).
  • Saat preemption spot terjadi, grup worker sekunder dapat berjalan dengan kapasitas yang berkurang untuk sementara hingga Compute Engine menyediakan kembali VM yang di-preempt.
  • Managed Service untuk Apache Spark tidak akan menambahkan kapasitas ke grup worker sekunder melebihi setelan awal grup.