Selain menggunakan VM Compute Engine standar sebagai worker Managed Service untuk Apache Spark (disebut worker "utama"), cluster Managed Service untuk Apache Spark dapat menggunakan worker secondary.
Karakteristik berikut berlaku untuk semua worker sekunder di cluster Managed Service untuk Apache Spark:
Hanya pemrosesan—Worker sekunder tidak menyimpan data. Node ini hanya berfungsi sebagai node pemrosesan. Oleh karena itu, Anda dapat menggunakan worker sekunder untuk menskalakan komputasi tanpa menskalakan penyimpanan.
Hanya worker sekunder—Anda dapat membuat cluster skala nol dengan worker sekunder saja. Namun, jika Anda membuat cluster standar dan hanya menentukan worker sekunder (Anda tidak menentukan jumlah worker utama), Managed Service untuk Apache Spark akan menambahkan dua worker utama ke cluster.
Jenis mesin—Secara default, worker sekunder menggunakan jenis mesin worker utama cluster. Misalnya, jika Anda membuat cluster dengan worker utama yang menggunakan jenis mesin
n1-standard-4, secara default, semua worker sekunder yang ditambahkan ke cluster juga akan menggunakan mesinn1-standard-4.Alih-alih menggunakan jenis mesin worker utama default untuk worker sekunder, Anda dapat menentukan satu atau beberapa daftar jenis mesin yang diberi peringkat untuk worker sekunder. Lihat VM Fleksibel Managed Service untuk Apache Spark untuk mengetahui informasi selengkapnya.
Ukuran persistent disk—Secara default, worker sekunder dibuat dengan ukuran yang lebih kecil antara 1.000 GB atau ukuran boot disk worker utama. Kapasitas disk ini digunakan untuk caching data lokal dan tidak tersedia melalui HDFS. Anda dapat mengganti ukuran disk default dengan perintah
gcloud dataproc clusters create --secondary-worker-boot-disk-sizesaat pembuatan cluster. Anda dapat menentukan flag ini meskipun cluster tidak akan memiliki worker sekunder saat dibuat.Pembuatan Asinkron—Saat Anda menambahkan worker sekunder dengan membuat atau meningkatkan skala cluster, worker sekunder mungkin tidak disediakan pada saat operasi pembuatan atau update selesai. Hal ini karena Managed Service untuk Apache Spark mengelola worker sekunder menggunakan Grup Instance Terkelola (MIG), yang membuat VM secara asinkron segera setelah dapat disediakan (lihat Memeriksa status instance terkelola).
Worker sekunder preemptible dan non-preemptible
Ada tiga jenis worker sekunder: spot VM, preemptible VM standar, dan non-preemptible VM. Jenis worker sekunder Managed Service untuk Apache Spark default adalah preemptible VM standar. Anda dapat menentukan campuran worker sekunder Spot dan non-preemptible.
Contoh: Jika Anda memilih tiga worker sekunder saat membuat cluster, Anda dapat menentukan tiga Spot VM, tiga preemptible VM, tiga VM non-preemptible, atau gabungan worker spot dan non-preemptible.
Pekerja preemptible
Meskipun potensi penghapusan worker preemptible dapat memengaruhi stabilitas tugas, Anda dapat memutuskan untuk menggunakan preemptible instance guna menurunkan biaya komputasi per jam untuk pemrosesan data non-kritis atau untuk membuat cluster yang sangat besar dengan total biaya yang lebih rendah (Anda dapat menggunakan kalkulator harga Google Cloud untuk memperkirakan biaya).
Untuk hasil terbaik, jumlah preemptible worker di cluster Anda harus kurang dari 50% dari total jumlah semua worker (worker utama ditambah semua worker sekunder) di cluster Anda.
Saat menggunakan worker preemptible, tugas Anda kemungkinan besar akan mengalami lebih banyak kegagalan tugas worker tunggal sementara dibandingkan dengan tugas yang dijalankan pada worker non-preemptible. Untuk meningkatkan toleransi tugas terhadap kegagalan tugas tingkat rendah, Anda dapat menetapkan nilai properti cluster yang mirip dengan nilai properti default yang digunakan dengan cluster penskalaan otomatis untuk meningkatkan jumlah maksimum percobaan ulang tugas dan membantu menghindari kegagalan tugas.
Pertimbangan penghematan biaya: Menggunakan preemptible VM tidak selalu menghemat biaya karena preemption dapat menyebabkan eksekusi tugas yang lebih lama, sehingga biaya tugas menjadi lebih tinggi. Meskipun menggunakan Mode Fleksibilitas yang Ditingkatkan (EFM) dengan preemptible VM dapat membantu mengurangi hasil ini, penghematan biaya keseluruhan dari preemptible VM akan bervariasi sesuai dengan setiap kasus penggunaan. Secara umum, tugas yang berumur pendek lebih cocok untuk penggunaan preemptible VM, karena kemungkinan preemption selama eksekusi tugas akan lebih rendah. Coba berbagai opsi tugas, seperti tanpa preemptible VM dan preemptible VM dengan EFM, untuk memperkirakan biaya dan mendapatkan solusi terbaik.
Worker non-preemptible
- Anda dapat membuat cluster dengan worker sekunder non-preemptible untuk menskalakan komputasi tanpa mengorbankan stabilitas tugas. Untuk melakukannya, tentukan
non-preemptiblesebagai jenis worker sekunder. Anda dapat menggabungkan worker sekunder non-preemptible dengan worker sekunder spot.
Pilih pekerja sekunder
Anda dapat menentukan jumlah dan jenis worker sekunder saat membuat cluster menggunakan Cloud de Confiance konsol, gcloud CLI, atau Dataproc API.
- Anda dapat menggabungkan spot dengan worker sekunder non-preemptible.
- Anda dapat memperbarui cluster setelah dibuat untuk mengubah jumlah, tetapi bukan jenis, worker sekunder di cluster Anda.
- Update label akan disebarkan ke semua worker sekunder preemptible dalam waktu 24 jam. Update label tidak akan disebarkan ke worker sekunder non-preemptible yang sudah ada. Update label akan disebarkan ke semua worker yang ditambahkan ke cluster setelah update label. Misalnya, jika Anda meningkatkan skala cluster, semua worker primer dan worker baru akan memiliki label baru.
Konsol
Anda dapat menentukan jumlah worker sekunder saat membuat cluster Managed Service untuk Apache Spark dari konsol Cloud de Confiance . Setelah cluster dibuat, Anda dapat menambahkan dan menghapus worker sekunder dengan mengedit konfigurasi cluster dari konsolCloud de Confiance .
Membuat cluster dengan worker sekunder
- Buka halaman Create cluster.
- Klik Additional configuration untuk meluaskan bagian tersebut.
- Edit Secondary workers.
- Di panel yang terbuka, tentukan jumlah, jenis, dan setelan worker sekunder lainnya.
Mengupdate cluster dengan instance sekunder
Untuk memperbarui jumlah worker sekunder dalam cluster, klik nama cluster di halaman Clusters di konsol Cloud de Confiance . Di halaman Cluster details. Klik tab Configuration, lalu klik Edit dan perbarui angka di kolom Secondary worker nodes.
Menghapus semua instance sekunder dari cluster
Untuk menghapus semua worker sekunder dari cluster, update konfigurasi cluster seperti yang dijelaskan sebelumnya, dengan menentukan 0 di kolom Secondary worker nodes.
Perintah gcloud CLI
Gunakan perintah
gcloud dataproc clusters create
untuk menambahkan worker sekunder ke cluster saat cluster dibuat.
Setelah cluster dibuat, Anda dapat menambahkan atau menghapus worker sekunder ke atau dari
cluster dengan
perintah
gcloud dataproc clusters update
(jumlah, tetapi bukan jenis worker sekunder yang dapat diupdate).
Membuat cluster dengan worker sekunder
Untuk membuat cluster dengan worker sekunder, gunakan perintah
gcloud dataproc clusters create
dengan argumen --num-secondary-workers. Worker sekunder
adalah preemptible VM standar secara default. Anda dapat menentukan worker sekunder non-preemptible atau spot saat membuat cluster dengan menetapkan flag --secondary-worker-type ke `non-preemptible` atau `spot`. Contoh berikut menunjukkan cara membuat cluster dengan setiap jenis worker sekunder: `preemptible` (default), spot (preemptible), dan non-preemptible. Anda dapat menggunakan flag tambahan untuk
menggabungkan spot dengan worker sekunder non-preemptible.
Perintah berikut membuat "cluster1" dengan dua worker sekunder preemptible standar (jenis default).
gcloud dataproc clusters create cluster1 \ --num-secondary-workers=2 \ --region=us-central1
Perintah berikut menggunakan flag secondary-worker-type
untuk membuat "cluster2" dengan dua worker sekunder spot (preemptible).
gcloud dataproc clusters create cluster2 \ --num-secondary-workers=2 \ --secondary-worker-type=spot \ --region=us-central1
Contoh 3
Perintah berikut menggunakan flag secondary-worker-type
untuk membuat "cluster3" dengan dua
worker sekunder non-preemptible.
gcloud dataproc clusters create cluster3 \ --num-secondary-workers=2 \ --secondary-worker-type=non-preemptible \ --region=us-central1
Mengubah ukuran boot disk worker sekunder.
Secara default, semua worker sekunder dibuat dengan ukuran yang lebih kecil dari
1.000 GB atau ukuran boot disk worker utama. Kapasitas disk ini digunakan untuk caching data lokal dan tidak tersedia melalui HDFS. Anda dapat mengganti ukuran disk default dengan perintah gcloud dataproc clusters create --secondary-worker-boot-disk-size saat pembuatan cluster. Flag ini dapat ditentukan meskipun cluster tidak memiliki worker sekunder pada saat pembuatan.
Biarkan konsol Cloud de Confiance membuat permintaan pembuatan cluster Anda. Di bagian bawah halaman Create cluster, klik Equivalent command line atau Equivalent REST agar konsol Cloud de Confiance membuat perintah gcloud CLI atau permintaan REST API yang setara.
Mengupdate cluster dengan worker sekunder
Untuk mengupdate cluster guna menambahkan atau menghapus worker sekunder, gunakan perintah
gcloud dataproc clusters update
dengan flag --num-secondary-workers.
Perintah berikut mengupdate example-cluster untuk menggunakan empat worker sekunder (dari jenis default atau jenis yang ditentukan saat Anda membuat cluster).
gcloud dataproc clusters update example-cluster \ --num-secondary-workers=4 \ --region=us-central1
Menghapus semua worker sekunder dari cluster
Untuk menghapus semua worker sekunder dari cluster, gunakan perintah
gcloud dataproc clusters update
dengan --num-secondary-workers ditetapkan ke 0.
Perintah berikut menghapus semua worker sekunder dari "example-cluster".
gcloud dataproc clusters update example-cluster \ --num-secondary-workers=0 \ --region=us-central1
REST API
Membuat cluster dengan worker sekunder
Gunakan API clusters.create Managed Service untuk Apache Spark untuk menambahkan worker sekunder ke cluster saat cluster dibuat. Contoh berikut
menunjukkan cara membuat cluster dengan setiap
jenis worker sekunder:
preemptible (default), spot (preemptible),
dan non-preemptible. Anda dapat menggunakan kolom tambahan untuk
menggabungkan spot dengan worker sekunder non-preemptible.
Permintaan POST berikut membuat "cluster1" dengan dua worker VM preemptible standar (jenis default).
POST https://dataproc.googleapis.com/v1/projects/project-id/regions/region/clusters
{
"clusterName": "cluster1",
"config": {
"secondaryWorkerConfig": {
"numInstances": 2
}
}
}
Contoh 2
Permintaan POST berikut membuat "cluster2" dengan dua worker VM spot (preemptible).
POST https://dataproc.googleapis.com/v1/projects/project-id/regions/region/clusters
{
"clusterName": "cluster2",
"config": {
"secondaryWorkerConfig": {
"numInstances": 2,
"preemptibility": "SPOT"
}
}
}
Contoh 3
Permintaan POST berikut membuat "cluster3" dengan dua worker sekunder non-preemptible.
POST https://dataproc.googleapis.com/v1/projects/project-id/regions/region/clusters
{
"clusterName": "cluster3",
"config": {
"secondaryWorkerConfig": {
"numInstances": 2,
"preemptibility": "NON_PREEMPTIBLE"
}
}
}
Mengupdate cluster dengan worker sekunder
Gunakan API clusters.patch Managed Service untuk Apache Spark guna menambahkan dan menghapus worker sekunder.
ContohPermintaan PATCH berikut mengupdate cluster agar memiliki empat worker sekunder (dari jenis default atau jenis yang ditentukan saat Anda membuat cluster).
PATCH /v1/projects/project-id/regions/region/clusters/cluster-name?updateMask=config.secondary_worker_config.num_instances
{
"config": {
"secondaryWorkerConfig": {
"numInstances": 4
}
}
}
Biarkan konsol Cloud de Confiance membuat permintaan pembuatan cluster Anda. Di bagian bawah halaman Create cluster, klik Equivalent command line atau Equivalent REST agar konsol Cloud de Confiance membuat perintah gcloud CLI atau permintaan REST API yang setara.
Memecahkan masalah worker sekunder
Masalah izin akun layanan: Worker sekunder dibuat melalui grup instance terkelola. Jika ada masalah izin, log Managed Service untuk Apache Spark tidak akan melaporkan kegagalan pembuatan worker sekunder, tetapi worker yang gagal akan tercantum di tab VM Instances pada halaman Cluster details di konsolCloud de Confiance tanpa tanda centang hijau. Untuk melihat listingan, buka halaman Clusters Managed Service untuk Apache Spark, lalu klik nama cluster untuk membuka halaman Cluster details untuk cluster tersebut.
Masalah izin grup instance terkelola: Untuk memeriksa apakah ada masalah dengan izin grup instance terkelola:
- Temukan nama grup instance terkelola (
instanceGroupManagerName).KonsolCloud de Confiance
- Buka halaman Clusters, lalu klik nama cluster untuk membuka halaman Cluster details untuk cluster tersebut.
- Klik Equivalent REST di bagian bawah halaman, lalu lihat nilai
config.secondaryWorkerConfig.managedGroupConfig.instanceGroupManagerName.
gcloud CLI
Jalankan perintah
gcloud dataproc clusters describedengan flag--formatuntuk menampilkaninstanceGroupManagerName.gcloud dataproc clusters describe CLUSTER_NAME \ --region=REGION \ --format='value(config.secondaryWorkerConfig.managedGroupConfig.instanceGroupManagerName)'
REST API
Kirim permintaan
clusters.getuntuk menampilkan nilaiconfig.secondaryWorkerConfig.managedGroupConfig.instanceGroupManagerName. - Lihat log di Logs Explorer.
Pilih jenis resource
Google Compute Engine Instance Group, dan filter untuk nama grup instance terkelola.Atau, Anda dapat menerapkan filter logging untuk `resource.type="gce_instance_group" dan
resource.labels.instance_group_name=INSTANCE_GROUP_MANAGER_NAME.
- Temukan nama grup instance terkelola (
Menggabungkan spot dengan worker sekunder non-preemptible
Anda dapat menentukan kombinasi worker sekunder spot dan non-preemptible saat membuat cluster Managed Service untuk Apache Spark.
Setelan worker sekunder untuk menggabungkan worker sekunder spot dengan worker sekunder non-preemptible
Gunakan setelan worker sekunder berikut saat Anda membuat cluster Managed Service untuk Apache Spark guna mendapatkan tingkat kapasitas worker sekunder minimum dengan kemampuan untuk meningkatkan kapasitas saat spot VM tersedia:
secondary worker number: Total jumlah worker sekunder yang akan disediakan.
jenis worker sekunder:
spotadalah jenis worker sekunder saat menggabungkan spot dengan worker sekunder non-preemptible.standardCapacityBase: Jumlah worker sekunder non-preemptible (standar) yang akan disediakan. Worker sekunder non-preemptible disediakan sebelum jenis worker sekunder lainnya.
standardCapacityPercentAboveBase: Setelah jumlah worker sekunder
standardCapacityBaseterpenuhi, jumlah worker sekunder yang tersisa yang diperlukan untuk memenuhi total jumlah worker sekunder yang diminta akan dipenuhi dengan kombinasi VM non-preemptible dan Spot VM sebagai berikut:standardCapacityPercentAboveBase: Persentase sisa worker sekunder yang akan diisi dengan VM non-preemptible.- Jumlah yang tersisa untuk memenuhi total jumlah worker sekunder yang diminta akan diisi dengan VM spot.
Contoh:
- Jumlah worker sekunder: 15
standardCapacityBase: 5standardCapacityPercentAboveBase30%
Hasil:
- Non-preemptible: 8 = 5 (
standardCapacityBase) + 3 (30% dari sisa 10) - Spot: 7 (70% dari sisa 10)
- Total = 15
Membuat cluster dengan campuran worker sekunder spot dan non-preemptible
Anda dapat menggunakan gcloud CLI atau Dataproc API untuk menggabungkan worker sekunder spot dengan worker sekunder non-preemptible saat membuat cluster.
gcloud
Jalankan perintah berikut secara lokal atau di Cloud Shell untuk membuat cluster dengan campuran worker sekunder spot dan non-preemptible.
gcloud dataproc clusters create CLUSTER_NAME \ --project=PROJECT_ID \ --region=REGION \ --secondary-worker-type=spot \ --num-secondary-workers=NUMBER_SECONDARY_WORKERS \ --secondary-worker-standard-capacity-base=STANDARD_CAPACITY_BASE \ --secondary-worker-standard-capacity-percent-above-base=STANDARD_CAPACITY_PERCENT_ABOVE_BASE \ OTHER_FLAGS_AS_NEEDED
Catatan:
- CLUSTER_NAME: Nama cluster baru.
- PROJECT_ID: Project ID Cloud de Confiance by S3NS Anda. Project ID tercantum di bagian Project info di Dashboard konsol Cloud de Confiance .
- REGION: Region Compute Engine yang tersedia untuk menjalankan workload.
--secondary-worker-type: Saat menggabungkan worker sekunder spot dan non-preemptible, tentukan jenis worker sekunder sebagaispot.- STANDARD_CAPACITY_BASE dan STANDARD_CAPACITY_PERCENT_ABOVE_BASE: Lihat Setelan worker sekunder untuk menggabungkan worker sekunder spot dengan worker sekunder non-preemptible.
- OTHER_FLAGS_AS_NEEDED: Lihat gcloud dataproc clusters create.
API
Untuk menggabungkan spot dengan worker sekunder non-preemptible, tetapkan kolom API preemptibility, standardCapacityBase, dan standardCapacityPercentAboveBase Managed Service untuk Apache Spark sebagai bagian dari permintaan cluster.create, seperti yang ditunjukkan dalam contoh JSON berikut:
{
"clusterName": "CLUSTER_NAME",
"config": {
"secondaryWorkerConfig": {
"numInstances": 15,
**"preemptibility": "spot"**,
"instanceFlexibilityPolicy": {
"provisioningModelMix": {
**"standardCapacityBase": STANDARD_CAPACITY_BASE**
**"standardCapacityPercentAboveBase": STANDARD_CAPACITY_PERCENT_ABOVE_BASE**
}
}
}
}
}
Catatan:
- CLUSTER_NAME: Nama cluster baru.
preemptibility: Saat menggabungkan worker sekunder spot dan non-preemptible, tentukanspot.- STANDARD_CAPACITY_BASE dan STANDARD_CAPACITY_PERCENT_ABOVE_BASE: Lihat Setelan worker sekunder untuk menggabungkan worker sekunder spot dengan worker sekunder non-preemptible.
Menggabungkan pencampuran worker sekunder dengan VM fleksibel
Anda dapat menggabungkan worker sekunder spot dan non-preemptible serta menentukan bentuk VM fleksibel untuk worker sekunder saat membuat cluster.
Contoh gcloud CLI:
gcloud dataproc clusters create cluster-name \ --project=project-id \ --region=us-central1 \ --secondary-worker-type=spot \ --num-secondary-workers=15 \ --secondary-worker-standard-capacity-base=5 \ --secondary-worker-standard-capacity-percent-above-base=30 \ --secondary-worker-machine-types="type=n2-standard-8,rank=0" \ --secondary-worker-machine-types="type=e2-standard-8,type=t2d-standard-8,rank=1" ...other flags as needed
Karakteristik pencampuran worker sekunder
Bagian ini menjelaskan beberapa perilaku dan karakteristik yang terkait dengan pencampuran worker sekunder spot dan non-preemptible.
Preferensi worker sekunder
Managed Service untuk Apache Spark tidak memberikan preferensi pada VM spot atau non-preemptible saat menjadwalkan aplikasi di worker sekunder.
Penskalaan worker sekunder
Saat worker sekunder diskalakan melalui penskalaan otomatis atau penskalaan manual, Managed Service untuk Apache Spark mempertahankan rasio spot-ke-non-preemptible yang diminta saat menambahkan worker sekunder.
Memperbarui setelan campuran pekerja sekunder
Anda menentukan kombinasi worker sekunder spot dan non-preemptible saat membuat cluster Managed Service untuk Apache Spark. Anda tidak dapat mengubah setelan campuran worker sekunder setelah membuat cluster.
Preemption worker sekunder Spot
- Managed Service untuk Apache Spark tidak mengontrol waktu preemption Spot VM (lihat Preemption Spot VM).
- Saat preemption spot terjadi, grup worker sekunder dapat berjalan dengan kapasitas yang berkurang untuk sementara hingga Compute Engine menyediakan kembali VM yang di-preempt.
- Managed Service untuk Apache Spark tidak akan menambahkan kapasitas ke grup worker sekunder melebihi setelan awal grup.