Cluster node tunggal adalah cluster Managed Service untuk Apache Spark dengan hanya satu node. Node tunggal ini bertindak sebagai master dan worker untuk cluster Managed Service untuk Apache Spark Anda. Meskipun cluster node tunggal hanya memiliki satu node, sebagian besar konsep dan fitur Managed Service untuk Apache Spark masih berlaku, kecuali yang tercantum di bawah.
Ada sejumlah situasi saat cluster Managed Service untuk Apache Spark node tunggal dapat berguna, termasuk:
- Mencoba versi baru Spark dan Hadoop atau komponen open source lainnya
- Membuat demonstrasi bukti konsep (PoC)
- Data science ringan
- Pemrosesan data non-kritis berskala kecil
- Pendidikan terkait ekosistem Spark dan Hadoop
Semantik cluster node tunggal
Semantik berikut berlaku untuk cluster Managed Service untuk Apache Spark node tunggal:
- Cluster node tunggal dikonfigurasi sama seperti cluster Managed Service untuk Apache Spark multi-node, dan mencakup layanan seperti HDFS dan YARN.
- Cluster node tunggal dilaporkan sebagai node master untuk tindakan inisialisasi.
- Cluster node tunggal menampilkan 0 worker karena node tunggal bertindak sebagai master dan worker.
- Cluster node tunggal diberi nama host yang mengikuti pola
clustername-m. Anda dapat menggunakan nama host ini untuk SSH atau terhubung ke UI web di node. - Cluster node tunggal tidak dapat diupgrade ke cluster multi-node. Setelah dibuat, cluster node tunggal dibatasi untuk satu node. Demikian pula, cluster multi-node tidak dapat diperkecil skalanya menjadi cluster node tunggal.
Batasan
Cluster node tunggal tidak direkomendasikan untuk pemrosesan data paralel skala besar. Jika Anda melebihi resource pada cluster node tunggal, sebaiknya gunakan cluster Managed Service untuk Apache Spark multi-node.
Cluster node tunggal tidak tersedia dengan ketersediaan tinggi karena hanya ada satu node dalam cluster.
Cluster node tunggal tidak dapat menggunakan preemptible VM.
Membuat cluster node tunggal
Konsol
- Buka halaman Create cluster.
- Di bagian Define your cluster shape, pilih Development.
- Di bagian Additional configuration, edit Driver node, hapus centang pada kotak Default driver node to the same as primary worker, lalu konfirmasi atau ubah setelan node driver.
Perintah gcloud
Anda dapat membuat cluster Managed Service untuk Apache Spark node tunggal menggunakan alat command line gcloud. Untuk membuat cluster node tunggal, teruskan flag --single-node ke perintah gcloud dataproc clusters create.
gcloud dataproc clusters create cluster-name \ --region=region \ --single-node \ ... other args
REST API
Anda dapat membuat cluster node tunggal melalui Dataproc REST API menggunakan permintaan clusters.create. Saat membuat permintaan ini, Anda harus:
- Tambahkan properti
"dataproc:dataproc.allow.zero.workers":"true"ke SoftwareConfig permintaan cluster. - Jangan mengirimkan nilai untuk
workerConfigdansecondaryWorkerConfig(lihat ClusterConfig).