Halaman ini menunjukkan cara memasang hyperdisk ke virtual machine (VM) di cluster Managed Service untuk Apache Spark. Anda dapat mengonfigurasi disk secara independen untuk grup node master, worker utama, dan worker sekunder. Disk ini dipasang ke node cluster selain boot disk dan SSD lokal yang dipasang ke node cluster.
Sebelum memulai
-
In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that you have the permissions required to complete this guide.
-
Verify that billing is enabled for your Cloud de Confiance project.
Enable the Managed Service for Apache Spark API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.
Peran yang diperlukan
Peran IAM tertentu diperlukan untuk menjalankan contoh di halaman ini. Bergantung pada kebijakan organisasi, peran ini mungkin sudah diberikan. Untuk memeriksa pemberian peran, lihat Apakah Anda perlu memberikan peran?.
Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.
Peran pengguna
Untuk mendapatkan izin yang Anda perlukan untuk membuat cluster Managed Service untuk Apache Spark, minta administrator untuk memberi Anda peran IAM berikut:
- Dataproc Editor (
roles/dataproc.editor) di project - Pengguna Akun Layanan (
roles/iam.serviceAccountUser) di akun layanan default Compute Engine
Peran akun layanan
Untuk memastikan bahwa akun layanan default Compute Engine memiliki izin yang diperlukan untuk membuat cluster Managed Service untuk Apache Spark,
minta administrator untuk memberikan
peran IAM Dataproc Worker (roles/dataproc.worker) ke akun layanan default Compute Engine di project.
Karakteristik disk
Disk yang terpasang memiliki karakteristik berikut:
- Siklus proses: Masa aktif disk yang terpasang cocok dengan masa aktif VM tempat disk tersebut terpasang. Managed Service untuk Apache Spark membuat disk saat membuat VM dan menghapus disk saat menghapus VM.
- Immutability: Anda tidak dapat memperbarui properti disk yang terpasang, seperti ukuran, IOPS, atau throughput, setelah cluster dibuat.
- Pemasangan dan penggunaan: Managed Service untuk Apache Spark memasang disk di
/mnt/N, denganNadalah bilangan bulat positif (misalnya,/mnt/1,/mnt/2). HDFS dan data sementara, seperti output shuffle, menggunakan disk yang terpasang, bukan persistent disk booting.
Konfigurasi disk
Anda dapat menentukan parameter konfigurasi disk berikut saat memasang disk ke node cluster Managed Service untuk Apache Spark:
Disk type - wajib diisi: Jenis disk yang akan dipasang ke instance VM. Hyperdisk berikut didukung:
hyperdisk-balancedhyperdisk-extremehyperdisk-mlhyperdisk-throughput
Jenis
hyperdisk balanced high availabilitydan disk persistent tidak dapat dipasang ke node cluster.Size - opsional: Ukuran disk. Nilainya harus berupa bilangan bulat yang diikuti dengan
GBuntuk gigabyte atauTBuntuk terabyte. Misalnya,10GBmemasang disk 10 gigabyte. Untuk mengetahui informasi selengkapnya, lihat Batas ukuran Hyperdisk.IOPs - opsional: Menunjukkan IOPS yang akan disediakan untuk disk yang terpasang. Parameter ini menetapkan batas untuk operasi I/O disk per detik. Untuk mengetahui informasi selengkapnya, lihat Tingkat performa default.
Throughput - opsional: Menunjukkan throughput yang akan disediakan untuk disk yang terpasang. Parameter ini menetapkan batas throughput dalam
MiBper detik. Untuk mengetahui informasi selengkapnya, lihat Tingkat performa default.
Memasang disk ke cluster
Anda dapat memasang disk saat membuat cluster Managed Service untuk Apache Spark menggunakan gcloud CLI atau Dataproc API untuk menentukan konfigurasi disk.
gcloud CLI
Untuk memasang disk saat Anda membuat cluster, gunakan flag
--master-attached-disks,--worker-attached-disks, atau--secondary-worker-attached-disksdengan perintahgcloud dataproc clusters create.Setiap flag menerima daftar konfigurasi disk yang dipisahkan dengan titik koma. Setiap konfigurasi disk adalah daftar key-value pair yang dipisahkan koma untuk
type,size,iops, danthroughput(lihat Konfigurasi disk).
Contoh: Perintah berikut membuat cluster dan memasang dua Hyperdisk ke setiap worker node utama.
gcloud dataproc clusters create CLUSTER_NAME \
--region=REGION \
--worker-attached-disks='type=hyperdisk-balanced,size=100GB,iops=5000,throughput=200;type=hyperdisk-throughput,size=9000GB'
API
Untuk memasang disk, sertakan array
attachedDiskConfigsdalam objekdiskConfiguntuk grup instancemasterConfig,workerConfig, atausecondaryWorkerConfig.Berikan konfigurasi dalam isi permintaan API
clusters.create.
Contoh: Cuplikan JSON berikut menunjukkan array attachedDiskConfigs
yang memasang dua hyperdisk.
[
{
"type": "hyperdisk-balanced",
"diskSizeGb": 100,
"provisionedIops": 5000,
"provisionedThroughput": 200
},
{
"type": "hyperdisk-throughput",
"diskSizeGb": 9000
}
]