Dischi di avvio di Managed Service per Apache Spark

Seleziona Persistent Disk standard, SSD o bilanciato oppure Google Cloud Hyperdisk bilanciato come dischi di avvio per i nodi del cluster Managed Service for Apache Spark.

Opzioni per il tipo di disco di avvio:

  • Puoi selezionare un disco di avvio standard, SSD o bilanciato Persistent Disk per i nodi del cluster master, worker primario e worker secondario.

  • Puoi selezionare Hyperdisk Balanced come disco di avvio per i nodi master e worker primari. Tieni presente che Managed Service for Apache Spark imposta automaticamente il tipo di disco di avvio del worker secondario su Hyperdisk bilanciato quando il tipo di disco di avvio del worker primario è impostato su Hyperdisk bilanciato.

Il tipo di disco di avvio permanente predefinito per i nodi master e worker primari del cluster Managed Service for Apache Spark è standard (pd-standard). Se il tipo di macchina della VM supporta solo Hyperdisk bilanciato come disco di avvio, il disco di avvio predefinito è Hyperdisk bilanciato (hyperdisk-balanced). Il tipo di disco di avvio permanente predefinito per i nodi worker secondari del cluster è il tipo di disco di avvio permanente del nodo worker primario.

Seleziona i tipi di dischi di avvio permanenti per i nodi del cluster

Puoi selezionare il tipo di disco di avvio permanente quando crei un cluster utilizzando la consoleCloud de Confiance , Google Cloud CLI o l'API Dataproc.

ConsoleCloud de Confiance

Per selezionare i tipi di disco di avvio dei nodi del cluster:

  1. Apri la pagina Crea un cluster di Managed Service for Apache Spark.
  2. Fai clic su Configurazione aggiuntiva per espandere la sezione.
  3. Fai clic su Lavoratori principali e Lavoratori secondari per confermare o modificare le impostazioni predefinite.
  4. Per impostazione predefinita, le impostazioni del nodo driver (master) sono le stesse del worker primario. Nella sezione Configurazione aggiuntiva, puoi fare clic su Nodo driver per deselezionare la casella di controllo Imposta il nodo driver come il worker primario, quindi specificare le impostazioni del nodo driver.

gcloud CLI

Puoi creare un cluster e selezionare i tipi di disco di avvio dei nodi del cluster utilizzando il comando gcloud dataproc clusters create con i flag --master-boot-disk-type, --worker-boot-disk-type e --secondary-worker-boot-disk-type.

Esempio: 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    other args ...
p

API REST

Puoi impostare un valore di pd-standard, pd-ssd, pd-balanced o hyperdisk-balanced nel campo InstanceGroupConfig.DiskConfig.bootDiskType in masterConfig, workerConfig e secondaryWorkerConfig nell'ambito di una richiesta API cluster.create.

Impostazioni di Hyperdisk

Quando crei un cluster con un volume Hyperdisk bilanciato come disco di avvio per un nodo del cluster Managed Service for Apache Spark, puoi impostare le IOPS e il throughput sottoposti a provisioning.

Console

Per configurare le IOPS e il throughput sottoposti a provisioning:

  1. Apri la pagina Crea un cluster di Managed Service for Apache Spark.
  2. Fai clic su Configurazione aggiuntiva per espandere la sezione.
  3. Fai clic su Nodo driver o Worker principali.
  4. Nel riquadro che si apre, configura le impostazioni di IOPS e throughput di cui è stato eseguito il provisioning, poi fai clic su Salva.

gcloud CLI

Puoi impostare IOPS sottoposte a provisioning e throughput sottoposto a provisioning per i nodi del cluster con i dischi di avvio Hyperdisk bilanciati utilizzando i flag --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput e --worker-boot-disk-provisioned-throughput del comando gcloud dataproc clusters create.

Esempio: 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

API REST

Puoi impostare IOPS sottoposte a provisioning e throughput sottoposto a provisioning per i nodi del cluster con dischi di avvio Hyperdisk utilizzando i campi InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops e InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput per le configurazioni master e worker.