Cluster mit hoher Verfügbarkeit erstellen

In diesem Dokument wird beschrieben, wie Sie einen Managed Service for Apache Spark-Cluster im HO-Modus (High Obtainability) erstellen. Der Modus „Hohe Verfügbarkeit“ verbessert die Wahrscheinlichkeit, dass Cluster-VMs in Zeiten hoher Nachfrage oder Ressourcenbeschränkungen erfolgreich bereitgestellt werden. Dazu kann Managed Service for Apache Spark aus einer Reihe kompatibler Maschinentypen auswählen, anstatt beim Erstellen eines Clusters einen festen Maschinentyp zu erfordern.

Verwenden Sie den Modus „Hohe Verfügbarkeit“, um Cluster mit Anforderungen an die Rechenleistung für allgemeine Zwecke zu erstellen. So können Sie Fehler bei der Clustererstellung und -skalierung aufgrund von nicht verfügbaren VMs vermeiden.

Funktionsweise des Modus „Hohe Verfügbarkeit“

In Standardanfragen zur Clustererstellung geben Sie bestimmte Maschinentypen (z. B. n2-standard-4) für Clusterknoten an. Wenn dieser bestimmte Maschinentyp in einer Zone nicht verfügbar ist, schlägt die Erstellungsanfrage fehl.

Im Modus „Hohe Verfügbarkeit“ geben Sie flexible Ressourcenanforderungen für Master-, primäre Worker- und sekundäre Worker-Knoten anstelle von festen Maschinentypen an:

• Anzahl der vCPU-Kerne: Sie fordern eine Zielanzahl von vCPUs pro VM-Instanz an (2, 4, 8, 16 oder 32 Kerne).

• Hardwareklasse: Sie geben das Leistungs- und Speicherprofil an:

  • STANDARD: Bietet eine ausgewogene Konfiguration mit etwa 4 GB Arbeitsspeicher pro vCPU und Standardstufen für nichtflüchtigen Speicher. Aktuelle Kandidaten für Maschinentypen sind n4-standard, n4d-standard, n2-standard und n2d-standard (Rang 0-Präferenz) sowie c4-standard und c4d-standard (Rang 1-Präferenz).
  • PERFORMANCE: Bietet eine leistungsstarke Konfiguration mit etwa 8 GB Arbeitsspeicher pro vCPU und Laufwerkskonfigurationen höherer Stufen (höhere IOPS und höherer Durchsatz). Zu den aktuellen Kandidaten für Maschinentypen gehören n4-highmem, n4d-highmem, n2-highmem und n2d-highmem (Präferenz Rang 0) sowie c4-highmem und c4d-highmem (Präferenz Rang 1).

• Anzahl der Instanzen: Sie geben die Anzahl der Instanzen für jede Gruppe an:

  • Master: muss 1 Instanz sein.
  • Primäre Worker: positive Ganzzahl.
  • Sekundäre Worker: nicht negative Ganzzahl.

• Größe des Bootlaufwerks: Optionale Größe des Bootlaufwerks (z. B. 100 GB).

Managed Service for Apache Spark verwendet automatisch die Auto Zone-Platzierung, um Zonen in der Clusterregion zu bewerten und Kandidaten-Maschinentypen innerhalb der angeforderten Hardwareklasse auszuwählen, die über verfügbare Kapazität verfügen.

Anforderungen und Einschränkungen

Für den Modus „Hohe Verfügbarkeit“ gelten die folgenden Anforderungen und Einschränkungen:

• Ressourcenkontingente: Ihr Projekt muss in der Clusterregion über ausreichende Compute Engine-Ressourcenkontingente für alle infrage kommenden Maschinenfamilien in der ausgewählten Hardwareklasse (N4, N4D, N2, N2D, C4 und C4D) verfügen. Da die zugrunde liegenden infrage kommenden Maschinentypen von Google gesteuert werden und sich jederzeit ändern können, sollten Sie sich nicht auf bestimmte Maschinentypen verlassen.
• Zonenspezifikation: Sie können keine explizite --zone (oder zoneUri) angeben. Managed Service for Apache Spark wählt automatisch eine verfügbare Zone in der Region mithilfe der automatischen Zonenplatzierung aus.
• Gegenseitiger Ausschluss bei festen Maschinen- und Knotenkonfigurationen:
  • Wenn Sie Master-, primäre Worker- oder sekundäre Worker-Knotengruppen mit flexiblen Konfigurationen (--master-flexible-config, --worker-flexible-config oder --secondary-worker-flexible-config) konfigurieren, können Sie für diese Knotengruppen keine Flags für Standardmaschinentyp, Instanzauswahl, Instanzanzahl, Laufwerk oder Beschleuniger angeben:
    • Master: Kann nicht mit --master-machine-type, --master-machine-types, --master-instance-selection, --master-instance-flexibility-policy-file, --master-boot-disk-size, --master-boot-disk-type, --num-master-local-ssds, --master-accelerator oder --master-min-cpu-platform kombiniert werden.
    • Primäre Worker: Können nicht mit --num-workers, --worker-machine-type, --worker-machine-types, --worker-instance-selection, --worker-instance-flexibility-policy-file, --worker-boot-disk-size, --worker-boot-disk-type, --num-worker-local-ssds, --worker-accelerator oder --worker-min-cpu-platform kombiniert werden.
    • Sekundäre Worker: Können nicht mit --num-secondary-workers, --secondary-worker-type, --secondary-worker-machine-types, --secondary-worker-instance-selection, --secondary-worker-instance-flexibility-policy-file, --secondary-worker-boot-disk-size, --secondary-worker-boot-disk-type, --num-secondary-worker-local-ssds oder --secondary-worker-accelerator kombiniert werden.
  • Wenn in einem Cluster mit mehreren Knoten der Modus für hohe Verfügbarkeit für die Masterknotengruppe aktiviert ist, muss die primäre Worker-Knotengruppe ebenfalls flexible Konfigurationen (--worker-flexible-config) verwenden.
  • Wenn sekundäre Worker in einem Cluster mit hoher Verfügbarkeit verwendet werden, müssen sie --secondary-worker-flexible-config anstelle von Standard-Flags für sekundäre Worker verwenden.
• Cluster mit einem einzelnen Knoten: In einem Cluster mit einem einzelnen Knoten (--single-node oder --cluster-type=single-node) kann nur --master-flexible-config angegeben werden. Flexible Konfigurations-Flags für primäre und sekundäre Worker werden nicht unterstützt.
• Clusterupdates: Sie können die Anzahl der Instanzen (num-instances) für primäre und sekundäre Worker mit gcloud dataproc clusters update aktualisieren. Die Anzahl der Kerne, die Hardwareklasse und die Größe des Bootlaufwerks sind Spezifikationen, die beim Erstellen festgelegt werden und danach nicht mehr geändert werden können.
• Hochverfügbarkeitscluster: Hochverfügbarkeitscluster (Cluster mit drei Masterknoten) werden im Modus „Hohe Verfügbarkeit“ nicht unterstützt. Die Anzahl der Masterinstanzen muss 1 sein.

Cluster mit hoher Verfügbarkeit erstellen

Sie können einen Cluster im Modus „Hohe Verfügbarkeit“ mit der Google Cloud CLI oder der Dataproc API erstellen.

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-flexible-config="cores=CORES,hardware-class=HARDWARE_CLASS,num-instances=1,boot-disk-size=BOOT_DISK_SIZE" \
    --worker-flexible-config="cores=CORES,hardware-class=HARDWARE_CLASS,num-instances=NUM_WORKERS,boot-disk-size=BOOT_DISK_SIZE"

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-flexible-config="cores=4,hardware-class=STANDARD,num-instances=1,boot-disk-size=100GB" \
    --worker-flexible-config="cores=4,hardware-class=STANDARD,num-instances=2,boot-disk-size=100GB" \
    --secondary-worker-flexible-config="cores=4,hardware-class=STANDARD,num-instances=2,boot-disk-size=100GB"

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --single-node \
    --master-flexible-config="cores=4,hardware-class=STANDARD,boot-disk-size=100GB"

gcloud dataproc clusters update CLUSTER_NAME \
    --region=REGION \
    --worker-flexible-config="num-instances=NEW_NUM_WORKERS"

POST https://dataproc.googleapis.com/v1/projects/PROJECT_ID/regions/REGION/clusters

{
  "projectId": "PROJECT_ID",
  "clusterName": "CLUSTER_NAME",
  "config": {
    "gceClusterConfig": {
      "zoneUri": ""
    },
    "masterFlexibleConfig": {
      "numInstances": 1,
      "coreCount": 4,
      "hardwareClass": "STANDARD",
      "bootDiskSizeGb": 100
    },
    "workerFlexibleConfig": {
      "numInstances": 2,
      "coreCount": 4,
      "hardwareClass": "STANDARD",
      "bootDiskSizeGb": 100
    }
  }
}

Nächste Schritte

• Weitere Informationen zur Auto Zone-Platzierung
• VM-Typen mit flexiblen VMs priorisieren
• Managed Service for Apache Spark-Cluster skalieren