Um die Auswirkungen der Nichtverfügbarkeit von nutzerspezifischen VMs in bestimmten Regionen zu bestimmten Zeiten (Engpässe) zu minimieren, können Sie mit Managed Service for Apache Spark die Erstellung eines partial cluster anfordern, indem Sie eine Mindestanzahl von primären Workern angeben, die für die Clustererstellung akzeptabel ist.
| Standard-Cluster | Teilcluster |
|---|---|
| Wenn ein oder mehrere primäre Worker nicht erstellt und initialisiert werden können, schlägt die Clustererstellung fehl. Erstellte Worker werden weiterhin ausgeführt und verursachen Kosten, bis sie vom Nutzer gelöscht werden. | Wenn die angegebene Mindestanzahl von Workern erstellt werden kann, wird der Cluster erstellt. Fehlgeschlagene (nicht initialisierte) Worker werden gelöscht und es fallen keine Kosten an. Wenn die angegebene Mindestanzahl von Workern nicht erstellt und initialisiert werden kann, wird der Cluster nicht erstellt. Erstellte Worker werden nicht gelöscht, um das Debugging zu ermöglichen. |
| Die Clustererstellungszeit wird optimiert. | Die Erstellung des Clusters kann länger dauern, da alle Knoten den Bereitstellungsstatus melden müssen. |
| Cluster mit einem einzelnen Knoten können erstellt werden. | Cluster mit einem einzelnen Knoten können nicht erstellt werden. |
Autoscaling
Verwenden Sie Autoscaling mit teilweiser Clustererstellung, um sicherzustellen, dass die Zielanzahl (vollständig) von primären Workern erstellt wird. Autoscaling versucht, fehlgeschlagene Worker im Hintergrund zu erfassen, wenn sie für die Arbeitslast erforderlich sind.
Im Folgenden finden Sie eine Beispiel-Autoscaling-Richtlinie, die so lange wiederholt wird, bis die Gesamtzahl der primären Worker-Instanzen eine Zielgröße von 10 erreicht.
Die Werte minInstances und maxInstances der Richtlinie entsprechen der Mindest- und Gesamtzahl der primären Worker, die bei der Clustererstellung angegeben wurden (siehe Teilcluster erstellen).
Wenn Sie scaleDownFactor auf 0 setzen, wird verhindert, dass der Cluster von 10 auf 8 herunterskaliert wird. Die Anzahl der Worker bleibt so auf dem maximalen Limit von 10 Workern.
workerConfig:
minInstances: 8
maxInstances: 10
basicAlgorithm:
cooldownPeriod: 2m
yarnConfig:
scaleUpFactor: 1
scaleDownFactor: 0
gracefulDecommissionTimeout: 1h
Teilcluster erstellen
Sie können die Google Cloud CLI oder die Dataproc API verwenden, um einen Managed Service for Apache Spark-Teilcluster zu erstellen.
gcloud
Führen Sie den folgenden gcloud dataproc clusters create-Befehl lokal in einem Terminalfenster oder in Cloud Shell aus, um einen Managed Service for Apache Spark-Teilcluster über die Befehlszeile zu erstellen.
gcloud dataproc clusters create CLUSTER_NAME \ --project=PROJECT \ --region=REGION \ --num-workers=NUM_WORKERS \ --min-num-workers=MIN_NUM_WORKERS \ other args ...
Ersetzen Sie Folgendes:
- CLUSTER_NAME: Der Clustername muss mit einem Kleinbuchstaben beginnen, gefolgt von bis zu 51 Kleinbuchstaben, Ziffern und Bindestrichen. Das letzte Zeichen darf kein Bindestrich sein.
- PROJECT: Geben Sie das Projekt an, das mit dem Jobcluster verknüpft ist.
- REGION: Geben Sie die Compute Engine-Region an, in der sich der Jobcluster befinden soll.
- NUM_WORKERS: Die Gesamtzahl der primären Worker im Cluster, die erstellt werden sollen, falls verfügbar.
- MIN_NUM_WORKERS: Die Mindestanzahl der zu erstellenden primären Worker, wenn die angegebene Gesamtzahl der Worker (
NUM_WORKERS) nicht erstellt werden kann. Die Clustererstellung schlägt fehl, wenn diese Mindestanzahl von primären Workern nicht erstellt werden kann. Erstellte Worker werden nicht gelöscht, um das Debugging zu ermöglichen. Wenn dieses Flag weggelassen wird, wird versucht, einen Standardcluster mit der Gesamtzahl der primären Worker (NUM_WORKERS) zu erstellen.
REST
Wenn Sie einen Dataproc-Teilcluster erstellen möchten, geben Sie die Mindestanzahl der primären Worker im Feld workerConfig.minNumInstances als Teil einer clusters.create-Anfrage an.
Anzahl der bereitgestellten Worker anzeigen
Nachdem Sie einen Cluster erstellt haben, können Sie den folgenden gcloud CLI-Befehl ausführen, um die Anzahl der Worker, einschließlich aller sekundären Worker, aufzulisten, die in Ihrem Cluster bereitgestellt wurden.
gcloud dataproc clusters list \ --project=PROJECT \ --region=REGION \ --filter=clusterName=CLUSTER_NAME