Einzelknotencluster sind Managed Service for Apache Spark-Cluster mit nur einem Knoten. Dieser einzelne Knoten fungiert als Master und Worker für Ihren Managed Service for Apache Spark-Cluster. Obwohl Cluster mit einem einzelnen Knoten nur einen Knoten haben, gelten die meisten Konzepte und Funktionen von Managed Service for Apache Spark weiterhin, mit Ausnahme der unten aufgeführten.
Es gibt eine Reihe von Situationen, in denen Managed Service for Apache Spark-Cluster mit einem einzelnen Knoten nützlich sein können, darunter:
- Beim Testen neuer Versionen von Spark und Hadoop sowie anderen Open-Source-Komponenten
- Beim Erstellen von PoC-Demonstrationen (Proof of Concept)
- Leichtere Projekte im Bereich Data Science
- Nicht kritische Datenverarbeitung in kleinem Umfang
- Schulungen zum Spark- und Hadoop-Ökosystem
Semantik von Clustern mit einzelnem Knoten
Für Managed Service for Apache Spark-Cluster mit einem einzelnen Knoten gelten die folgenden Semantiken:
- Einzelknotencluster werden genauso konfiguriert wie Managed Service for Apache Spark-Cluster mit mehreren Knoten und enthalten Dienste wie HDFS und YARN.
- Cluster mit einzelnem Knoten werden als Masterknoten für Initialisierungsaktionen angegeben.
- Bei Clustern mit einem einzelnen Knoten werden 0 Worker angezeigt, da der einzelne Knoten sowohl als Master als auch als Worker fungiert.
- Cluster mit nur einem Knoten erhalten Hostnamen gemäß dem Muster
clustername-m. Mit diesem Hostnamen können Sie eine SSH-Verbindung oder eine Verbindung zur Web-UI auf dem Knoten erstellen. - Cluster mit einzelnem Knoten können nicht auf Cluster mit mehreren Knoten aufgerüstet werden. Cluster mit einzelnem Knoten sind nach ihrer Erstellung auf einen einzigen Knoten beschränkt. Cluster mit mehreren Knoten können nicht auf Cluster mit einzelnem Knoten herunterskaliert werden.
Beschränkungen
Cluster mit einem einzelnen Knoten werden nicht für die parallele Datenverarbeitung in großem Umfang empfohlen. Wenn Sie die Ressourcen eines Clusters mit einem einzelnen Knoten überschreiten, wird ein Managed Service for Apache Spark-Cluster mit mehreren Knoten empfohlen.
Cluster mit einem einzelnen Knoten werden nicht mit hoher Verfügbarkeit angeboten, da der Cluster nur einen Knoten enthält.
Cluster mit einzelnem Knoten können keine VMs auf Abruf verwenden.
Cluster mit einem einzelnen Knoten erstellen
Console
- Öffnen Sie die Seite Cluster erstellen.
- Wählen Sie im Abschnitt Clusterform definieren die Option Entwicklung aus.
- Bearbeiten Sie unter Zusätzliche Konfiguration den Treiberknoten, entfernen Sie das Häkchen bei Treiberknoten standardmäßig auf primären Worker festlegen und bestätigen oder ändern Sie die Einstellungen für den Treiberknoten.
gcloud-Befehl
Sie können mit dem gcloud-Befehlszeilentool einen Managed Service for Apache Spark-Cluster mit einem einzelnen Knoten erstellen. Wenn Sie einen Cluster mit einem einzelnen Knoten erstellen möchten, übergeben Sie das Flag --single-node an den Befehl gcloud dataproc clusters create.
gcloud dataproc clusters create cluster-name \ --region=region \ --single-node \ ... other args
REST API
Sie können Einzelknotencluster über die Dataproc REST API mithilfe der Anfrage clusters.create erstellen. Gehen Sie beim Erstellen der Anfrage so vor:
- Fügen Sie der SoftwareConfig der Clusteranfrage das Attribut
"dataproc:dataproc.allow.zero.workers":"true"hinzu. - Senden Sie keine Werte für
workerConfigundsecondaryWorkerConfig(siehe ClusterConfig).