Auf dieser Seite erfahren Sie, wie Sie mit dem gcloud-Befehlszeilentool der Google Cloud CLI einen Managed Service for Apache Spark-Cluster erstellen, einen Apache Spark-Job im Cluster ausführen und dann die Anzahl der Worker im Cluster ändern.
Informationen dazu, wie Sie dieselben oder ähnliche Aufgaben mit Kurzanleitungen mit dem API Explorer, derCloud de Confiance Console in Cluster mit derCloud de Confiance Console erstellen und mit den Clientbibliotheken in Cluster mit Clientbibliotheken erstellen ausführen, finden Sie hier.
Hinweis
-
Installieren Sie die Google Cloud CLI.
-
Konfigurieren Sie die gcloud CLI für die Verwendung Ihrer föderierten Identität.
Weitere Informationen finden Sie unter Mit Ihrer föderierten Identität in der gcloud CLI anmelden.
-
Führen Sie den folgenden Befehl aus, um die gcloud CLI zu initialisieren:
gcloud init -
Erstellen oder wählen Sie ein Cloud de Confiance -Projekt aus.
Erforderliche Rollen zum Auswählen oder Erstellen eines Projekts
- Projekt auswählen: Für die Auswahl eines Projekts ist keine bestimmte IAM-Rolle erforderlich. Sie können jedes Projekt auswählen, für das Ihnen eine Rolle zugewiesen wurde.
-
Projekt erstellen: Zum Erstellen eines Projekts benötigen Sie die Rolle „Project Creator“ (
roles/resourcemanager.projectCreator), die die Berechtigungresourcemanager.projects.createenthält. Informationen zum Zuweisen von Rollen
-
Erstellen Sie ein Projekt in Cloud de Confiance :
gcloud projects create PROJECT_ID
Ersetzen Sie
PROJECT_IDdurch einen Namen für das Projekt in Cloud de Confiance , das Sie erstellen. -
Wählen Sie das von Ihnen erstellte Projekt in Cloud de Confiance aus:
gcloud config set project PROJECT_ID
Ersetzen Sie
PROJECT_IDdurch den Namen Ihres Projekts in Cloud de Confiance .
-
Prüfen Sie, ob Sie die Berechtigungen haben, die für diese Anleitung erforderlich sind.
-
Prüfen Sie, ob die Abrechnung für Ihr Cloud de Confiance -Projekt aktiviert ist.
Aktivieren Sie die Dataproc API, falls sie noch nicht aktiviert ist:
Rollen, die zum Aktivieren von APIs erforderlich sind
Zum Aktivieren von APIs benötigen Sie die Berechtigung
serviceusage.services.enable. Wenn Sie das Projekt erstellt haben, haben Sie diese Berechtigung wahrscheinlich bereits über die Inhaberrolle (roles/owner). Andernfalls können Sie diese Berechtigung über die Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) erhalten. Informationen zum Zuweisen von Rollengcloud services enable dataproc.googleapis.com
Erforderliche Rollen
Zum Ausführen der Beispiele auf dieser Seite sind bestimmte IAM-Rollen erforderlich. Je nach Organisationsrichtlinien wurden diese Rollen möglicherweise bereits gewährt. Informationen zum Prüfen von Rollenzuweisungen finden Sie unter Müssen Sie Rollen zuweisen?.
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Nutzerrollen
Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen eines Managed Service for Apache Spark-Clusters benötigen:
- Dataproc-Bearbeiter (
roles/dataproc.editor) für das Projekt - Dienstkontonutzer (
roles/iam.serviceAccountUser) für das Compute Engine-Standarddienstkonto
Dienstkontorolle
Bitten Sie Ihren Administrator, dem Compute Engine-Standarddienstkonto die folgenden IAM-Rollen für das Projekt zuzuweisen, damit das Compute Engine-Standarddienstkonto die erforderlichen Berechtigungen zum Erstellen eines Managed Service for Apache Spark-Clusters hat:
-
Alle:
Dataproc-Worker (
roles/dataproc.worker)
Cluster erstellen
Führen Sie den folgenden gcloud
Managed Service for Apache Spark clusters
create-Befehl aus, um einen Cluster mit dem Namen example-cluster zu erstellen.
gcloud dataproc clusters create example-cluster --region=REGION
Ersetzen Sie Folgendes:
REGION: Geben Sie eine Region an, in der sich der Cluster befinden soll.
Job senden
Führen Sie den folgenden gcloud Managed Service for Apache Spark jobs submit spark-Befehl aus, um einen Spark-Beispieljob zu senden, der einen ungefähren Wert für pi berechnet:
gcloud dataproc jobs submit spark --cluster example-cluster \ --region=REGION \ --class org.apache.spark.examples.SparkPi \ --jars file:///usr/lib/spark/examples/jars/spark-examples.jar -- 1000
Hinweise:
Ersetzen Sie Folgendes:
REGION: Geben Sie die Clusterregion an.
- Der Job wird auf dem
example-clusterausgeführt. - Die
classenthält die Hauptmethode für SparkPi, die einen ungefähren Wert derpi-Anwendung berechnet. Die JAR-Datei enthält den Jobcode. Hinweis:
file:///usr/lib/spark/examples/jars/spark-examples.jarist eine Beispiel-JAR-Datei, die auf dem Cluster vorinstalliert ist. Geben Sie für benutzerdefinierte Jobs Ihre JAR-Datei in Cloud Storage an (siehe Job einreichen).1000ist ein Jobparameter. Sie gibt die Anzahl der Aufgaben (Iterationen) an, die der Job ausführt, um den Wert vonpizu berechnen.
Die aktuelle bzw. endgültige Ausgabe des Jobs wird im Terminalfenster angezeigt:
Waiting for job output... ... Pi is roughly 3.14118528 ... Job finished successfully.
Cluster aktualisieren
Führen Sie den folgenden Befehl aus, um die Anzahl der Worker im Cluster auf fünf zu ändern:
gcloud dataproc clusters update example-cluster \ --region=REGION \ --num-workers 5
In der Befehlsausgabe werden Clusterdetails angezeigt:
workerConfig: ... instanceNames: - example-cluster-w-0 - example-cluster-w-1 - example-cluster-w-2 - example-cluster-w-3 - example-cluster-w-4 numInstances: 5 statusHistory: ... - detail: Add 3 workers.
Führen Sie den folgenden Befehl aus, um die Anzahl der Worker-Knoten auf den ursprünglichen Wert von 2 zu reduzieren:
gcloud dataproc clusters update example-cluster \ --region=REGION \ --num-workers 2
Bereinigen
Mit den folgenden Schritten vermeiden Sie, dass Ihrem Cloud de Confiance -Konto die auf dieser Seite verwendeten Ressourcen in Rechnung gestellt werden:
- Führen Sie den Befehl
clusters deleteaus, um dieexample-clusterzu löschen:gcloud dataproc clusters delete example-cluster \ --region=REGION