Diese Anleitung enthält eine Cloud Shell-Anleitung, in der die Google Cloud-Clientbibliotheken für Python verwendet werden, um programmatisch gRPC APIs von Managed Service for Apache Spark aufzurufen, um einen Cluster zu erstellen und einen Job an den Cluster zu senden.
In den folgenden Abschnitten wird die Verwendung des Anleitungscodes im GitHub-Repository GoogleCloudPlatform/python-dataproc erläutert.
Schritt-für-Schritt-Anleitung für Cloud Shell ausführen
Klicken Sie zum Ausführen der Anleitung auf Open in Cloud Shell (In Google Cloud Shell öffnen).
Den Code verstehen
In diesem Abschnitt wird erläutert, wie der Code der Anleitung die Cloud-Clientbibliotheken für Python verwendet, um sich bei Cloud de Confiancezu authentifizieren, einen Cluster zu erstellen, einen Spark-Job zu senden und den Cluster zu löschen.
Standardanmeldedaten für Anwendungen
Die Cloud Shell-Anleitung in diesem Tutorial bietet eine Authentifizierung mit Ihren Cloud de Confiance -Projektanmeldedaten. Wenn Sie Code lokal ausführen, sollten Sie Dienstkonto-Anmeldedaten verwenden, um Ihren Code zu authentifizieren.
Managed Service for Apache Spark-Cluster erstellen
Die folgenden Werte werden zum Erstellen des Clusters festgelegt:
- Das Projekt, in dem der Cluster erstellt wird.
- Die Region, in der der Cluster erstellt wird
- Der Name des Clusters
- Die Clusterkonfiguration, die einen Master und zwei primäre Worker angibt
Für die übrigen Clustereinstellungen werden die Standardkonfigurationseinstellungen verwendet. Sie können die Standardeinstellungen für die Clusterkonfiguration überschreiben. Sie können beispielsweise sekundäre VMs hinzufügen (Standardwert = 0) oder ein nicht standardmäßiges VPC-Netzwerk für den Cluster angeben. Weitere Informationen finden Sie unter CreateCluster.
Job senden
Die folgenden Werte werden festgelegt, um den Job zu senden:
- Das Projekt, in dem der Cluster erstellt wird.
- Die Region, in der der Cluster erstellt wird
- Die Jobkonfiguration, die den Clusternamen und den Cloud Storage-Dateipfad (URI) des PySpark-Jobs angibt
Weitere Informationen finden Sie unter SubmitJob.
Cluster löschen
Die folgenden Werte sind zum Löschen des Clusters festgelegt:
- Das Projekt, in dem der Cluster erstellt wird.
- Die Region, in der der Cluster erstellt wird
- Der Name des Clusters
Weitere Informationen finden Sie unter DeleteCluster.