In diesem Dokument verwenden Sie die folgenden kostenpflichtigen Komponenten von Cloud de Confiance by S3NS:
- Managed Service for Apache Spark
- Compute Engine
- Managed Airflow
Hinweis
Projekt einrichten
-
In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Cloud de Confiance project.
Enable the Dataproc, Compute Engine, and Managed Airflow APIs, if any are not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
Install the Google Cloud CLI.
-
Configure the gcloud CLI to use your federated identity.
For more information, see Sign in to the gcloud CLI with your federated identity.
-
To initialize the gcloud CLI, run the following command:
gcloud init
Managed Service for Apache Spark-Workflowvorlage erstellen
Kopieren Sie die folgenden Befehle und führen Sie sie in einem lokalen Terminalfenster oder in Cloud Shell aus, um eine Workflowvorlage zu erstellen und zu definieren.
- Erstellen Sie die
sparkpi-Workflow-Vorlage.gcloud dataproc workflow-templates create sparkpi \ --region=us-central1 - Fügen Sie der Workflow-Vorlage
sparkpiden Spark-Job hinzu. Das „compute“-Flagstep-ididentifiziert den SparkPi-Job.gcloud dataproc workflow-templates add-job spark \ --workflow-template=sparkpi \ --step-id=compute \ --class=org.apache.spark.examples.SparkPi \ --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \ --region=us-central1 \ -- 1000 - Führen Sie den Workflow mit einem verwalteten Cluster mit einem einzelnen Knoten aus. Managed Service for Apache Spark erstellt den Cluster, führt den Workflow darauf aus und löscht den Cluster, wenn der Workflow abgeschlossen ist.
gcloud dataproc workflow-templates set-managed-cluster sparkpi \ --cluster-name=sparkpi \ --single-node \ --region=us-central1 - Bestätigen Sie das Erstellen der Workflow-Vorlage.
Console
Klicken Sie auf der Seite Workflows von Managed Service for Apache Spark in der Cloud de Confiance -Konsole auf den Namen des
sparkpi, um die Seite Details zur Workflowvorlage zu öffnen. Klicken Sie auf den Namen Ihrer Workflowvorlage, um diesparkpi-Vorlagenattribute zu bestätigen.
gcloud-Befehl
Führen Sie dazu diesen Befehl aus:
gcloud dataproc workflow-templates describe sparkpi --region=us-central1
DAG erstellen und in Cloud Storage hochladen
- Erstellen Sie eine Managed Airflow-Umgebung oder verwenden Sie eine vorhandene.
- Umgebungsvariablen festlegen
Airflow-UI
- Klicken Sie in der Symbolleiste auf Admin > Variables.
- Klicken Sie auf Erstellen.
- Geben Sie die folgenden Informationen ein:
- Key:
project_id - Val: PROJECT_ID: Projekt-ID in Cloud de Confiance by S3NS
- Key:
- Klicken Sie auf Speichern.
gcloud-Befehl
Geben Sie die folgenden Befehle ein:
ENVIRONMENTist der Name der Managed Airflow-Umgebung.LOCATIONist die Region, in der sich die Managed Airflow-Umgebung befindet.PROJECT_IDist die Projekt-ID des Projekts, das die Managed Airflow-Umgebung enthält.
gcloud composer environments run ENVIRONMENT --location LOCATION variables set -- project_id PROJECT_ID - Klicken Sie in der Symbolleiste auf Admin > Variables.
- Kopieren Sie den folgenden DAG-Code lokal in eine Datei namens „composer-dataproc-dag.py“, die den DataprocInstantiateWorkflowTemplateOperator verwendet.
Airflow 2
Airflow 1
- Führen Sie ein Upload des DAG in Ihren Umgebungsordner in Cloud Storage aus. Klicken Sie nach dem erfolgreichen Upload auf der Seite der Managed Airflow-Umgebung auf den Link DAGs-Ordner.
Status einer Aufgabe ansehen
Airflow-UI
- Öffnen Sie die Airflow-Weboberfläche.
- Klicken Sie auf der Seite "DAGs" auf den DAG-Namen, z. B.
dataproc_workflow_dag. - Klicken Sie auf der DAGs-Detailseite auf Grafikansicht.
- Status prüfen:
- Fehlgeschlagen: Die Aufgabe ist rot umrandet.
Sie können auch den Mauszeiger über die Aufgabe halten und nach State: Failed suchen.

- Erfolgreich: Die Aufgabe ist grün umrandet.
Sie können auch den Mauszeiger über die Aufgabe halten und nach State: Success suchen.

- Fehlgeschlagen: Die Aufgabe ist rot umrandet.
Sie können auch den Mauszeiger über die Aufgabe halten und nach State: Failed suchen.
Console
Klicken Sie auf den Tab „Workflows“, um den Workflow-Status anzusehen.
gcloud-Befehl
gcloud dataproc operations list \
--region=us-central1 \
--filter="labels.goog-dataproc-workflow-template-id=sparkpi"
Bereinigen
Damit Ihrem Cloud de Confiance Konto keine Gebühren in Rechnung gestellt werden, können Sie die in dieser Anleitung verwendeten Ressourcen löschen:
Nächste Schritte
- Weitere Informationen finden Sie unter Übersicht über Workflowvorlagen für Managed Service for Apache Spark.
- Siehe Lösungen für die Workflowplanung.