Dalam dokumen ini, Anda akan menggunakan komponen Cloud de Confiance by S3NSyang dapat ditagih berikut:
- Managed Service for Apache Spark
- Compute Engine
- Managed Airflow
Sebelum memulai
Menyiapkan project
-
In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Cloud de Confiance project.
Enable the Dataproc, Compute Engine, and Managed Airflow APIs, if any are not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
Install the Google Cloud CLI.
-
Configure the gcloud CLI to use your federated identity.
For more information, see Sign in to the gcloud CLI with your federated identity.
-
To initialize the gcloud CLI, run the following command:
gcloud init
Membuat template alur kerja Managed Service untuk Apache Spark
Salin dan jalankan perintah berikut di jendela terminal lokal atau di Cloud Shell untuk membuat dan menentukan template alur kerja.
- Buat template alur kerja
sparkpi.gcloud dataproc workflow-templates create sparkpi \ --region=us-central1 - Tambahkan tugas spark ke template alur kerja
sparkpi. Flagstep-id"compute" mengidentifikasi tugas SparkPi.gcloud dataproc workflow-templates add-job spark \ --workflow-template=sparkpi \ --step-id=compute \ --class=org.apache.spark.examples.SparkPi \ --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \ --region=us-central1 \ -- 1000 - Gunakan cluster terkelola,
node tunggal
untuk menjalankan alur kerja. Managed Service untuk Apache Spark akan membuat cluster, menjalankan alur kerja di dalamnya, lalu menghapus cluster saat alur kerja selesai.
gcloud dataproc workflow-templates set-managed-cluster sparkpi \ --cluster-name=sparkpi \ --single-node \ --region=us-central1 - Konfirmasi pembuatan template alur kerja.
Konsol
Klik nama
sparkpidi halaman Workflows Managed Service untuk Apache Spark di konsol Cloud de Confiance untuk membuka halaman Workflow template details. Klik nama template alur kerja Anda untuk mengonfirmasi atribut templatesparkpi.
Perintah gcloud
Jalankan perintah berikut:
gcloud dataproc workflow-templates describe sparkpi --region=us-central1
Membuat dan mengupload DAG ke Cloud Storage
- Buat atau gunakan lingkungan Managed Airflow yang sudah ada.
- Menetapkan variabel lingkungan.
UI Airflow
- Di toolbar, klik Admin > Variabel.
- Klik Create.
- Masukkan informasi berikut:
- Kunci:
project_id - : PROJECT_ID — Project ID Cloud de Confiance by S3NS Anda
- Kunci:
- Klik Simpan.
Perintah gcloud
Masukkan perintah berikut:
ENVIRONMENTadalah nama lingkungan Managed AirflowLOCATIONadalah region tempat lingkungan Managed Airflow beradaPROJECT_IDadalah project ID untuk project yang berisi lingkungan Managed Airflow
gcloud composer environments run ENVIRONMENT --location LOCATION variables set -- project_id PROJECT_ID - Di toolbar, klik Admin > Variabel.
- Salin kode DAG berikut secara lokal ke dalam file berjudul "composer-dataproc-dag.py",
yang menggunakan
DataprocInstantiateWorkflowTemplateOperator.
Airflow 2
Airflow 1
- Upload DAG Anda ke folder lingkungan di Cloud Storage. Setelah upload berhasil diselesaikan, klik link DAGs Folder di halaman Managed Airflow Environment.
Melihat status tugas
UI Airflow
- Buka antarmuka web Airflow.
- Di halaman DAG, klik nama DAG (misalnya,
dataproc_workflow_dag). - Di halaman detail DAG, klik Graph View.
- Periksa status:
- Gagal: Tugas memiliki kotak merah di sekelilingnya.
Anda juga dapat menahan kursor di atas tugas dan mencari State: Failed.

- Berhasil: Tugas memiliki kotak hijau di sekelilingnya.
Anda juga dapat mengarahkan kursor ke tugas dan memeriksa State: Success.

- Gagal: Tugas memiliki kotak merah di sekelilingnya.
Anda juga dapat menahan kursor di atas tugas dan mencari State: Failed.
Konsol
Klik tab Workflows untuk melihat status alur kerja.
Perintah gcloud
gcloud dataproc operations list \
--region=us-central1 \
--filter="labels.goog-dataproc-workflow-template-id=sparkpi"
Pembersihan
Agar akun Cloud de Confiance Anda tidak dikenai biaya, Anda dapat menghapus resource yang digunakan dalam tutorial ini: