שימוש בספריות הלקוח של Cloud ל-Python

המדריך הזה כולל הדרכה מפורטת ב-Cloud Shell שבה משתמשים בספריות הלקוח של Google Cloud ל-Python כדי לשלוח קריאה פרוגרמטית ל-Managed Service for Apache Spark gRPC APIs, ליצור אשכול ולשלוח אליו משימה.

בקטעים הבאים מוסבר איך פועל הקוד של המדריך, שנמצא במאגר GoogleCloudPlatform/python-dataproc ב-GitHub.

הרצת המדריך של Cloud Shell

לוחצים על Open in Cloud Shell כדי להריץ את ההדרכה המפורטת.

פתיחה ב-Cloud Shell

הבנת הקוד

בקטע הזה מוסבר איך הקוד של המדריך משתמש בספריות הלקוח של Cloud ל-Python כדי לבצע אימות ב- Cloud de Confiance, ליצור אשכול, לשלוח משימת Spark ולמחוק את האשכול.

Application Default Credentials

המדריך המפורט של Cloud Shell במאמר הזה מספק אימות באמצעות פרטי הכניסה לפרויקט ב- Cloud de Confiance . כשמריצים קוד באופן מקומי, מומלץ להשתמש בפרטי כניסה לחשבון שירות כדי לאמת את הקוד.

יצירת אשכול ב-Managed Service for Apache Spark

הערכים הבאים מוגדרים כדי ליצור את האשכול:

  • הפרויקט שבו ייווצר האשכול
  • האזור שבו ייווצר האשכול
  • שם האשכול
  • הגדרת האשכול, שמציינת מאסטר אחד ושני primary workers

הגדרות ברירת המחדל של התצורה משמשות להגדרות האשכול שנותרו. אתם יכולים לשנות את הגדרות ברירת המחדל של האשכול. לדוגמה, אפשר להוסיף מכונות וירטואליות משניות (ברירת המחדל = 0) או לציין רשת VPC שאינה ברירת המחדל לאשכול. מידע נוסף זמין במאמר CreateCluster.

def quickstart(project_id, region, cluster_name, gcs_bucket, pyspark_file):
    # Create the cluster client.
    cluster_client = dataproc_v1.ClusterControllerClient(
        client_options={"api_endpoint": f"{region}-dataproc.googleapis.com:443"}
    )

    # Create the cluster config.
    cluster = {
        "project_id": project_id,
        "cluster_name": cluster_name,
        "config": {
            "master_config": {"num_instances": 1, "machine_type_uri": "n1-standard-2"},
            "worker_config": {"num_instances": 2, "machine_type_uri": "n1-standard-2"},
        },
    }

    # Create the cluster.
    operation = cluster_client.create_cluster(
        request={"project_id": project_id, "region": region, "cluster": cluster}
    )
    result = operation.result()

    print(f"Cluster created successfully: {result.cluster_name}")

שליחת משימה

הערכים הבאים מוגדרים לשליחת המשימה:

  • הפרויקט שבו ייווצר האשכול
  • האזור שבו ייווצר האשכול
  • הגדרת המשימה, שמציינת את שם האשכול ואת נתיב הקובץ (URI) של משימת PySpark ב-Cloud Storage

מידע נוסף זמין במאמר SubmitJob.

# Create the job client.
job_client = dataproc_v1.JobControllerClient(
    client_options={"api_endpoint": f"{region}-dataproc.googleapis.com:443"}
)

# Create the job config.
job = {
    "placement": {"cluster_name": cluster_name},
    "pyspark_job": {"main_python_file_uri": f"gs://{gcs_bucket}/{spark_filename}"},
}

operation = job_client.submit_job_as_operation(
    request={"project_id": project_id, "region": region, "job": job}
)
response = operation.result()

# Dataproc job output is saved to the Cloud Storage bucket
# allocated to the job. Use regex to obtain the bucket and blob info.
matches = re.match("gs://(.*?)/(.*)", response.driver_output_resource_uri)

output = (
    storage.Client()
    .get_bucket(matches.group(1))
    .blob(f"{matches.group(2)}.000000000")
    .download_as_bytes()
    .decode("utf-8")
)

print(f"Job finished successfully: {output}\r\n")

מחיקת האשכול

הערכים הבאים מוגדרים למחיקת האשכול:

  • הפרויקט שבו ייווצר האשכול
  • האזור שבו ייווצר האשכול
  • שם האשכול

מידע נוסף זמין במאמר DeleteCluster.

# Delete the cluster once the job has terminated.
operation = cluster_client.delete_cluster(
    request={
        "project_id": project_id,
        "region": region,
        "cluster_name": cluster_name,
    }
)
operation.result()

print(f"Cluster {cluster_name} successfully deleted.")