הגדרת סביבת Python

משימות PySpark ב-Managed Service for Apache Spark מופעלות על ידי מפרש Python באשכול. קוד המשימה חייב להיות תואם בזמן הריצה לגרסה וליחסי התלות של מפרש Python.

בדיקת הגרסה והמודולים של המפרש

תוכנית הדוגמה הבאה ב-check_python_env.py בודקת את משתמש Linux שמריץ את המשימה, את רכיב התרגום ב-Python ואת המודולים הזמינים.

import getpass
import importlib.util
import sys

print(f'This job is running as "{getpass.getuser()}".')
print(sys.executable, sys.version_info)
for package in sys.argv[1:]:
  print(importlib.util.find_spec(package))

מפעילים את התוכנה:

REGION=region
gcloud dataproc jobs submit pyspark check_python_env.py \
    --cluster=my-cluster \
    --region=${REGION} \
    -- pandas scipy

פלט לדוגמה:

This job is running as "root".
/opt/conda/default/bin/python sys.version_info(major=3, minor=11, micro=8, releaselevel='final', serial=0)
ModuleSpec(name='pandas', loader=<_frozen_importlibexternal.SourceFileLoader object at 0x7f8b9c0a3d90>, origin='/opt/conda/default/lib/python3.11/site-packages/pandas/init_.py', submodule_search_locations=['/opt/conda/default/lib/python3.11/site-packages/pandas'])
ModuleSpec(name='scipy', loader=<_frozen_importlibexternal.SourceFileLoader object at 0x7f8b9c0a3e50>, origin='/opt/conda/default/lib/python3.11/site-packages/scipy/init_.py', submodule_search_locations=['/opt/conda/default/lib/python3.11/site-packages/scipy'])

סביבות Python של קובצי אימג' ב-Managed Service for Apache Spark

בקטעים הבאים מתוארות סביבות Python של אשכולות גרסאות התמונות הנתמכות של Managed Service for Apache Spark.

גרסת אימג' 2.x של Managed Service for Apache Spark

‫Conda (או micromamba בתמונות בגרסה 2.3) מותקן באשכולות של Managed Service for Apache Spark בגרסה 2.x. מפרש ברירת המחדל של Python 3 נמצא במכונה הווירטואלית בנתיב /opt/conda/default/bin. בדפים הבאים מפורטות גרסאות Python שכלולות בגרסאות ה-image הנתמכות של Managed Service for Apache Spark 2.x:

מפרש Python שאינו ברירת המחדל ממערכת ההפעלה זמין ב-/usr/bin/.

אפשר להתקין חבילות conda ו-pip בסביבת base או להגדיר סביבת conda משלכם באשכול באמצעות מאפייני אשכול שקשורים ל-conda.

הערה לגבי ערוץ Conda: גרסאות ברירת המחדל של קובצי האימג' של Managed Service for Apache Spark 2.1,‏ 2.2 ו-2.3 לא כוללות ערוצי חבילות Conda שהוגדרו מראש (כמו defaults או conda-forge) ב-.condarc (ראו את הערת הגרסה של 4 בספטמבר 2026). אם מעבירים שמות של חבילות בלי קידומת אל dataproc:conda.packages או מריצים את conda install PACKAGE בלי לציין ערוץ, הפעולה נכשלת ומוצגת השגיאה CondaValueError: No channels available to install from או PackagesNotFoundError.

כדי להתקין חבילות Conda, צריך לציין את הערוץ במפורש:

  • כשמשתמשים במאפיין dataproc:conda.packages, צריך להשתמש בפורמט CHANNEL::PACKAGE==VERSION (לדוגמה, dataproc:conda.packages=conda-forge::pip==24.0).
  • כשמריצים את conda install בשורת הפקודה, מעבירים את הדגל -c (או --channel) (לדוגמה, conda install PACKAGES -c conda-forge).

דוגמה:

REGION=region
gcloud dataproc clusters create my-cluster \
    --image-version=2.3 \
    --region=${REGION} \
    --properties=^#^dataproc:conda.packages='conda-forge::pytorch==2.1.0,conda-forge::coverage==6.5.0'#dataproc:pip.packages='tokenizers==0.15.0,datasets==2.16.1'

גרסת אימג' 3.0 של Managed Service for Apache Spark

‫Python 3 מותקן באשכולות של Managed Service for Apache Spark 3.0. בתמונות בגרסה 3.0, Pixi מותקן כחלק מההתקנה של Python ומשמש להתקנת חבילות Python במקום Conda.

איך למנוע בעיות בהורדת חבילות

צומתי אשכולות של Managed Service for Apache Spark מורידים חבילות ממאגרי Python ציבוריים חיצוניים כשמתקינים חבילות conda ו-pip בהתאמה אישית (ראו מאפייני אשכול שקשורים ל-conda). כדי למנוע כשלים ביצירת אשכולות בגלל חוסר זמינות של מאגרי Python ציבוריים, כדאי ליצור קובץ אימג' בהתאמה אישית של Managed Service for Apache Spark או להעלות את יחסי התלות לקטגוריה של Cloud Storage (ראו הורדת יחסי תלות עם אשכולות internal-ip-only).

בחירת מפרש Python למשימה

אם באשכול מותקנים כמה רכיבי תרגום של Python, המערכת מריצה את /etc/profile.d/effective-python.sh, שמייצא את משתנה הסביבה PYSPARK_PYTHON כדי לבחור את רכיב התרגום של Python שמוגדר כברירת מחדל למשימות PySpark. אם אתם צריכים מפרש Python שאינו ברירת המחדל בשביל משימת PySpark, כשאתם שולחים את המשימה לאשכול, הגדירו את המאפיינים spark.pyspark.python ו-spark.pyspark.driver.python לנתיב או לגרסה הנדרשים של Python (לדוגמה, "/usr/bin/python3" או "python3.11").

דוגמה:

REGION=region
gcloud dataproc jobs submit pyspark check_python_env.py \
    --cluster=my-cluster \
    --region=${REGION} \
    --properties="spark.pyspark.python=/usr/bin/python3,spark.pyspark.driver.python=/usr/bin/python3"

‫Python עם sudo

אם מתחברים לצומת של אשכול באמצעות SSH, כשמריצים את sudo python --version, גרסת Python שמוצגת יכולה להיות שונה מהגרסה שמוצגת על ידי python --version. ההבדל הזה בגרסאות יכול לקרות כי sudo משתמש בגרסת ברירת המחדל של Python במערכת /usr/bin/python, ולא מריץ את /etc/profile.d/effective-python.sh כדי לאתחל את סביבת Python. כדי ליהנות מחוויית שימוש עקבית ב-sudo, מאתרים את הנתיב של Python שמוגדר ב-/etc/profile.d/effective-python.sh, ואז מריצים את הפקודה env כדי להגדיר את PATH לנתיב הזה של Python. לדוגמה:

sudo env PATH=/opt/conda/default/bin:${PATH} python --version

שימוש במאפייני אשכול שקשורים ל-conda

אפשר להתאים אישית את הסביבה של conda במהלך יצירת האשכול באמצעות מאפייני אשכול שקשורים ל-conda.

יש שתי דרכים נפרדות להתאים אישית את סביבת conda כשיוצרים אשכול Managed Service for Apache Spark:

  1. משתמשים במאפיין האשכול dataproc:conda.env.config.uri כדי ליצור ולהפעיל סביבת conda חדשה באשכול. או

  2. משתמשים במאפייני האשכול dataproc:conda.packages ו-dataproc:pip.packages כדי להוסיף חבילות conda ו-pip, בהתאמה, לסביבת base של conda באשכול.

מאפייני אשכול שקשורים ל-conda

  • ‫dataproc:conda.env.config.uri: הנתיב המוחלט לקובץ תצורה של YAML בסביבת conda שנמצא ב-Cloud Storage. הקובץ הזה משמש ליצירה ולהפעלה של סביבת conda חדשה באשכול. בתמונות ברירת המחדל אין ערוצי Conda שהוגדרו מראש, לכן צריך לוודא שבקובץ environment.yaml מופיעים ערוצי החבילות הנדרשים (כמו conda-forge) בקטע channels.

    דוגמה:

    1. משיגים או יוצרים קובץ תצורה של conda environment.yaml. אתם יכולים ליצור את הקובץ באופן ידני, להשתמש בקובץ קיים או לייצא סביבת conda קיימת לקובץ environment.yaml באמצעות הפקודה הבאה:

      conda env export --name=env-name > environment.yaml
      

    2. מעתיקים את קובץ התצורה לקטגוריה של Cloud Storage.

      gcloud storage cp environment.yaml gs://bucket-name/environment.yaml
      

    3. יוצרים את האשכול ומפנים לקובץ התצורה של הסביבה ב-Cloud Storage.

      REGION=region
      gcloud dataproc clusters create cluster-name \
          --region=${REGION} \
          --properties='dataproc:conda.env.config.uri=gs://bucket-name/environment.yaml' \
          ... other flags ...
      

  • ‫dataproc:conda.packages: רשימה של חבילות conda עם ערוצים וגרסאות ספציפיים להתקנה בסביבת הבסיס, בפורמט CHANNEL::PACKAGE==VERSION (לדוגמה, conda-forge::pkg1==v1,conda-forge::pkg2==v2...). אם conda לא מצליח לפתור התנגשויות עם חבילות קיימות בסביבת הבסיס, החבילות שמתנגשות לא יותקנו.

    הערות:

    • גרסאות ברירת המחדל של Managed Service for Apache Spark 2.1,‏ 2.2 ו-2.3 לא כוללות ערוצי Conda שהוגדרו מראש ב-.condarc, לכן צריך להוסיף לכל שם חבילה את הערוץ שלה (למשל conda-forge::). אם תעבירו שמות של חבילות בלי קידומת, הפעולה תיכשל עם השגיאה CondaValueError: No channels available to install from או PackagesNotFoundError.

    • אי אפשר להשתמש במאפייני האשכול dataproc:conda.packages ו-dataproc:pip.packages עם מאפיין האשכול dataproc:conda.env.config.uri.

    • כשמציינים כמה חבילות (מופרדות בפסיק), צריך לציין תו חלופי להפרדה (ראו את מאפיין האשכול Formatting). בדוגמה הבאה, התו "#" מוגדר כתו המפריד כדי להעביר כמה שמות של חבילות, מופרדים בפסיקים, למאפיין dataproc:conda.packages.

    דוגמה:

    REGION=region
    gcloud dataproc clusters create cluster-name \
        --region=${REGION} \
        --properties='^#^dataproc:conda.packages=conda-forge::pytorch==2.1.0,conda-forge::coverage==6.5.0' \
        ... other flags ...
    

  • ‫dataproc:pip.packages: רשימה של חבילות pip עם גרסאות ספציפיות להתקנה בסביבת הבסיס, בפורמט pkg1==v1,pkg2==v2.... ‫pip משדרג יחסי תלות קיימים רק אם צריך. התנגשויות יכולות לגרום לסביבה להיות לא עקבית.

    הערות:

    • אי אפשר להשתמש במאפייני האשכול dataproc:pip.packages ו-dataproc:conda.packages עם מאפיין האשכול dataproc:conda.env.config.uri.

    • כשמציינים כמה חבילות (מופרדות בפסיק), צריך לציין תו חלופי להפרדה (ראו את מאפיין האשכול Formatting). בדוגמה הבאה, התו "#" מוגדר כתו המפריד כדי להעביר כמה שמות של חבילות, מופרדים בפסיקים, למאפיין dataproc:pip.packages.

    דוגמה:

    REGION=region
    gcloud dataproc clusters create cluster-name \
        --region=${REGION} \
        --properties='^#^dataproc:pip.packages=tokenizers==0.15.0,datasets==2.16.1' \
        ... other flags ...
    
  • אפשר להשתמש גם ב-dataproc:conda.packages וגם ב-dataproc:pip.packages כשיוצרים אשכול.

    דוגמה:

    REGION=region
    gcloud dataproc clusters create cluster-name \
        --region=${REGION} \
        --image-version=2.3 \
        --properties=^#^dataproc:conda.packages='conda-forge::pytorch==2.1.0,conda-forge::coverage==6.5.0'#dataproc:pip.packages='tokenizers==0.15.0,datasets==2.16.1' \
        ... other flags ...