משימות PySpark ב-Managed Service for Apache Spark מופעלות על ידי מפרש Python באשכול. קוד המשימה חייב להיות תואם בזמן הריצה לגרסה וליחסי התלות של מפרש Python.
בדיקת הגרסה והמודולים של המפרש
תוכנית הדוגמה הבאה ב-check_python_env.py בודקת את משתמש Linux שמריץ את המשימה, את רכיב התרגום ב-Python ואת המודולים הזמינים.
import getpass import importlib.util import sys print(f'This job is running as "{getpass.getuser()}".') print(sys.executable, sys.version_info) for package in sys.argv[1:]: print(importlib.util.find_spec(package))
מפעילים את התוכנה:
REGION=region gcloud dataproc jobs submit pyspark check_python_env.py \ --cluster=my-cluster \ --region=${REGION} \ -- pandas scipy
פלט לדוגמה:
This job is running as "root". /opt/conda/default/bin/python sys.version_info(major=3, minor=11, micro=8, releaselevel='final', serial=0) ModuleSpec(name='pandas', loader=<_frozen_importlibexternal.SourceFileLoader object at 0x7f8b9c0a3d90>, origin='/opt/conda/default/lib/python3.11/site-packages/pandas/init_.py', submodule_search_locations=['/opt/conda/default/lib/python3.11/site-packages/pandas']) ModuleSpec(name='scipy', loader=<_frozen_importlibexternal.SourceFileLoader object at 0x7f8b9c0a3e50>, origin='/opt/conda/default/lib/python3.11/site-packages/scipy/init_.py', submodule_search_locations=['/opt/conda/default/lib/python3.11/site-packages/scipy'])
סביבות Python של קובצי אימג' ב-Managed Service for Apache Spark
בקטעים הבאים מתוארות סביבות Python של אשכולות גרסאות התמונות הנתמכות של Managed Service for Apache Spark.
גרסת אימג' 2.x של Managed Service for Apache Spark
Conda (או micromamba בתמונות בגרסה 2.3) מותקן באשכולות של Managed Service for Apache Spark בגרסה 2.x. מפרש ברירת המחדל של Python 3 נמצא במכונה הווירטואלית בנתיב /opt/conda/default/bin. בדפים הבאים מפורטות גרסאות Python שכלולות בגרסאות ה-image הנתמכות של Managed Service for Apache Spark 2.x:
מפרש Python שאינו ברירת המחדל ממערכת ההפעלה זמין ב-/usr/bin/.
אפשר להתקין חבילות conda ו-pip בסביבת base או להגדיר סביבת conda משלכם באשכול באמצעות מאפייני אשכול שקשורים ל-conda.
הערה לגבי ערוץ Conda: גרסאות ברירת המחדל של קובצי האימג' של Managed Service for Apache Spark 2.1, 2.2 ו-2.3 לא כוללות ערוצי חבילות Conda שהוגדרו מראש (כמו defaults או conda-forge) ב-.condarc (ראו את הערת הגרסה של 4 בספטמבר 2026).
אם מעבירים שמות של חבילות בלי קידומת אל dataproc:conda.packages או מריצים את conda install PACKAGE בלי לציין ערוץ, הפעולה נכשלת ומוצגת השגיאה CondaValueError: No channels available to install from או PackagesNotFoundError.
כדי להתקין חבילות Conda, צריך לציין את הערוץ במפורש:
- כשמשתמשים במאפיין
dataproc:conda.packages, צריך להשתמש בפורמטCHANNEL::PACKAGE==VERSION(לדוגמה,dataproc:conda.packages=conda-forge::pip==24.0). - כשמריצים את
conda installבשורת הפקודה, מעבירים את הדגל-c(או--channel) (לדוגמה,conda install PACKAGES -c conda-forge).
דוגמה:
REGION=region gcloud dataproc clusters create my-cluster \ --image-version=2.3 \ --region=${REGION} \ --properties=^#^dataproc:conda.packages='conda-forge::pytorch==2.1.0,conda-forge::coverage==6.5.0'#dataproc:pip.packages='tokenizers==0.15.0,datasets==2.16.1'
גרסת אימג' 3.0 של Managed Service for Apache Spark
Python 3 מותקן באשכולות של Managed Service for Apache Spark 3.0. בתמונות בגרסה 3.0, Pixi מותקן כחלק מההתקנה של Python ומשמש להתקנת חבילות Python במקום Conda.
איך למנוע בעיות בהורדת חבילות
צומתי אשכולות של Managed Service for Apache Spark מורידים חבילות ממאגרי Python ציבוריים חיצוניים כשמתקינים חבילות conda ו-pip בהתאמה אישית (ראו מאפייני אשכול שקשורים ל-conda).
כדי למנוע כשלים ביצירת אשכולות בגלל חוסר זמינות של מאגרי Python ציבוריים, כדאי ליצור קובץ אימג' בהתאמה אישית של Managed Service for Apache Spark או להעלות את יחסי התלות לקטגוריה של Cloud Storage (ראו הורדת יחסי תלות עם אשכולות internal-ip-only).
בחירת מפרש Python למשימה
אם באשכול מותקנים כמה רכיבי תרגום של Python, המערכת מריצה את /etc/profile.d/effective-python.sh, שמייצא את משתנה הסביבה PYSPARK_PYTHON כדי לבחור את רכיב התרגום של Python שמוגדר כברירת מחדל למשימות PySpark. אם אתם צריכים מפרש Python שאינו ברירת המחדל בשביל משימת PySpark, כשאתם שולחים את המשימה לאשכול, הגדירו את המאפיינים spark.pyspark.python ו-spark.pyspark.driver.python לנתיב או לגרסה הנדרשים של Python (לדוגמה, "/usr/bin/python3" או "python3.11").
דוגמה:
REGION=region gcloud dataproc jobs submit pyspark check_python_env.py \ --cluster=my-cluster \ --region=${REGION} \ --properties="spark.pyspark.python=/usr/bin/python3,spark.pyspark.driver.python=/usr/bin/python3"
Python עם sudo
אם מתחברים לצומת של אשכול באמצעות SSH, כשמריצים את sudo python
--version, גרסת Python שמוצגת יכולה להיות שונה מהגרסה שמוצגת על ידי python --version. ההבדל הזה בגרסאות יכול לקרות כי sudo משתמש בגרסת ברירת המחדל של Python במערכת /usr/bin/python, ולא מריץ את /etc/profile.d/effective-python.sh כדי לאתחל את סביבת Python. כדי ליהנות מחוויית שימוש עקבית ב-sudo, מאתרים את הנתיב של Python שמוגדר ב-/etc/profile.d/effective-python.sh, ואז מריצים את הפקודה env כדי להגדיר את PATH לנתיב הזה של Python. לדוגמה:
sudo env PATH=/opt/conda/default/bin:${PATH} python --version
שימוש במאפייני אשכול שקשורים ל-conda
אפשר להתאים אישית את הסביבה של conda במהלך יצירת האשכול באמצעות מאפייני אשכול שקשורים ל-conda.
יש שתי דרכים נפרדות להתאים אישית את סביבת conda כשיוצרים אשכול Managed Service for Apache Spark:
משתמשים במאפיין האשכול
dataproc:conda.env.config.uriכדי ליצור ולהפעיל סביבת conda חדשה באשכול. אומשתמשים במאפייני האשכול
dataproc:conda.packagesו-dataproc:pip.packagesכדי להוסיף חבילותcondaו-pip, בהתאמה, לסביבתbaseשלcondaבאשכול.
מאפייני אשכול שקשורים ל-conda
dataproc:conda.env.config.uri: הנתיב המוחלט לקובץ תצורה של YAML בסביבת conda שנמצא ב-Cloud Storage. הקובץ הזה משמש ליצירה ולהפעלה של סביבתcondaחדשה באשכול. בתמונות ברירת המחדל אין ערוצי Conda שהוגדרו מראש, לכן צריך לוודא שבקובץenvironment.yamlמופיעים ערוצי החבילות הנדרשים (כמוconda-forge) בקטעchannels.דוגמה:
משיגים או יוצרים קובץ תצורה של conda
environment.yaml. אתם יכולים ליצור את הקובץ באופן ידני, להשתמש בקובץ קיים או לייצא סביבת conda קיימת לקובץenvironment.yamlבאמצעות הפקודה הבאה:conda env export --name=env-name > environment.yaml
מעתיקים את קובץ התצורה לקטגוריה של Cloud Storage.
gcloud storage cp environment.yaml gs://bucket-name/environment.yaml
יוצרים את האשכול ומפנים לקובץ התצורה של הסביבה ב-Cloud Storage.
REGION=region gcloud dataproc clusters create cluster-name \ --region=${REGION} \ --properties='dataproc:conda.env.config.uri=gs://bucket-name/environment.yaml' \ ... other flags ...
dataproc:conda.packages: רשימה של חבילותcondaעם ערוצים וגרסאות ספציפיים להתקנה בסביבת הבסיס, בפורמטCHANNEL::PACKAGE==VERSION(לדוגמה,conda-forge::pkg1==v1,conda-forge::pkg2==v2...). אםcondaלא מצליח לפתור התנגשויות עם חבילות קיימות בסביבת הבסיס, החבילות שמתנגשות לא יותקנו.הערות:
גרסאות ברירת המחדל של Managed Service for Apache Spark
2.1,2.2ו-2.3לא כוללות ערוצי Conda שהוגדרו מראש ב-.condarc, לכן צריך להוסיף לכל שם חבילה את הערוץ שלה (למשלconda-forge::). אם תעבירו שמות של חבילות בלי קידומת, הפעולה תיכשל עם השגיאהCondaValueError: No channels available to install fromאוPackagesNotFoundError.אי אפשר להשתמש במאפייני האשכול
dataproc:conda.packagesו-dataproc:pip.packagesעם מאפיין האשכולdataproc:conda.env.config.uri.כשמציינים כמה חבילות (מופרדות בפסיק), צריך לציין תו חלופי להפרדה (ראו את מאפיין האשכול Formatting). בדוגמה הבאה, התו "#" מוגדר כתו המפריד כדי להעביר כמה שמות של חבילות, מופרדים בפסיקים, למאפיין
dataproc:conda.packages.
דוגמה:
REGION=region gcloud dataproc clusters create cluster-name \ --region=${REGION} \ --properties='^#^dataproc:conda.packages=conda-forge::pytorch==2.1.0,conda-forge::coverage==6.5.0' \ ... other flags ...
dataproc:pip.packages: רשימה של חבילותpipעם גרסאות ספציפיות להתקנה בסביבת הבסיס, בפורמטpkg1==v1,pkg2==v2.... pipמשדרג יחסי תלות קיימים רק אם צריך. התנגשויות יכולות לגרום לסביבה להיות לא עקבית.הערות:
אי אפשר להשתמש במאפייני האשכול
dataproc:pip.packagesו-dataproc:conda.packagesעם מאפיין האשכולdataproc:conda.env.config.uri.כשמציינים כמה חבילות (מופרדות בפסיק), צריך לציין תו חלופי להפרדה (ראו את מאפיין האשכול Formatting). בדוגמה הבאה, התו "#" מוגדר כתו המפריד כדי להעביר כמה שמות של חבילות, מופרדים בפסיקים, למאפיין
dataproc:pip.packages.
דוגמה:
REGION=region gcloud dataproc clusters create cluster-name \ --region=${REGION} \ --properties='^#^dataproc:pip.packages=tokenizers==0.15.0,datasets==2.16.1' \ ... other flags ...
אפשר להשתמש גם ב-
dataproc:conda.packagesוגם ב-dataproc:pip.packagesכשיוצרים אשכול.דוגמה:
REGION=region gcloud dataproc clusters create cluster-name \ --region=${REGION} \ --image-version=2.3 \ --properties=^#^dataproc:conda.packages='conda-forge::pytorch==2.1.0,conda-forge::coverage==6.5.0'#dataproc:pip.packages='tokenizers==0.15.0,datasets==2.16.1' \ ... other flags ...