הערות:
גרסה
2.3היא קובץ אימג' קל שמכיל רק רכיבי ליבה, וכך מפחית את החשיפה לנקודות חולשה וחשיפות נפוצות (CVE). כדי לעמוד בדרישות מחמירות יותר של תאימות אבטחה, כשיוצרים אשכול Managed Service for Apache Spark, צריך להשתמש בגרסת האימג'2.3ואילך.אם תבחרו להתקין רכיבים אופציונליים כשאתם יוצרים אשכול Managed Service for Apache Spark עם קובץ אימג' של
2.3, הם יורדו ויותקנו במהלך יצירת האשכול. יכול להיות שזה יאריך את זמן ההפעלה של האשכול. כדי למנוע את העיכוב הזה, אתם יכולים ליצור תמונה בהתאמה אישית עם הרכיבים האופציונליים שמותקנים מראש. כדי לעשות את זה, מריצים את הפקודהgenerate_custom_image.pyעם הדגל--optional-components.בגרסאות התמונה
2.3.32,2.3.36ואילך אין ערוצי Conda שהוגדרו מראש. אי אפשר להתקין חבילות באמצעות Conda, אלא אם מגדירים ערוצים באופן ידני במהלך האתחול של האשכול. בנוסף, אחרי 25 באוגוסט 2026 לא תוכלו להשתמש באשכולות של גרסאות אימג' של2.3עם ערוצי Conda שהוגדרו מראש, כולל גרסאות אימג' של2.3.35וגרסאות קודמות, אבל לא כולל2.3.32.- יכול להיות שתצטרכו למחוק ולהחליף אשכולות קיימים. אחרי 25 באוגוסט 2026, צריך למחוק אשכולות קיימים שנוצרו עם קובצי אימג' שיש בהם ערוצי Conda שהוגדרו מראש, גם אם המשימות באשכול לא משתמשות ב-Conda כדי להתקין חבילות, ולהחליף אותם באשכולות חדשים שנוצרו או נוצרו מחדש עם קובצי אימג' שאין בהם ערוצי Conda שהוגדרו מראש.
הרכיבים האופציונליים הבאים נתמכים בתמונות שאינן מסוג arm 2.3:
- Apache Flink
- Apache Hive WebHCat
- Apache Hudi
- Apache Iceberg
- Apache Pig
- Delta Lake
- Docker
- JupyterLab Notebook
- ריינג'ר
- Solr
- Trino
- קובץ notebook של Zeppelin
- מטפל בגן חיות
תמונות
2.3.x-*-armתומכות רק ברכיבים שמותקנים מראש וברכיבים האופציונליים הבאים. אין תמיכה ברכיבים האופציונליים האחרים של גרסה 2.3 ובכל פעולות האתחול:- Apache Hive WebHCat
- Apache Pig (החל מ-
2.3.22-ubuntu22-arm) - Docker
- Zeppelin notebook
- Zookeeper (מותקן באשכולות עם זמינות גבוהה, רכיב אופציונלי באשכולות אחרים)
מנוע Lightning והרצת שאילתות מקוריות ב-ARM: נתמכים בתמונות
2.3-ubuntu22-arm.
yarn.nodemanager.recovery.enabledו-HDFS Audit Logging מופעלים כברירת מחדל בתמונות בגרסה 2.3.
micromamba, במקוםcondaבגרסאות קודמות של קובצי אימג', מותקן כחלק מההתקנה של Python.גרסת Apache Iceberg: בתמונות בגרסה 2.3, Apache Iceberg זמין בגרסאות
1.6.1ו-1.10. גרסת ברירת המחדל היא1.6.1. החל מגרסת התמונה2.3.35, אשכולות בגרסה 2.3 שנוצרו עם Lightning Engine מופעל משתמשים ב-Iceberg בגרסה1.10כברירת מחדל. כדי לציין את גרסת Iceberg בכל אשכול 2.3, צריך להגדיר את מאפיין האשכולdataproc:dataproc.iceberg.versionל-1.10(או1.6) במהלך יצירת האשכול.בעיות בהתקנה של Docker ו-Zeppelin:
- ההתקנה תיכשל אם לאשכול אין גישה לאינטרנט הציבורי. כדי לעקוף את הבעיה, אפשר ליצור אשכול שמשתמש באימג' בהתאמה אישית עם רכיבים אופציונליים שהותקנו מראש. כדי לעשות את זה, מריצים את הפקודה
generate_custom_image.pyעם הדגל--optional-components. - ההתקנה עלולה להיכשל אם האשכול מוצמד לגרסת תמונה ישנה יותר של תת-משנה: חבילות מותקנות על פי דרישה ממאגרי OSS ציבוריים, ויכול להיות שחבילה לא תהיה זמינה במעלה הזרם כדי לתמוך בהתקנה.
כדי לעקוף את הבעיה, אפשר ליצור אשכול שמשתמש בתמונה בהתאמה אישית עם רכיבים אופציונליים שמותקנים מראש בתמונה בהתאמה אישית. כדי לעשות את זה, מריצים את הפקודה
generate_custom_image.pyעם הדגל--optional-components.
- ההתקנה תיכשל אם לאשכול אין גישה לאינטרנט הציבורי. כדי לעקוף את הבעיה, אפשר ליצור אשכול שמשתמש באימג' בהתאמה אישית עם רכיבים אופציונליים שהותקנו מראש. כדי לעשות את זה, מריצים את הפקודה
מחשבון המשאבים שמוגדר כברירת מחדל ל-YARN השתנה מ-DefaultResourceCalculator ל-DominantResourceCalculator, שמשתמש בקונספט של המשאב הדומיננטי כדי לקבוע את הקצאת המשאבים, כמו הקצאת זיכרון ו-CPU. השימוש ב-Autoscaler מושפע מהשינוי הזה, כי הוא משנה את קנה המידה בהתאם לשימוש במשאב הדומיננטי של האשכול.
רכיבי למידת מכונה (ML) בגרסת תמונה 2.3
קובץ האימג' של Managed Service for Apache Spark 2.3-ml-ubuntu מרחיב את קובץ האימג' הבסיסי של גרסה 2.3 באמצעות תוכנה ספציפית ל-ML. היא תומכת ברכיבים אופציונליים של תמונות בגרסה 2.3 ובתכונות אחרות של גרסה 2.3, ומוסיפה את גרסאות הרכיבים שמפורטות בקטעים הבאים.
ספריות ספציפיות ל-GPU
במשימות של Managed Service for Apache Spark שמשתמשות במכונות וירטואליות של GPU, מנהל ההתקן והספריות הבאים של NVIDIA זמינים בתמונת ה-2.3-ml-ubuntu. אפשר להשתמש בהם כדי לבצע את המשימות הבאות:
- האצת עומסי עבודה באצווה של Spark באמצעות ספריית NVIDIA cuDF ל-Apache Spark
- אימון עומסי עבודה של למידת מכונה
- הרצת הסקת אצווה מבוזרת באמצעות Spark
| שם החבילה | גרסה |
|---|---|
| Spark cuDF | 25.04.0 |
| דרייבר של NVIDIA | Ubuntu 22.04 LTS Accelerated עם דרייבר של NVIDIA בגרסה 570 |
| CUDA | 12.6.3 |
| cublas | 12.6.4 |
| cusolver | 11.7.1 |
| cupti | 12.6.80 |
| cusparse | 12.5.4 |
| cuDNN | 9.10.1 |
| NCCL | 2.27.5 |
ספריות XGBoost
הגרסאות הבאות של חבילת Maven זמינות בתמונת 2.3-ml-ubuntu כדי לאפשר לכם להשתמש ב-XGBoost עם Spark ב-Java או ב-Scala.
| מזהה קבוצה | שם החבילה | גרסה |
|---|---|---|
| ml.dmlc | xgboost4j-gpu_2.12 | 2.1.1 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 2.1.1 |
ספריות Python
התמונה 2.3-ml-ubuntu מכילה את הספריות הבאות, שתומכות בשלבים שונים במחזור החיים של למידת המכונה.
| חבילה | גרסה |
|---|---|
| להאיץ | 1.8.1 |
| conda | 23.11.0 |
| cookiecutter | 2.5.0 |
| curl | 8.12.1 |
| cython | 3.0.12 |
| dask | 1.12.2023 |
| קבוצות נתונים | 3.6.0 |
| deepspeed | 0.17.2 |
| delta-spark | 3.2.0 |
| להעריך | 0.4.5 |
| fastavro | 1.9.7 |
| fastparquet | 1.10.2023 |
| fiona, פיונה | 1.10.0 |
| gateway-provisioners[yarn] | 0.4.0 |
| gcsfs | 2023.12.2.post1 |
| google-auth-oauthlib | 1.2.2 |
| google-cloud-aiplatform | 1.88.0 |
| google-cloud-bigquery[pandas] | 3.31.0 |
| google-cloud-bigquery-storage | 2.30.0 |
| google-cloud-bigtable | 2.30.1 |
| google-cloud-container | 2.56.1 |
| google-cloud-datacatalog | 3.26.1 |
| google-cloud-dataproc | 5.18.1 |
| google-cloud-datastore | 2.21.0 |
| google-cloud-language | 2.17.2 |
| google-cloud-logging | 3.11.4 |
| google-cloud-monitoring | 2.27.2 |
| google-cloud-pubsub | 2.29.1 |
| google-cloud-redis | 2.18.1 |
| google-cloud-spanner | 3.53.0 |
| google-cloud-speech | 2.32.0 |
| google-cloud-storage | 2.19.0 |
| google-cloud-texttospeech | 2.25.1 |
| google-cloud-translate | 3.20.3 |
| google-cloud-vision | 3.10.2 |
| huggingface_hub | 0.33.1 |
| httplib2 | 0.22.0 |
| ipyparallel | 8.6.1 |
| ipython-sql | 0.3.9 |
| ipywidgets | 8.1.7 |
| jupyter_contrib_nbextensions | 0.7.0 |
| jupyter_http_over_ws | 0.0.8 |
| jupyter_kernel_gateway | 2.5.2 |
| jupyter_server | 1.24.0 |
| jupyterhub | 4.1.6 |
| jupyterlab | 3.6.8 |
| jupyterlab-git | 0.44.0 |
| jupyterlab_widgets | 3.0.15 |
| קואלות | 0.22.0 |
| langchain | 0.3.26 |
| lightgbm | 4.6.0 |
| Markdown | 3.5.2 |
| matplotlib | 3.8.4 |
| mlflow | 3.1.1 |
| nbconvert | 7.14.2 |
| nbdime | 3.2.1 |
| nltk | 3.9.1 |
| notebook | 6.5.7 |
| numba | 0.58.1 |
| numpy | 1.26.4 |
| oauth2client | 4.1.3 |
| onnx | 1.17.0 |
| openblas | 0.3.25 |
| opencv | 4.11.0 |
| orc | 2.1.1 |
| פנדות | 2.1.4 |
| pandas-profiling | 3.0.0 |
| papermill | 2.4.0 |
| pyarrow | 16.1.0 |
| pydot | 2.0.0 |
| pyhive | 0.7.0 |
| pynvml | 12.0.0 |
| pysal | 23.7 |
| pytables | 3.9.2 |
| python | 3.11 |
| regex | 25.12.2023 |
| בקשות | 2.32.2 |
| requests-kerberos | 0.12.0 |
| rtree | 1.1.0 |
| scikit-image | 0.22.0 |
| scikit-learn | 1.5.2 |
| scipy | 1.11.4 |
| seaborn | 0.13.2 |
| sentence-transformers | 5.0.0 |
| setuptools | 79.0.1 |
| shap | 0.48.0 |
| shapely | 2.1.1 |
| spacy | 3.8.7 |
| spark-tensorflow-distributor | 1.0.0 |
| spyder | 5.5.6 |
| sqlalchemy | 2.0.41 |
| sympy | 1.13.3 |
| tensorflow | 2.18.0 |
| מנתחי טוקנים | 0.21.4.dev0 |
| toree | 0.5.0 |
| פנס | 2.6.0 |
| torch-model-archiver | 0.11.1 |
| torcheval | 0.0.7 |
| טורנדו | 6.4.2 |
| torchvision | 0.21.0 |
| traitlets | 5.14.3 |
| טרנספורמרים | 4.53.1 |
| uritemplate | 4.1.1 |
| virtualenv | 20.26.6 |
| ענן מילים | 1.9.4 |
| xgboost | 2.1.4 |
ספריות R
הגרסאות הבאות של ספריית R כלולות בתמונת 2.3-ml-ubuntu.
| שם החבילה | גרסה |
|---|---|
| r-ggplot2 | 3.4.4 |
| r-irkernel | 1.3.2 |
| r-rcurl | 1.98-1.16 |
| r-recommended | 4.3 |