Some or all of the information on this page might not apply to Cloud de Confiance by S3NS. See Differences from Google Cloud for more details.

‫Google משתמשת בטכנולוגיית AI כדי לתרגם תוכן לשפה המועדפת עליך. בתרגומים כאלו עשויות להיות שגיאות.

גרסאות תמונות של מהדורות 3.0.x

רכיב	3.0.3-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/09/30	3.0.2-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/09/04	3.0.1-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/08/19	3.0.0-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/07/15	3.0.0-RC2-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/05/03
‫Apache Flink ^{רכיב אופציונלי}	2.2.0	2.2.0	2.2.0	2.2.0
‫Apache Hadoop ^installed	3.5.0	3.5.0	3.5.0	3.5.0	3.5.0
‫Apache Hive ^installed	4.2.0	4.2.0	4.2.0	4.2.0	4.2.0
‫Apache Hive WebHCat ^{רכיב אופציונלי}	4.2.0	4.2.0	4.2.0	4.2.0
‫Apache Iceberg ^{רכיב אופציונלי}	1.11.0	1.11.0	1.11.0	1.11.0
‫Apache Hudi ^{רכיב אופציונלי}	1.2.0	1.2.0
פעולת אתחול של ^{Apache Kafka}	3.9.2	3.9.2	3.9.2	3.9.2
‫Apache Pig ^{רכיב אופציונלי}	0.18.0	0.18.0	0.18.0	0.18.0	0.18.0-SNAPSHOT
‫Apache Ranger ^{רכיב אופציונלי}	2.8.0	2.8.0	2.8.0
‫Apache Spark ^מותקן	4.1.2	4.1.2	4.1.2	4.1.2	4.1.1
‫Apache Solr ^{רכיב אופציונלי}	9.10.1	9.10.1	9.10.1	9.10.1	9.7.0
Apache Tez ^מותקן	0.10.5	0.10.5	0.10.5	0.10.5	0.10.5
‫Apache Zeppelin Notebook ^{רכיב אופציונלי}	0.12.0	0.12.0	0.12.0	0.12.0
‫Apache Zookeeper ^{רכיב אופציונלי}	3.9.5	3.9.5	3.9.5	3.9.5	3.9.3
BigQuery Connector ^installed	0.44.1-Preview	0.44.1-Preview	0.44.1-Preview	0.44.1-Preview	0.44.1-Preview
חיבור ל-Cloud Storage ^מותקן	4.0.4	4.0.4	3.1.13	3.1.13	3.1.13
Conscrypt ^מותקן	2.6	2.6	2.6	2.6	2.6
‫Delta Lake ^{רכיב אופציונלי}	4.2.0	4.2.0	4.2.0
‫Docker ^{רכיב אופציונלי}	28.1	28.1	28.1	28.1
Java ^מותקן	21	21	21	21	21
‫JupyterLab Notebook ^{רכיב אופציונלי}	4.5.7	4.5.7	4.5.7	4.5.7
Python ^מותקן	‫Pixi 0.76.0 עם Python 3.12	‫Pixi 0.76.0 עם Python 3.12	‫Pixi 0.67.1 עם Python 3.12	‫Pixi 0.67.1 עם Python 3.12	‫Pixi 0.67.1 עם Python 3.11
‫R ^installed	R 4.5	R 4.5	R 4.5	R 4.5	R 4.5
Scala ^מותקן	2.13.17	2.13.17	2.13.17	2.13.17	2.13.17
‫Trino ^{רכיב אופציונלי}	480	480	480	480

מגבלות

מאגרי מטא-נתונים עם Hive 4.2: גרסת התמונה 3.0 לא תומכת ב-BigQuery Metastore, ב-BigLake Metastore או ב-Dataproc Metastore עם Hive 4.2 (אין תמיכה בשאילתות ישירות של Hive באמצעות מאגרי המטא-נתונים האלה).
‫Delta Lake עם Hive:‏ Delta Lake 4.x, שכלול בגרסת התמונה של Managed Service for Apache Spark‏ 3.0, לא תומך ב-Hive (אי אפשר להריץ שאילתות בטבלאות Delta Lake 4.2 ב-Hive).
‫Iceberg עם Hive: גרסת התמונה 3.0 של Managed Service for Apache Spark כוללת את Hive 4.2, שתומך ב-Iceberg דרך קטלוג REST של Iceberg.
אשכולות GPU: כל גרסאות התמונות של 3.0, חוץ מ-3.0-ml-ubuntu, מאפשרות cgroups V2. מכיוון ש-YARN לא תומך בגילוי GPU כש-cgroups V2 מופעל, צריך להשתמש בתמונה 3.0-ml-ubuntu כשיוצרים אשכולות עם GPUs.

הערות:

גרסה 3.0 היא תמונה קלה שמכילה רק רכיבי ליבה, וכך מצמצמת את החשיפה לנקודות חולשה וחשיפות נפוצות (CVE). כדי לעמוד בדרישות גבוהות יותר של תאימות אבטחה, צריך להשתמש בגרסת התמונה 2.3 ואילך כשיוצרים אשכול של Managed Service for Apache Spark.
אם בוחרים להתקין רכיבים אופציונליים כשיוצרים אשכול של Managed Service for Apache Spark באמצעות תמונת 3.0, הרכיבים יורדו ויותקנו במהלך יצירת האשכול. הפעולה הזו עשויה להאריך את זמן ההפעלה של האשכול. כדי להימנע מהעיכוב הזה, אפשר ליצור תמונה בהתאמה אישית עם הרכיבים האופציונליים המותקנים מראש. כדי לעשות את זה, מריצים את הפקודה generate_custom_image.py עם הדגל --optional-components.
הערה:
כשיוצרים את האשכול, צריך לציין את הרכיבים האופציונליים שרוצים להתקין. מידע נוסף זמין במאמר הוספת רכיבים אופציונליים.
בדוגמה הבאה מוצגת הפקודה ב-CLI של Google Cloud ליצירת אשכול עם רכיבים אופציונליים:
```
gcloud dataproc clusters create CLUSTER_NAME
    --optional-components=COMPONENT_NAME \
    ... other flags
```
התמונות בגרסה 3.0 תומכות ברכיבים האופציונליים הבאים:
- ‫Apache Flink
- ‫Apache Hive WebHCat
- ‫Apache Iceberg
- Apache Pig
- Apache Ranger
- ‫Apache Solr
- מחברת Apache Zeppelin
- Apache Zookeeper
- Delta Lake
- Docker
- ‫JupyterLab Notebook
- Trino
yarn.nodemanager.recovery.enabled ו-HDFS Audit Logging מופעלים כברירת מחדל בתמונות 3.0.
‫Pixi מותקן כחלק מהתקנת Python ומשמש להתקנת חבילות Python במקום Conda.
הגדרת ברירת המחדל של מחשבון המשאבים ב-YARN השתנתה מ-DefaultResourceCalculator ל-DominantResourceCalculator. ההגדרה החדשה משתמשת במושג של משאב דומיננטי כדי לקבוע את הקצאת המשאבים, כמו הקצאת זיכרון ומעבד. השינוי הזה משפיע על Autoscaler, שמתאים את קנה המידה על סמך השימוש הדומיננטי במשאבים של האשכול.
החל מגרסת התמונה 3.0, כשיוצרים אשכול בלי לציין סוג מכונה לצומת באשכול, Managed Service for Apache Spark מציין את הצומת עם רשימה מדורגת של סוגי מכונות וירטואליות גמישות, כמו רשימה מדורגת של סוגי מכונות מסדרות N4,‏ N2 ו-E2, כשהרשימה מותאמת לזמינות המשאבים.