Some or all of the information on this page might not apply to Cloud de Confiance by S3NS. See Differences from Google Cloud for more details.

Google verwendet KI-Technologie, um Inhalte in Ihre bevorzugte Sprache zu übersetzen. KI-Übersetzungen können Fehler enthalten.

Release-Image-Versionen 3.0.x

Komponente	3.0.3-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/09/30	3.0.2-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/09/04	3.0.1-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/08/19	3.0.0-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/07/15	3.0.0-RC2-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/05/03
Apache Flink ^{optionale Komponente}	2.2.0	2.2.0	2.2.0	2.2.0
Apache Hadoop ^installiert	3.5.0	3.5.0	3.5.0	3.5.0	3.5.0
Apache Hive ^installiert	4.2.0	4.2.0	4.2.0	4.2.0	4.2.0
Apache Hive WebHCat ^{optionale Komponente}	4.2.0	4.2.0	4.2.0	4.2.0
Apache Iceberg ^{optionale Komponente}	1.11.0	1.11.0	1.11.0	1.11.0
Apache Hudi ^{optionale Komponente}	1.2.0	1.2.0
Apache Kafka ^{Initialisierungsaktion}	3.9.2	3.9.2	3.9.2	3.9.2
Apache Pig ^{optionale Komponente}	0.18.0	0.18.0	0.18.0	0.18.0	0.18.0-SNAPSHOT
Apache Ranger ^{optionale Komponente}	2.8.0	2.8.0	2.8.0
Apache Spark ^installiert	4.1.2	4.1.2	4.1.2	4.1.2	4.1.1
Apache Solr ^{optionale Komponente}	9.10.1	9.10.1	9.10.1	9.10.1	9.7.0
Apache Tez ^installed	0.10.5	0.10.5	0.10.5	0.10.5	0.10.5
Apache Zeppelin Notebook ^{optionale Komponente}	0.12.0	0.12.0	0.12.0	0.12.0
Apache ZooKeeper ^{optionale Komponente}	3.9.5	3.9.5	3.9.5	3.9.5	3.9.3
BigQuery Connector ^installed	0.44.1-Preview	0.44.1-Preview	0.44.1-Preview	0.44.1-Preview	0.44.1-Preview
Cloud Storage-Connector ^installiert	4.0.4	4.0.4	3.1.13	3.1.13	3.1.13
Conscrypt ^installiert	2.6	2.6	2.6	2.6	2.6
Delta Lake ^{optionale Komponente}	4.2.0	4.2.0	4.2.0
Docker ^{optionale Komponente}	28.1	28.1	28.1	28.1
Java ^installiert	21	21	21	21	21
JupyterLab Notebook ^{optionale Komponente}	4.5.7	4.5.7	4.5.7	4.5.7
Python ^installiert	Pixi 0.76.0 mit Python 3.12	Pixi 0.76.0 mit Python 3.12	Pixi 0.67.1 mit Python 3.12	Pixi 0.67.1 mit Python 3.12	Pixi 0.67.1 mit Python 3.11
R ^installiert	R 4.5	R 4.5	R 4.5	R 4.5	R 4.5
Scala ^installiert	2.13.17	2.13.17	2.13.17	2.13.17	2.13.17
Trino ^{optionale Komponente}	480	480	480	480

Beschränkungen

Metastores mit Hive 4.2:Die Image-Version 3.0 unterstützt BigQuery Metastore, BigLake Metastore oder Dataproc Metastore mit Hive 4.2 nicht. Direkte Hive-Abfragen mit diesen Metastores werden nicht unterstützt.
Delta Lake mit Hive: Delta Lake 4.x, das in der Image-Version 3.0 von Managed Service for Apache Spark enthalten ist, unterstützt Hive nicht. Abfragen für Delta Lake 4.2-Tabellen können nicht in Hive ausgeführt werden.
Iceberg mit Hive:Die Managed Service for Apache Spark-Imageversion 3.0 enthält Hive 4.2, das Iceberg über den Iceberg REST-Katalog unterstützt.
GPU-Cluster:Alle 3.0-Imageversionen außer 3.0-ml-ubuntu ermöglichen cgroups V2. Da YARN die GPU-Erkennung nicht unterstützt, wenn cgroups V2 aktiviert ist, müssen Sie das 3.0-ml-ubuntu-Image verwenden, wenn Sie Cluster mit GPUs erstellen.

Hinweise:

Version 3.0 ist ein schlankes Image, das nur Kernkomponenten enthält. Dadurch wird das Risiko von Common Vulnerabilities and Exposures (CVEs) verringert. Wenn Sie höhere Sicherheitsanforderungen erfüllen müssen, verwenden Sie beim Erstellen eines Managed Service for Apache Spark-Clusters die Image-Version 2.3 oder höher.
Wenn Sie beim Erstellen eines Managed Service for Apache Spark-Clusters mit dem 3.0-Image optionale Komponenten installieren, werden diese während der Clustererstellung heruntergeladen und installiert. Dies kann die Startzeit des Clusters erhöhen. Um diese Verzögerung zu vermeiden, können Sie ein benutzerdefiniertes Image mit den vorinstallierten optionalen Komponenten erstellen. Dazu wird generate_custom_image.py mit dem Flag --optional-components ausgeführt.
Hinweis
:Sie müssen die optionalen Komponenten angeben, die Sie installieren möchten, wenn Sie den Cluster erstellen. Weitere Informationen finden Sie unter Optionale Komponenten hinzufügen.
Im folgenden Beispiel sehen Sie den Google Cloud CLI-Befehl zum Erstellen eines Clusters mit optionalen Komponenten:
```
gcloud dataproc clusters create CLUSTER_NAME
    --optional-components=COMPONENT_NAME \
    ... other flags
```
Die folgenden optionalen Komponenten werden in 3.0-Images unterstützt:
- Apache Flink
- Apache Hive WebHCat
- Apache Iceberg
- Apache Pig
- Apache Ranger
- Apache Solr
- Apache Zeppelin-Notebook
- Apache Zookeeper
- Delta Lake
- Docker
- JupyterLab-Notebook
- Trino
yarn.nodemanager.recovery.enabled und HDFS-Audit-Logging sind in Version 3.0-Images standardmäßig aktiviert.
Pixi wird im Rahmen der Python-Installation installiert und zum Installieren von Python-Paketen anstelle von Conda verwendet.
Der Standardressourcenrechner für YARN wurde von DefaultResourceCalculator zu DominantResourceCalculator geändert. Dieser verwendet das Konzept der dominanten Ressource, um die Ressourcenzuweisung zu bestimmen, z. B. die Zuweisung von Arbeitsspeicher und CPU. Diese Änderung wirkt sich auf Autoscaler aus, der basierend auf der dominanten Ressourcennutzung des Clusters skaliert.
Ab der Imageversion 3.0 wird beim Erstellen eines Clusters ohne Angabe eines Maschinentyps für einen Clusterknoten der Knoten mit einer sortierten Liste flexibler VM-Maschinentypen angegeben, z. B. eine sortierte Liste von Maschinentypen der Serien N4, N2 und E2. Die Liste ist für die Ressourcenverfügbarkeit optimiert.