Some or all of the information on this page might not apply to Cloud de Confiance by S3NS. See Differences from Google Cloud for more details.

Google utilise la technologie IA pour traduire le contenu dans votre langue préférée. Les traductions générées par IA peuvent contenir des erreurs.

Versions des images de la version 2.3.x

Composant	2.3.37-debian12/ -ubuntu22/ -ubuntu22-arm/ -ml-ubuntu22/ -rocky9 2026/09/30	2.3.36-debian12/ -ubuntu22/ -ubuntu22-arm/ -ml-ubuntu22/ -rocky9 2026/09/04	2.3.35-debian12/ -ubuntu22/ -ubuntu22-arm/ -ml-ubuntu22/ -rocky9 2026/08/19	2.3.34-debian12/ -ubuntu22/ -ubuntu22-arm/ -ml-ubuntu22/ -rocky9 2026/07/15	2.3.33-debian12/ -ubuntu22/ -ubuntu22-arm/ -ml-ubuntu22/ -rocky9 2026/06/30
Apache Atlas ^{action d'initialisation}	2.2.0	2.2.0	2.2.0	2.2.0	2.2.0
Apache Flink ^{composant facultatif}	1.17.0	1.17.0	1.17.0	1.17.0	1.17.0
Apache Hadoop ^installé	3.3.6	3.3.6	3.3.6	3.3.6	3.3.6
Apache Hive ^installé	3.1.3	3.1.3	3.1.3	3.1.3	3.1.3
Apache Hive WebHCat ^{composant facultatif}	3.1.3	3.1.3	3.1.3	3.1.3	3.1.3
Composant facultatif ^Apache Hudi	0.15.0	0.15.0	0.15.0	0.15.0	0.15.0
Composant facultatif ^{Apache Iceberg}	1.6.1	1.6.1	1.6.1	1.6.1	1.6.1
Apache Kafka ^{action d'initialisation}	3.1.0	3.1.0	3.1.0	3.1.0	3.1.0
Composant facultatif ^Apache Pig	0.18.0-SNAPSHOT	0.18.0-SNAPSHOT	0.18.0-SNAPSHOT	0.18.0-SNAPSHOT	0.18.0-SNAPSHOT
Apache Spark ^installé	3.5.3	3.5.3	3.5.3	3.5.3	3.5.3
Apache Sqoop ^{action d'initialisation}	1.5.0-SNAPSHOT	1.5.0-SNAPSHOT	1.5.0-SNAPSHOT	1.5.0-SNAPSHOT	1.5.0-SNAPSHOT
Apache Tez ^installé	0.10.2	0.10.2	0.10.2	0.10.2	0.10.2
Connecteur BigQuery ^installé	0.42.3	0.42.3	0.42.3	0.42.3	0.42.3
Connecteur Cloud Storage ^installé	3.1.13	3.1.13	3.1.13	3.1.13	3.1.13
Conscrypt ^installé	2.5.2	2.5.2	2.5.2	2.5.2	2.5.2
Composant facultatif ^Delta Lake	3.2.1	3.2.1	3.2.1	3.2.1	3.2.1
Docker ^{composant facultatif}	28,1	28,1	28,1	28,1	28,1
Hue ^{action d'initialisation}	4.11.0	4.11.0	4.11.0	4.11.0	4.11.0
Java ^installé	11	11	11	11	11
Notebook JupyterLab ^{composant facultatif}	3.6	3.6	3.6	3.6	3.6
Oozie ^{action d'initialisation}	5.2.1	5.2.1	5.2.1	5.2.1	5.2.1
Python ^installé	micromamba 2.0.5 avec Python 3.11	micromamba 2.0.5 avec Python 3.11	micromamba 2.0.5 avec Python 3.11	micromamba 2.0.5 avec Python 3.11	micromamba 2.0.5 avec Python 3.11
R ^installé	R 4.3	R 4.3	R 4.3	R 4.3	R 4.3
Ranger ^{composant facultatif}	2.4.0	2.4.0	2.4.0	2.4.0	2.4.0
Scala ^installé	2.12.18	2.12.18	2.12.18	2.12.18	2.12.18
Solr ^{composant facultatif}	9.4.1	9.4.1	9.4.1	9.4.1	9.4.1
Trino ^Trino	432	432	432	432	432
Notebook Zeppelin ^{composant facultatif}	0.10.1	0.10.1	0.10.1	0.10.1	0.10.1
Zookeeper ^{composant facultatif}	3.9.5	3.9.5	3.9.5	3.9.5	3.9.5

Remarques :

La version 2.3 est une image légère qui ne contient que les composants principaux, ce qui réduit l'exposition aux failles et expositions courantes (CVE). Pour répondre à des exigences de conformité de sécurité plus strictes, utilisez la version d'image 2.3 ou une version ultérieure lorsque vous créez un cluster Managed Service pour Apache Spark.
Si vous choisissez d'installer des composants facultatifs lors de la création d'un cluster Managed Service pour Apache Spark avec l'image 2.3, ils seront téléchargés et installés lors de la création du cluster. Cela peut augmenter le temps de démarrage du cluster. Pour éviter ce délai, vous pouvez créer une image personnalisée avec les composants facultatifs préinstallés. Pour ce faire, exécutez generate_custom_image.py avec l'option --optional-components.
Remarque
: Vous devez spécifier les composants facultatifs que vous souhaitez installer lorsque vous créez le cluster. Pour en savoir plus, consultez Ajouter des composants facultatifs.
L'exemple suivant montre la commande Google Cloud CLI permettant de créer un cluster avec des composants facultatifs :
```
gcloud dataproc clusters create CLUSTER_NAME
    --optional-components=COMPONENT_NAME \
    ... other flags
```
Les versions d'image 2.3.32, 2.3.36 et ultérieures ne disposent pas de canaux Conda préconfigurés. Les packages ne peuvent pas être installés à l'aide de Conda, sauf si les canaux sont configurés manuellement lors de l'initialisation du cluster. De plus, les clusters de version d'image 2.3 qui disposent de canaux Conda préconfigurés, y compris les versions d'image 2.3.35 et antérieures, mais à l'exclusion de 2.3.32, ne pourront plus être utilisés après le 25 août 2026.
- Vous devrez peut-être supprimer et remplacer les clusters existants. Après le 25 août 2026, les clusters existants créés avec des images comportant des canaux Conda préconfigurés, même si les jobs de cluster n'utilisent pas Conda pour installer des packages, doivent être supprimés et remplacés par de nouveaux clusters créés ou recréés avec des images ne comportant pas de canaux Conda préconfigurés.
Les composants facultatifs suivants sont compatibles avec les images 2.3 non-ARM :
- Apache Flink
- Apache Hive WebHCat
- Apache Hudi
- Apache Iceberg
- Apache Pig
- Delta Lake
- Docker
- Notebook JupyterLab
- Ranger
- Solr
- Trino
- Notebook Zeppelin
- ZooKeeper
Les images 2.3.x-*-arm n'acceptent que les composants préinstallés et les composants facultatifs suivants. Les autres composants facultatifs de la version 2.3 et toutes les actions d'initialisation ne sont pas compatibles :
- Apache Hive WebHCat
- Apache Pig (à partir de 2.3.22-ubuntu22-arm)
- Docker
- Notebook Zeppelin
- Zookeeper (installé dans les clusters à haute disponibilité ; composant facultatif dans les autres clusters)
Lightning Engine et exécution de requêtes natives sur ARM : compatibles avec les images 2.3-ubuntu22-arm.
yarn.nodemanager.recovery.enabled et la journalisation d'audit HDFS sont activés par défaut dans les images 2.3.
micromamba, au lieu de conda dans les versions d'image précédentes, est installé dans le cadre de l'installation de Python.
Version d'Apache Iceberg : dans les images 2.3, Apache Iceberg est disponible dans les versions 1.6.1 et 1.10. La version par défaut est 1.6.1. À partir de la version d'image 2.3.35, les clusters 2.3 créés avec Lightning Engine activé utilisent Iceberg version 1.10 par défaut. Pour spécifier la version d'Iceberg sur n'importe quel cluster 2.3, définissez la propriété de cluster dataproc:dataproc.iceberg.version sur 1.10 (ou 1.6) lors de la création du cluster.
Problèmes d'installation de Docker et Zeppelin :
- L'installation échoue si le cluster n'a pas d'accès à Internet public. Pour contourner ce problème, créez un cluster qui utilise une image personnalisée avec des composants facultatifs préinstallés. Pour ce faire, exécutez generate_custom_image.py avec l'option --optional-components.
- L'installation peut échouer si le cluster est épinglé à une version d'image secondaire plus ancienne : les packages sont installés à la demande à partir de dépôts OSS publics, et un package peut ne pas être disponible en amont pour permettre l'installation. Pour contourner ce problème, créez un cluster qui utilise une image personnalisée avec des composants facultatifs préinstallés dans l'image personnalisée. Pour ce faire, exécutez generate_custom_image.py avec l'option --optional-components.
Le simulateur de ressources par défaut pour YARN est passé de DefaultResourceCalculator à DominantResourceCalculator, qui utilise le concept de ressource dominante pour déterminer l'allocation des ressources, telles que l'allocation de mémoire et de processeur. Ce changement affecte l'autoscaler, qui effectue un scaling en fonction de l'utilisation des ressources dominantes du cluster.

Composants de machine learning (ML) de la version d'image 2.3

L'image 2.3-ml-ubuntu de Managed Service pour Apache Spark étend l'image de base 2.3 avec des logiciels spécifiques au ML. Elle est compatible avec les composants facultatifs de l'image 2.3 et d'autres fonctionnalités de la version 2.3, et ajoute les versions de composants listées dans les sections suivantes.

Bibliothèques spécifiques aux GPU

Pour les jobs Managed Service pour Apache Spark qui utilisent des VM GPU, le pilote et les bibliothèques NVIDIA suivants sont disponibles dans l'image 2.3-ml-ubuntu. Vous pouvez les utiliser pour effectuer les tâches suivantes :

Accélérez les charges de travail par lot Spark avec la bibliothèque NVIDIA cuDF pour Apache Spark.
Entraîner des charges de travail de machine learning
Exécuter une inférence par lot distribuée à l'aide de Spark

Nom du package	Version
Spark cuDF	25.04.0
Pilote NVIDIA	Ubuntu 22.04 LTS accéléré avec la version 570 du pilote NVIDIA
CUDA	12.6.3
cublas	12.6.4
cusolver	11.7.1
cupti	12.6.80
cusparse	12.5.4
cuDNN	9.10.1
NCCL	2.27.5

Bibliothèques XGBoost

Les versions de package Maven suivantes sont disponibles dans l'image 2.3-ml-ubuntu pour vous permettre d'utiliser XGBoost avec Spark en Java ou Scala.

ID du groupe	Nom du package	Version
ml.dmlc	xgboost4j-gpu_2.12	2.1.1
ml.dmlc	xgboost4j-spark-gpu_2.12	2.1.1

Bibliothèques Python

L'image 2.3-ml-ubuntu contient les bibliothèques suivantes, qui sont compatibles avec différentes étapes du cycle de vie du ML.

Bibliothèques Python de l'image `2.3-ml-ubuntu`

Package	Version
accélérer	1.8.1
conda	23.11.0
cookiecutter	2.5.0
curl	8.12.1
cython	3.0.12
dask	2023.12.1
ensembles de données	3.6.0
deepspeed	0.17.2
delta-spark	3.2.0
evaluate	0.4.5
fastavro	1.9.7
fastparquet	2023.10.1
fiona	1.10.0
gateway-provisioners[yarn]	0.4.0
gcsfs	2023.12.2.post1
google-auth-oauthlib	1.2.2
google-cloud-aiplatform	1.88.0
google-cloud-bigquery[pandas]	3.31.0
google-cloud-bigquery-storage	2.30.0
google-cloud-bigtable	2.30.1
google-cloud-container	2.56.1
google-cloud-datacatalog	3.26.1
google-cloud-dataproc	5.18.1
google-cloud-datastore	2.21.0
google-cloud-language	2.17.2
google-cloud-logging	3.11.4
google-cloud-monitoring	2.27.2
google-cloud-pubsub	2.29.1
google-cloud-redis	2.18.1
google-cloud-spanner	3.53.0
google-cloud-speech	2.32.0
google-cloud-storage	2.19.0
google-cloud-texttospeech	2.25.1
google-cloud-translate	3.20.3
google-cloud-vision	3.10.2
huggingface_hub	0.33.1
httplib2	0.22.0
ipyparallel	8.6.1
ipython-sql	0.3.9
ipywidgets	8.1.7
jupyter_contrib_nbextensions	0.7.0
jupyter_http_over_ws	0.0.8
jupyter_kernel_gateway	2.5.2
jupyter_server	1.24.0
jupyterhub	4.1.6
jupyterlab	3.6.8
jupyterlab-git	0.44.0
jupyterlab_widgets	3.0.15
koalas	0.22.0
langchain	0.3.26
lightgbm	4.6.0
markdown	3.5.2
matplotlib	3.8.4
mlflow	3.1.1
nbconvert	7.14.2
nbdime	3.2.1
nltk	3.9.1
notebook	6.5.7
numba	0.58.1
numpy	1.26.4
oauth2client	4.1.3
onnx	1.17.0
openblas	0.3.25
opencv	4.11.0
orc	2.1.1
pandas	2.1.4
pandas-profiling	3.0.0
papeterie	2.4.0
pyarrow	16.1.0
pydot	2.0.0
pyhive	0.7.0
pynvml	12.0.0
pysal	23,7
pytables	3.9.2
python	3.11
regex	25/12/2023
requêtes	2.32.2
requests-kerberos	0.12.0
rtree	1.1.0
scikit-image	0.22.0
scikit-learn	1.5.2
scipy	1.11.4
seaborn	0.13.2
sentence-transformers	5.0.0
setuptools	79.0.1
shap	0.48.0
shapely	2.1.1
spacy	3.8.7
spark-tensorflow-distributor	1.0.0
spyder	5.5.6
sqlalchemy	2.0.41
sympy	1.13.3
tensorflow	2.18.0
tokenizers	0.21.4.dev0
toree	0.5.0
lampe de poche	2.6.0
torch-model-archiver	0.11.1
torcheval	0.0.7
tornade	6.4.2
torchvision	0.21.0
traitlets	5.14.3
transformers	4.53.1
uritemplate	4.1.1
virtualenv	20.26.6
wordcloud	1.9.4
xgboost	2.1.4

Bibliothèques R

Les versions de bibliothèque R suivantes sont incluses dans l'image 2.3-ml-ubuntu.

Bibliothèques R de l'image `2.3-ml-ubuntu`

Nom du package	Version
r-ggplot2	3.4.4
r-irkernel	1.3.2
r-rcurl	1.98-1.16
r-recommended	4.3