Un intérprete de Python ejecuta los trabajos de PySpark en Managed Service para Apache Spark en el clúster. El código del trabajo debe ser compatible en el entorno de ejecución con la versión y las dependencias del intérprete de Python.
Verifica la versión del intérprete y los módulos
El siguiente programa de ejemplo check_python_env.py verifica que el usuario de Linux ejecute el trabajo, el intérprete de Python y los módulos disponibles.
import getpass import importlib.util import sys print(f'This job is running as "{getpass.getuser()}".') print(sys.executable, sys.version_info) for package in sys.argv[1:]: print(importlib.util.find_spec(package))
Ejecuta el programa:
REGION=region gcloud dataproc jobs submit pyspark check_python_env.py \ --cluster=my-cluster \ --region=${REGION} \ -- pandas scipy
Resultado de muestra:
This job is running as "root". /opt/conda/default/bin/python sys.version_info(major=3, minor=11, micro=8, releaselevel='final', serial=0) ModuleSpec(name='pandas', loader=<_frozen_importlibexternal.SourceFileLoader object at 0x7f8b9c0a3d90>, origin='/opt/conda/default/lib/python3.11/site-packages/pandas/init_.py', submodule_search_locations=['/opt/conda/default/lib/python3.11/site-packages/pandas']) ModuleSpec(name='scipy', loader=<_frozen_importlibexternal.SourceFileLoader object at 0x7f8b9c0a3e50>, origin='/opt/conda/default/lib/python3.11/site-packages/scipy/init_.py', submodule_search_locations=['/opt/conda/default/lib/python3.11/site-packages/scipy'])
Entornos de Python de imágenes de Managed Service para Apache Spark
En las siguientes secciones, se describen los entornos de Python para los clústeres de versiones de imágenes de Managed Service para Apache Spark compatibles.
Versión de imagen 2.x de Managed Service para Apache Spark
Conda (o micromamba en las imágenes 2.3)
se instala en los clústeres de Managed Service para Apache Spark 2.x. El intérprete predeterminado de Python 3 se encuentra en la instancia de VM en /opt/conda/default/bin. En las siguientes páginas, se muestra la versión de Python incluida
en las versiones de imagen de Managed Service para Apache Spark 2.x compatibles:
El intérprete de Python no predeterminado del SO está disponible en /usr/bin/.
Puedes instalar paquetes conda y pip en el entorno base o configurar
tu propio entorno conda en el clúster con
propiedades del clúster relacionadas con conda.
Nota sobre el canal de Conda: Las versiones de imagen predeterminadas de Managed Service para Apache Spark 2.1, 2.2 y
2.3 no incluyen canales de paquetes de Conda preconfigurados (como
defaults o conda-forge) en .condarc (consulta la
nota de la versión del 4 de septiembre de 2026).
Si pasas nombres de paquetes sin prefijo a dataproc:conda.packages o ejecutas
conda install PACKAGE sin especificar un canal, se producirá un error con
CondaValueError: No channels available to install from o
PackagesNotFoundError.
Para instalar paquetes de Conda, debes especificar de forma explícita el canal:
- Cuando uses la propiedad
dataproc:conda.packages, utiliza el formatoCHANNEL::PACKAGE==VERSION(por ejemplo,dataproc:conda.packages=conda-forge::pip==24.0). - Cuando ejecutes
conda installen la línea de comandos, pasa la marca-c(o--channel), por ejemplo,conda install PACKAGES -c conda-forge.
Ejemplo:
REGION=region gcloud dataproc clusters create my-cluster \ --image-version=2.3 \ --region=${REGION} \ --properties=^#^dataproc:conda.packages='conda-forge::pytorch==2.1.0,conda-forge::coverage==6.5.0'#dataproc:pip.packages='tokenizers==0.15.0,datasets==2.16.1'
Versión de imagen 3.0 de Managed Service para Apache Spark
Python 3 está instalado en los clústeres de Managed Service para Apache Spark 3.0. En las imágenes 3.0, Pixi se instala como parte de la instalación de Python y se usa para instalar paquetes de Python en lugar de Conda.
Evita problemas con la descarga de paquetes
Los nodos del clúster de Managed Service para Apache Spark descargan paquetes de repositorios públicos externos de Python cuando instalan paquetes personalizados de conda y pip (consulta las propiedades del clúster relacionadas con conda).
Para evitar fallas en la creación de clústeres debido a la falta de disponibilidad de repositorios públicos de Python, considera crear una imagen personalizada de Managed Service para Apache Spark o
subir las dependencias a un bucket de Cloud Storage (consulta
Descarga dependencias con clústeres de solo IP interna).
Elige un intérprete de Python para un trabajo
Si hay varios intérpretes de Python instalados en tu clúster, el sistema ejecuta
/etc/profile.d/effective-python.sh, que exporta la variable de entorno
PYSPARK_PYTHON para elegir el intérprete de Python predeterminado para tus trabajos
de PySpark. Si necesitas un intérprete de Python no predeterminado para un trabajo de PySpark, cuando
envíes el trabajo a tu clúster, establece las propiedades spark.pyspark.python y
spark.pyspark.driver.python en la ruta de acceso o la versión de Python requeridas
(por ejemplo, "/usr/bin/python3" o "python3.11").
Ejemplo:
REGION=region gcloud dataproc jobs submit pyspark check_python_env.py \ --cluster=my-cluster \ --region=${REGION} \ --properties="spark.pyspark.python=/usr/bin/python3,spark.pyspark.driver.python=/usr/bin/python3"
Python con sudo
Si te conectas a un nodo del clúster con SSH, cuando ejecutes sudo python
--version, la versión de Python que se muestra puede ser diferente de la que
muestra python --version. Esta diferencia de versión puede ocurrir porque
sudo usa la versión predeterminada de Python /usr/bin/python del sistema y no ejecuta
/etc/profile.d/effective-python.sh para inicializar el entorno de Python. Para obtener una
experiencia coherente cuando uses sudo, busca la ruta de Python establecida en
/etc/profile.d/effective-python.sh y, luego, ejecuta el comando env para establecer la
PATH en esta ruta de Python. Por ejemplo:
sudo env PATH=/opt/conda/default/bin:${PATH} python --version
Usa propiedades de clúster relacionadas con conda
Puedes personalizar el entorno de conda durante la creación del clúster con las
propiedades del clúster
relacionadas con conda.
Existen dos formas mutuamente excluyentes de personalizar el entorno de Conda cuando creas un clúster de Managed Service para Apache Spark:
Usa la propiedad de clúster
dataproc:conda.env.config.uripara crear y activar un entorno de Conda nuevo en el clúster. oUsa las propiedades del clúster
dataproc:conda.packagesydataproc:pip.packagespara agregar paquetescondaypip, respectivamente, al entorno decondabaseen el clúster.
Propiedades del clúster relacionadas con conda
dataproc:conda.env.config.uri: Es la ruta de acceso absoluta a un archivo de configuración YAML del entorno de Conda ubicado en Cloud Storage. Este archivo se usa para crear y activar un entorno decondanuevo en el clúster. Debido a que las imágenes predeterminadas no incluyen canales de Conda preconfigurados, asegúrate de que tu archivoenvironment.yamlenumere de forma explícita los canales de paquetes necesarios (comoconda-forge) enchannels.Ejemplo:
Obtén o crea un archivo de configuración
environment.yamlde conda. Puedes crear el archivo de forma manual, usar un archivo existente o exportar un entorno de Conda existente a un archivoenvironment.yamlcon el siguiente comando:conda env export --name=env-name > environment.yaml
Copia el archivo de configuración en tu bucket de Cloud Storage.
gcloud storage cp environment.yaml gs://bucket-name/environment.yaml
Crea el clúster y apunta el archivo de configuración de entorno en Cloud Storage.
REGION=region gcloud dataproc clusters create cluster-name \ --region=${REGION} \ --properties='dataproc:conda.env.config.uri=gs://bucket-name/environment.yaml' \ ... other flags ...
dataproc:conda.packages: Es una lista de paquetes decondacon canales y versiones específicos que se instalarán en el entorno base, con el formatoCHANNEL::PACKAGE==VERSION(por ejemplo,conda-forge::pkg1==v1,conda-forge::pkg2==v2...). Sicondano puede resolver conflictos con paquetes existentes en el entorno base, no se instalarán los paquetes en conflicto.Notas:
Debido a que las versiones de imagen predeterminadas de Managed Service para Apache Spark
2.1,2.2y2.3no incluyen canales de Conda preconfigurados en.condarc, debes anteponer a cada nombre de paquete su canal (comoconda-forge::). El paso de nombres de paquetes sin prefijo falla conCondaValueError: No channels available to install fromoPackagesNotFoundError.Las propiedades del clúster
dataproc:conda.packagesydataproc:pip.packagesno se pueden usar con la propiedad del clústerdataproc:conda.env.config.uri.Cuando especifiques varios paquetes (separados por una coma), debes especificar un carácter delimitador alternativo (consulta la propiedad del clúster Formato). En el siguiente ejemplo, se especifica "#" como el carácter delimitador para pasar varios nombres de paquetes separados por comas a la propiedad
dataproc:conda.packages.
Ejemplo:
REGION=region gcloud dataproc clusters create cluster-name \ --region=${REGION} \ --properties='^#^dataproc:conda.packages=conda-forge::pytorch==2.1.0,conda-forge::coverage==6.5.0' \ ... other flags ...
dataproc:pip.packages: Es una lista de paquetes depipcon versiones específicas que se instalarán en el entorno base, con el formatopkg1==v1,pkg2==v2....pipactualiza las dependencias existentes solo si es necesario. Los conflictos pueden hacer que el entorno sea incoherente.Notas:
Las propiedades del clúster
dataproc:pip.packagesydataproc:conda.packagesno se pueden usar con la propiedad del clústerdataproc:conda.env.config.uri.Cuando especifiques varios paquetes (separados por una coma), debes especificar un carácter delimitador alternativo (consulta la propiedad del clúster Formato). En el siguiente ejemplo, se especifica “#” como carácter delimitador para pasar varios nombres de paquetes separados por comas a la propiedad
dataproc:pip.packages.
Ejemplo:
REGION=region gcloud dataproc clusters create cluster-name \ --region=${REGION} \ --properties='^#^dataproc:pip.packages=tokenizers==0.15.0,datasets==2.16.1' \ ... other flags ...
Puedes usar
dataproc:conda.packagesydataproc:pip.packagescuando creas un clúster.Ejemplo:
REGION=region gcloud dataproc clusters create cluster-name \ --region=${REGION} \ --image-version=2.3 \ --properties=^#^dataproc:conda.packages='conda-forge::pytorch==2.1.0,conda-forge::coverage==6.5.0'#dataproc:pip.packages='tokenizers==0.15.0,datasets==2.16.1' \ ... other flags ...