Secret Manager puede proteger tus datos sensibles, como las claves de API, las contraseñas y los certificados. Puedes usarlo para administrar, acceder y auditar tus secretos en Cloud de Confiance by S3NS.
Puedes configurar un clúster o un trabajo de Managed Service para Apache Spark para que use un Secret de Secret Manager con el proveedor de credenciales de Secret Manager.
Disponibilidad
Esta función está disponible para usarse con clústeres de Managed Service para Apache Spark creados con las versiones de imagen 2.0.97 o posteriores, 2.1.41 o posteriores, 2.2.6 o posteriores, o bien con las versiones principales posteriores de las versiones de imagen de Managed Service para Apache Spark.
Terminología
En la siguiente tabla, se describen los términos que se usan en este documento.
| Término | Descripción |
|---|---|
Secret |
Un Secret de Secret Manager es un objeto de proyecto global que contiene una colección de metadatos y versiones de Secret. Puedes almacenar secretos, administrarlos y acceder a ellos como BLOB binarios o cadenas de texto. |
Credential |
En Hadoop y otras aplicaciones alojadas en Managed Service para Apache Spark, una credencial consta de un nombre de credencial (ID) y un valor de credencial (contraseña). Un ID de credencial y un valor se asignan a un ID de secreto y un valor de secreto (versión del secreto) de Secret Manager. |
Uso
Puedes configurar Hadoop y otros componentes de OSS para que funcionen con Secret Manager estableciendo las siguientes propiedades cuando creas un clúster de Managed Service para Apache Spark o envías un trabajo.
Ruta de acceso del proveedor: Es la propiedad de ruta de acceso del proveedor,
hadoop.security.credential.provider.path, que es una lista separada por comas de uno o más URIs de proveedores de credenciales que se recorren para resolver una credencial.--properties=hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID
- El
schemeen la ruta del proveedor indica el tipo de proveedor de credenciales. Los esquemas de Hadoop incluyenjceks://,user://ylocaljceks://. Usa el esquemagsm://para buscar credenciales en Secret Manager.
- El
Sustituye el operador de punto: El servicio de Secret Manager no permite puntos (
.) en los nombres de los secretos. Sin embargo, algunos componentes de software de código abierto (OSS) usan puntos en sus claves de credenciales. Para solucionar esta limitación, habilita esta propiedad para reemplazar los puntos (.) por guiones (-) en los nombres de las credenciales. Esto garantiza que las credenciales de OSS con puntos en sus nombres se puedan almacenar y recuperar correctamente desde Secret Manager.Por ejemplo, si una clave de credencial de OSS es
a.b.c, debes modificarla aa-b-ccuando la almacenes en Secret Manager.--properties=hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true
Esta es una propiedad opcional. De forma predeterminada, el valor es
false. En el caso de las claves de credenciales que no tienen un operador de punto (.) en su nombre de credencial, esta propiedad se puede ignorar de forma segura.Versión del secreto: Los secretos de Secret Manager pueden tener varias versiones (valores). Usa esta propiedad para acceder a una versión de secreto específica y obtener acceso estable en entornos de producción.
--properties=hadoop.security.credstore.google-secret-manager.secret-version=1
Esta es una propiedad opcional. De forma predeterminada, Secret Manager accede a la versión
LATEST, que se resuelve en el valor más reciente del secreto en el entorno de ejecución. Si tu caso de uso es acceder siempre a la versiónLATESTde un secreto, puedes ignorar esta propiedad de forma segura.
Crea un clúster de Managed Service para Apache Spark con el proveedor de credenciales de Secret Manager
- Ejecuta el siguiente comando de forma local o en Cloud Shell para
crear un clúster de Managed Service para Apache Spark
con las propiedades requeridas.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --properties="hadoop:hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID,hadoop:hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true" \ ...other flags as needed...
Notas:
- CLUSTER_NAME Es el nombre del clúster nuevo.
- REGION: Es una región de Compute Engine en la que se ejecutará tu carga de trabajo.
- PROJECT_ID: El ID del proyecto aparece en la sección Información del proyecto del Cloud de Confiance panel de la consola.
Envía un trabajo de Managed Service para Apache Spark con el proveedor de credenciales de Secret Manager
Ejecuta el siguiente comando de forma local o en Cloud Shell para enviar un trabajo de Managed Service para Apache Spark con las propiedades requeridas.
gcloud dataproc jobs submit CLUSTER_NAME \ --region=REGION \ --properties="hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID,hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true" \ ...other flags as needed... \ -- job-args
Notas:
- CLUSTER_NAME: Es el nombre del clúster que ejecutará el trabajo.
- REGION: Es una región de Compute Engine en la que se ejecutará tu carga de trabajo.
- PROJECT_ID: El ID del proyecto aparece en la sección Información del proyecto del Cloud de Confiance panel de la consola.
Usa Secret Manager con Hive Metastore
La propiedad de Hive Metastore, javax.jdo.option.ConnectionPassword, contiene
la contraseña que se usa para autenticar el acceso a la base de datos de metastore. La contraseña se guarda en formato de texto en hive-site.xml, lo que representa un riesgo de seguridad. Una práctica recomendada de producción es almacenar la contraseña
en Secret Manager y, luego, actualizar el archivo de configuración hive-site.xml
para permitir que el servicio de almacén de metadatos de Hive lea la contraseña
desde Secret Manager.
En los siguientes ejemplos, se muestra cómo usar Secret Manager en diferentes situaciones de Hive Metastore.
Crea un clúster con un almacén de metadatos local
- Ejecuta el siguiente comando de forma local o en Cloud Shell para
crear un clúster de Managed Service para Apache Spark.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ ...other flags as needed... \
Notas:
- CLUSTER_NAME Es el nombre del clúster nuevo.
- REGION: Es una región de Compute Engine en la que se ejecutará tu carga de trabajo.
Crea un Secret con Secret Manager o el comando
hadoop credential.Alternativa 1: Usa Secret Manager para crear un secreto.
- Nombre del Secret:
/projects/PROJECT_ID/secrets/javax-jdo-option-ConnectionPassword/versions/1 - Valor del secreto:
METASTORE_PASSWORD.
- Nombre del Secret:
Alternativa 2: Usa el comando
hadoop credentialpara crear un Secret.sudo hadoop credential create javax-jdo-option-ConnectionPassword -provider gsm://projects/PROJECT_ID -v METASTORE_PASSWORD
- METASTORE_PASSWORD: Como Secret Manager no
admite el operador de punto (
.), sustituye los puntos (.) de la contraseña por guiones (-).
- METASTORE_PASSWORD: Como Secret Manager no
admite el operador de punto (
Verifica que el Secret exista.
sudo hadoop credential list -provider gsm://projects/PROJECT_ID
Usa un editor de texto para quitar la propiedad
javax.jdo.option.ConnectionPassworddel archivohive-site.xmly, luego, agrega las propiedadeshadoop.security.credential.provider.pathyhadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operatoral archivo.Propiedades de ejemplo:
hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true
Reinicia Hive Metastore.
sudo systemctl restart hive-metastore
Crea un clúster con un almacén de metadatos de Hive externo
Ejecuta el siguiente comando de forma local o en Cloud Shell para crear un clúster de Managed Service para Apache Spark con las siguientes propiedades. Usa este clúster como un almacén de metadatos de Hive externo para los trabajos de Hive que se ejecutan desde otros clústeres de Managed Service para Apache Spark para las cargas de trabajo de Spark Hive.
gcloud dataproc clusters create METASTORE_CLUSTER_NAME \ --region=REGION \ --properties=core:fs.defaultFS=gs://METASTORE_CLUSTER_PROXY_BUCKET,dataproc:dataproc.components.deactivate="hdfs hive-server2 hive-metastore" \ ...other flags as needed...
Crea un Secret con Secret Manager o el comando
hadoop credential.- Alternativa 1: Usa Secret Manager para crear un secreto.
- Nombre del Secret:
/projects/PROJECT_ID/secrets/javax-jdo-option-ConnectionPassword/versions/1 - Valor del secreto:
METASTORE_PASSWORD.
- Nombre del Secret:
- Alternativa 2: Usa el comando
hadoop credentialpara crear un Secret.sudo hadoop credential create javax-jdo-option-ConnectionPassword -provider gsm://projects/PROJECT_ID -v METASTORE_PASSWORD
- METASTORE_PASSWORD: Como Secret Manager no admite
el operador de punto (
.), sustituye los puntos (.) de la contraseña por guiones (-).
- METASTORE_PASSWORD: Como Secret Manager no admite
el operador de punto (
- Alternativa 1: Usa Secret Manager para crear un secreto.
Verifica que el Secret exista.
sudo hadoop credential list -provider gsm://projects/PROJECT_ID
Crea un clúster para ejecutar trabajos de Hive que se conecten a un almacén de metadatos externo
- Ejecuta el siguiente comando de forma local o en Cloud Shell para
crear un clúster de Managed Service para Apache Spark
con las siguientes propiedades.
Usa este clúster para ejecutar trabajos de Hive que se conecten al almacén de metadatos externo
en otro clúster de Managed Service para Apache Spark.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --properties="hive:javax.jdo.option.ConnectionURL=jdbc:mysql://METASTORE_CLUSTER_NAME-m/metastore,hive:hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID,hive:hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true" \ ...other flags as needed...
Comandos de credenciales de Hadoop
Puedes usar SSH
para conectarte al nodo principal de Managed Service para Apache Spark
y usar el comando hadoop credential para crear, enumerar y administrar secretos.
Los comandos hadoop credential usan el siguiente formato:
hadoop credential SUBCOMMAND OPTIONS.
En los siguientes ejemplos, se agrega la marca -provider para especificar el
tipo de proveedor y la ubicación (el almacén del proveedor). El esquema gsm:// especifica
Secret Manager.
Crea un Secret con el ID de Secret especificado. El comando no crea el secreto si existe el ID de secreto especificado. Este comportamiento es coherente con la API de
CredentialProviderde Hadoop.hadoop credential create SECRET_ID -provider gsm://projects/PROJECT_ID -v VALUE
Enumera los secretos almacenados en un proyecto.
hadoop credential list -provider gsm://projects/PROJECT_ID
Verifica si existe un secreto en un proyecto con un valor especificado.
hadoop credential check SECRET_ID -provider gsm://projects/PROJECT_ID -v VALUE
Verifica si hay una versión de secreto específica en un archivo de configuración.
hadoop credential conf CONFIG_FILE check SECRET_ID -provider gsm://projects/PROJECT_ID -v VALUE
CONFIG_FILE: Es el archivo en formato XML que establece
hadoop.security.credstore.google-secret-manager.secret-version.Borra todas las versiones de un secreto en un proyecto.
hadoop credential delete SECRET_ID -provider gsm://projects/ PROJECT_ID
Consulta la guía de comandos de Hadoop para obtener más información.
¿Qué sigue?
- Consulta la documentación de Hive.