Usa el proveedor de credenciales de Secret Manager

Secret Manager puede proteger tus datos sensibles, como las claves de API, las contraseñas y los certificados. Puedes usarlo para administrar, acceder y auditar tus secretos en Cloud de Confiance by S3NS.

Puedes configurar un clúster o un trabajo de Managed Service para Apache Spark para que use un Secret de Secret Manager con el proveedor de credenciales de Secret Manager.

Disponibilidad

Esta función está disponible para usarse con clústeres de Managed Service para Apache Spark creados con las versiones de imagen 2.0.97 o posteriores, 2.1.41 o posteriores, 2.2.6 o posteriores, o bien con las versiones principales posteriores de las versiones de imagen de Managed Service para Apache Spark.

Terminología

En la siguiente tabla, se describen los términos que se usan en este documento.

Término Descripción
Secret Un Secret de Secret Manager es un objeto de proyecto global que contiene una colección de metadatos y versiones de Secret. Puedes almacenar secretos, administrarlos y acceder a ellos como BLOB binarios o cadenas de texto.
Credential En Hadoop y otras aplicaciones alojadas en Managed Service para Apache Spark, una credencial consta de un nombre de credencial (ID) y un valor de credencial (contraseña). Un ID de credencial y un valor se asignan a un ID de secreto y un valor de secreto (versión del secreto) de Secret Manager.

Uso

Puedes configurar Hadoop y otros componentes de OSS para que funcionen con Secret Manager estableciendo las siguientes propiedades cuando creas un clúster de Managed Service para Apache Spark o envías un trabajo.

  • Ruta de acceso del proveedor: Es la propiedad de ruta de acceso del proveedor, hadoop.security.credential.provider.path, que es una lista separada por comas de uno o más URIs de proveedores de credenciales que se recorren para resolver una credencial.

    --properties=hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID
    
    • El scheme en la ruta del proveedor indica el tipo de proveedor de credenciales. Los esquemas de Hadoop incluyen jceks://, user:// y localjceks://. Usa el esquema gsm:// para buscar credenciales en Secret Manager.
  • Sustituye el operador de punto: El servicio de Secret Manager no permite puntos (.) en los nombres de los secretos. Sin embargo, algunos componentes de software de código abierto (OSS) usan puntos en sus claves de credenciales. Para solucionar esta limitación, habilita esta propiedad para reemplazar los puntos (.) por guiones (-) en los nombres de las credenciales. Esto garantiza que las credenciales de OSS con puntos en sus nombres se puedan almacenar y recuperar correctamente desde Secret Manager.

    Por ejemplo, si una clave de credencial de OSS es a.b.c, debes modificarla a a-b-c cuando la almacenes en Secret Manager.

    --properties=hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true
    

    Esta es una propiedad opcional. De forma predeterminada, el valor es false. En el caso de las claves de credenciales que no tienen un operador de punto (.) en su nombre de credencial, esta propiedad se puede ignorar de forma segura.

  • Versión del secreto: Los secretos de Secret Manager pueden tener varias versiones (valores). Usa esta propiedad para acceder a una versión de secreto específica y obtener acceso estable en entornos de producción.

    --properties=hadoop.security.credstore.google-secret-manager.secret-version=1
    

    Esta es una propiedad opcional. De forma predeterminada, Secret Manager accede a la versión LATEST, que se resuelve en el valor más reciente del secreto en el entorno de ejecución. Si tu caso de uso es acceder siempre a la versión LATEST de un secreto, puedes ignorar esta propiedad de forma segura.

Crea un clúster de Managed Service para Apache Spark con el proveedor de credenciales de Secret Manager

  1. Ejecuta el siguiente comando de forma local o en Cloud Shell para crear un clúster de Managed Service para Apache Spark con las propiedades requeridas.
    gcloud dataproc clusters create CLUSTER_NAME \
        --region=REGION \
        --properties="hadoop:hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID,hadoop:hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true" \
        ...other flags as needed...
    

Notas:

Envía un trabajo de Managed Service para Apache Spark con el proveedor de credenciales de Secret Manager

  1. Ejecuta el siguiente comando de forma local o en Cloud Shell para enviar un trabajo de Managed Service para Apache Spark con las propiedades requeridas.

    gcloud dataproc jobs submit CLUSTER_NAME \
        --region=REGION \
        --properties="hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID,hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true" \
        ...other flags as needed... \
        -- job-args
    

Notas:

Usa Secret Manager con Hive Metastore

La propiedad de Hive Metastore, javax.jdo.option.ConnectionPassword, contiene la contraseña que se usa para autenticar el acceso a la base de datos de metastore. La contraseña se guarda en formato de texto en hive-site.xml, lo que representa un riesgo de seguridad. Una práctica recomendada de producción es almacenar la contraseña en Secret Manager y, luego, actualizar el archivo de configuración hive-site.xml para permitir que el servicio de almacén de metadatos de Hive lea la contraseña desde Secret Manager.

En los siguientes ejemplos, se muestra cómo usar Secret Manager en diferentes situaciones de Hive Metastore.

Crea un clúster con un almacén de metadatos local

  1. Ejecuta el siguiente comando de forma local o en Cloud Shell para crear un clúster de Managed Service para Apache Spark.
    gcloud dataproc clusters create CLUSTER_NAME \
        --region=REGION \
        ...other flags as needed... \
    

Notas:

  • CLUSTER_NAME Es el nombre del clúster nuevo.
  • REGION: Es una región de Compute Engine en la que se ejecutará tu carga de trabajo.
  1. Crea un Secret con Secret Manager o el comando hadoop credential.

    • Alternativa 1: Usa Secret Manager para crear un secreto.

      • Nombre del Secret: /projects/PROJECT_ID/secrets/javax-jdo-option-ConnectionPassword/versions/1
      • Valor del secreto: METASTORE_PASSWORD.
    • Alternativa 2: Usa el comando hadoop credential para crear un Secret.

      sudo hadoop credential create javax-jdo-option-ConnectionPassword -provider gsm://projects/PROJECT_ID -v METASTORE_PASSWORD
      

      • METASTORE_PASSWORD: Como Secret Manager no admite el operador de punto (.), sustituye los puntos (.) de la contraseña por guiones (-).
  2. Verifica que el Secret exista.

    sudo hadoop credential list -provider gsm://projects/PROJECT_ID
    

  3. Usa un editor de texto para quitar la propiedad javax.jdo.option.ConnectionPassword del archivo hive-site.xml y, luego, agrega las propiedades hadoop.security.credential.provider.path y hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator al archivo.

    Propiedades de ejemplo:

    hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID
    hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true
    

  4. Reinicia Hive Metastore.

    sudo systemctl restart hive-metastore
    

Crea un clúster con un almacén de metadatos de Hive externo

  1. Ejecuta el siguiente comando de forma local o en Cloud Shell para crear un clúster de Managed Service para Apache Spark con las siguientes propiedades. Usa este clúster como un almacén de metadatos de Hive externo para los trabajos de Hive que se ejecutan desde otros clústeres de Managed Service para Apache Spark para las cargas de trabajo de Spark Hive.

    gcloud dataproc clusters create METASTORE_CLUSTER_NAME \
        --region=REGION \
        --properties=core:fs.defaultFS=gs://METASTORE_CLUSTER_PROXY_BUCKET,dataproc:dataproc.components.deactivate="hdfs hive-server2 hive-metastore" \
        ...other flags as needed...
    
  2. Crea un Secret con Secret Manager o el comando hadoop credential.

    • Alternativa 1: Usa Secret Manager para crear un secreto.
      • Nombre del Secret: /projects/PROJECT_ID/secrets/javax-jdo-option-ConnectionPassword/versions/1
      • Valor del secreto: METASTORE_PASSWORD.
    • Alternativa 2: Usa el comando hadoop credential para crear un Secret.
      sudo hadoop credential create javax-jdo-option-ConnectionPassword -provider gsm://projects/PROJECT_ID -v METASTORE_PASSWORD
      
      • METASTORE_PASSWORD: Como Secret Manager no admite el operador de punto (.), sustituye los puntos (.) de la contraseña por guiones (-).
  3. Verifica que el Secret exista.

    sudo hadoop credential list -provider gsm://projects/PROJECT_ID
      

Crea un clúster para ejecutar trabajos de Hive que se conecten a un almacén de metadatos externo

  1. Ejecuta el siguiente comando de forma local o en Cloud Shell para crear un clúster de Managed Service para Apache Spark con las siguientes propiedades. Usa este clúster para ejecutar trabajos de Hive que se conecten al almacén de metadatos externo en otro clúster de Managed Service para Apache Spark.
    gcloud dataproc clusters create CLUSTER_NAME \
        --region=REGION \
        --properties="hive:javax.jdo.option.ConnectionURL=jdbc:mysql://METASTORE_CLUSTER_NAME-m/metastore,hive:hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID,hive:hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true" \
        ...other flags as needed...
    

Comandos de credenciales de Hadoop

Puedes usar SSH para conectarte al nodo principal de Managed Service para Apache Spark y usar el comando hadoop credential para crear, enumerar y administrar secretos.

Los comandos hadoop credential usan el siguiente formato: hadoop credential SUBCOMMAND OPTIONS. En los siguientes ejemplos, se agrega la marca -provider para especificar el tipo de proveedor y la ubicación (el almacén del proveedor). El esquema gsm:// especifica Secret Manager.

  • Crea un Secret con el ID de Secret especificado. El comando no crea el secreto si existe el ID de secreto especificado. Este comportamiento es coherente con la API de CredentialProvider de Hadoop.

    hadoop credential create SECRET_ID -provider gsm://projects/PROJECT_ID -v VALUE
    

  • Enumera los secretos almacenados en un proyecto.

    hadoop credential list -provider gsm://projects/PROJECT_ID
    

  • Verifica si existe un secreto en un proyecto con un valor especificado.

    hadoop credential check SECRET_ID -provider gsm://projects/PROJECT_ID -v VALUE
    

  • Verifica si hay una versión de secreto específica en un archivo de configuración.

    hadoop credential conf CONFIG_FILE check SECRET_ID -provider gsm://projects/PROJECT_ID -v VALUE
    
  • CONFIG_FILE: Es el archivo en formato XML que establece hadoop.security.credstore.google-secret-manager.secret-version.

  • Borra todas las versiones de un secreto en un proyecto.

    hadoop credential delete SECRET_ID -provider gsm://projects/ PROJECT_ID
    

Consulta la guía de comandos de Hadoop para obtener más información.

¿Qué sigue?