Secret Manager peut protéger vos données sensibles, telles que vos clés API, vos mots de passe et vos certificats. Vous pouvez l'utiliser pour gérer, consulter et auditer vos secrets dansCloud de Confiance by S3NS.
Vous pouvez configurer un cluster ou un job Managed Service pour Apache Spark afin d'utiliser un secret Secret Manager à l'aide du fournisseur d'identifiants Secret Manager.
Disponibilité
Cette fonctionnalité est disponible pour les clusters Managed Service pour Apache Spark créés avec les versions d'image 2.0.97+, 2.1.41+, 2.2.6+ ou des versions d'image Managed Service pour Apache Spark majeures ultérieures.
Terminologie
Le tableau suivant décrit les termes utilisés dans ce document.
| Terme | Description |
|---|---|
Secret |
Un secret Secret Manager est un objet de projet global qui contient un ensemble de métadonnées et de versions de secrets. Vous pouvez les gérer et y accéder sous forme de chaînes de texte ou blobs binaires. |
Credential |
Dans Hadoop et d'autres applications hébergées par Managed Service pour Apache Spark, un identifiant se compose d'un nom d'identifiant (ID) et d'une valeur d'identifiant (mot de passe). Un ID et une valeur d'identifiant sont mappés à un ID de secret et à une valeur de secret (version du secret) Secret Manager. |
Utilisation
Vous pouvez configurer Hadoop et d'autres composants OSS pour qu'ils fonctionnent avec Secret Manager en définissant les propriétés suivantes lorsque vous créez un cluster Managed Service pour Apache Spark ou envoyez un job.
Chemin d'accès du fournisseur : la propriété de chemin d'accès du fournisseur,
hadoop.security.credential.provider.path, est une liste d'un ou de plusieurs URI de fournisseur d'identifiants séparés par une virgule, qui est parcourue pour résoudre un identifiant.--properties=hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID
schemedans le chemin d'accès du fournisseur indique le type de fournisseur d'identifiants. Les schémas Hadoop incluentjceks://,user://etlocaljceks://. Utilisez le schémagsm://pour rechercher des identifiants dans Secret Manager.
Remplacer l'opérateur point : le service Secret Manager n'autorise pas les points (
.) dans les noms de secrets. Cependant, certains composants de logiciels Open Source (OSS) utilisent des points dans leurs clés d'identifiants. Pour contourner cette limitation, activez cette propriété afin de remplacer les points (.) par des traits d'union (-) dans les noms d'identifiants. Cela permet de s'assurer que les identifiants OSS dont le nom contient des points peuvent être stockés et récupérés correctement à partir de Secret Manager.Par exemple, si une clé d'identifiant OSS est
a.b.c, vous devez la remplacer para-b-clorsque vous la stockez dans Secret Manager.--properties=hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true
Cette propriété est facultative. La valeur par défaut est
false. Pour les clés d'identifiants qui ne comportent pas d'opérateur point (.) dans leur nom d'identifiant, cette propriété peut être ignorée.Version du secret : les secrets dans Secret Manager peuvent avoir plusieurs versions (valeurs). Utilisez cette propriété pour accéder à une version de secret spécifique afin d'obtenir un accès stable dans les environnements de production.
--properties=hadoop.security.credstore.google-secret-manager.secret-version=1
Cette propriété est facultative. Par défaut, Secret Manager accède à la version
LATEST, qui correspond à la dernière valeur du secret au moment de l'exécution. Si votre cas d'utilisation consiste à toujours accéder à la versionLATESTd'un secret, vous pouvez ignorer cette propriété en toute sécurité.
Créer un cluster Managed Service pour Apache Spark avec le fournisseur d'identifiants Secret Manager
- Exécutez la commande suivante localement ou dans Cloud Shell pour créer un cluster Managed Service pour Apache Spark avec les propriétés requises.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --properties="hadoop:hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID,hadoop:hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true" \ ...other flags as needed...
Remarques :
- CLUSTER_NAME : nom du nouveau cluster.
- REGION : région Compute Engine dans laquelle votre charge de travail sera exécutée.
- PROJECT_ID : l'ID de votre projet est indiqué dans la section Informations sur le projet du tableau de bord de la consoleCloud de Confiance .
Envoyer un job Managed Service pour Apache Spark avec le fournisseur d'identifiants Secret Manager
Exécutez la commande suivante localement ou dans Cloud Shell pour envoyer un job Managed Service pour Apache Spark avec les propriétés requises.
gcloud dataproc jobs submit CLUSTER_NAME \ --region=REGION \ --properties="hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID,hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true" \ ...other flags as needed... \ -- job-args
Remarques :
- CLUSTER_NAME : nom du cluster qui exécutera le job.
- REGION : région Compute Engine dans laquelle votre charge de travail sera exécutée.
- PROJECT_ID : l'ID de votre projet est indiqué dans la section Informations sur le projet du tableau de bord de la consoleCloud de Confiance .
Utiliser Secret Manager avec le métastore Hive
La propriété Hive Metastore, javax.jdo.option.ConnectionPassword, contient le mot de passe utilisé pour authentifier l'accès à la base de données du metastore. Le mot de passe est enregistré au format texte dans hive-site.xml, ce qui représente un risque de sécurité. Une bonne pratique de production consiste à stocker le mot de passe dans Secret Manager, puis à mettre à jour le fichier de configuration hive-site.xml pour permettre au service de metastore Hive de lire le mot de passe à partir de Secret Manager.
Les exemples suivants vous montrent comment utiliser Secret Manager dans différents scénarios de métastore Hive.
Créer un cluster avec un metastore local
- Exécutez la commande suivante localement ou dans Cloud Shell pour créer un cluster Managed Service pour Apache Spark.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ ...other flags as needed... \
Remarques :
- CLUSTER_NAME : nom du nouveau cluster.
- REGION : région Compute Engine dans laquelle votre charge de travail sera exécutée.
Créez un secret à l'aide de Secret Manager ou de la commande
hadoop credential.Option 1 : Utiliser Secret Manager pour créer un secret.
- Nom du secret :
/projects/PROJECT_ID/secrets/javax-jdo-option-ConnectionPassword/versions/1 - Valeur du secret :
METASTORE_PASSWORD.
- Nom du secret :
Option 2 : Utilisez la commande
hadoop credentialpour créer un secret.sudo hadoop credential create javax-jdo-option-ConnectionPassword -provider gsm://projects/PROJECT_ID -v METASTORE_PASSWORD
- METASTORE_PASSWORD : étant donné que Secret Manager n'accepte pas l'opérateur point (
.), remplacez tous les points (.) du mot de passe par des traits d'union (-).
- METASTORE_PASSWORD : étant donné que Secret Manager n'accepte pas l'opérateur point (
Vérifiez que le secret existe.
sudo hadoop credential list -provider gsm://projects/PROJECT_ID
Utilisez un éditeur de texte pour supprimer la propriété
javax.jdo.option.ConnectionPassworddu fichierhive-site.xml, puis ajoutez les propriétéshadoop.security.credential.provider.pathethadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operatorau fichier.Exemples de propriétés :
hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true
Redémarrez le metastore Hive.
sudo systemctl restart hive-metastore
Créer un cluster avec un metastore Hive externe
Exécutez la commande suivante localement ou dans Cloud Shell pour créer un cluster Managed Service pour Apache Spark avec les propriétés de cluster suivantes. Utilisez ce cluster comme metastore Hive externe pour les jobs Hive exécutés à partir d'autres clusters Managed Service pour Apache Spark pour les charges de travail Spark Hive.
gcloud dataproc clusters create METASTORE_CLUSTER_NAME \ --region=REGION \ --properties=core:fs.defaultFS=gs://METASTORE_CLUSTER_PROXY_BUCKET,dataproc:dataproc.components.deactivate="hdfs hive-server2 hive-metastore" \ ...other flags as needed...
Créez un secret à l'aide de Secret Manager ou de la commande
hadoop credential.- Option 1 : Utiliser Secret Manager pour créer un secret.
- Nom du secret :
/projects/PROJECT_ID/secrets/javax-jdo-option-ConnectionPassword/versions/1 - Valeur du secret :
METASTORE_PASSWORD.
- Nom du secret :
- Option 2 : Utilisez la commande
hadoop credentialpour créer un secret.sudo hadoop credential create javax-jdo-option-ConnectionPassword -provider gsm://projects/PROJECT_ID -v METASTORE_PASSWORD
- METASTORE_PASSWORD : étant donné que Secret Manager n'accepte pas l'opérateur point (
.), remplacez les points (.) du mot de passe par des traits d'union (-).
- METASTORE_PASSWORD : étant donné que Secret Manager n'accepte pas l'opérateur point (
- Option 1 : Utiliser Secret Manager pour créer un secret.
Vérifiez que le secret existe.
sudo hadoop credential list -provider gsm://projects/PROJECT_ID
Créer un cluster pour exécuter des jobs Hive qui se connectent à un metastore externe
- Exécutez la commande suivante localement ou dans Cloud Shell pour créer un cluster Managed Service pour Apache Spark avec les propriétés de cluster suivantes.
Utilisez ce cluster pour exécuter des jobs Hive qui se connectent au metastore externe sur un autre cluster Managed Service pour Apache Spark.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --properties="hive:javax.jdo.option.ConnectionURL=jdbc:mysql://METASTORE_CLUSTER_NAME-m/metastore,hive:hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID,hive:hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true" \ ...other flags as needed...
Commandes d'identifiants Hadoop
Vous pouvez utiliser SSH pour vous connecter au nœud maître Managed Service pour Apache Spark afin d'utiliser la commande hadoop credential pour créer, lister et gérer des secrets.
Les commandes hadoop credential utilisent le format suivant : hadoop credential SUBCOMMAND OPTIONS.
Dans les exemples suivants, l'option -provider est ajoutée pour spécifier le type et l'emplacement du fournisseur (le magasin du fournisseur). Le schéma gsm:// spécifie Secret Manager.
Créez un secret avec l'ID de secret spécifié. La commande ne crée pas le secret si l'ID de secret spécifié existe. Ce comportement est cohérent avec l'API Hadoop
CredentialProvider.hadoop credential create SECRET_ID -provider gsm://projects/PROJECT_ID -v VALUE
Répertorier les secrets stockés dans un projet.
hadoop credential list -provider gsm://projects/PROJECT_ID
Vérifie si un secret existe dans un projet avec une valeur spécifiée.
hadoop credential check SECRET_ID -provider gsm://projects/PROJECT_ID -v VALUE
Recherchez une version de secret spécifique dans un fichier de configuration.
hadoop credential conf CONFIG_FILE check SECRET_ID -provider gsm://projects/PROJECT_ID -v VALUE
CONFIG_FILE : fichier XML qui définit
hadoop.security.credstore.google-secret-manager.secret-version.Supprimez toutes les versions d'un secret dans un projet.
hadoop credential delete SECRET_ID -provider gsm://projects/ PROJECT_ID
Pour en savoir plus, consultez le guide des commandes Hadoop.
Étapes suivantes
- Consultez la documentation Hive.