Mit Secret Manager können Sie Ihre sensiblen Daten wie API-Schlüssel, Passwörter und Zertifikate schützen. Sie können damit Ihre Secrets inCloud de Confiance by S3NSverwalten, darauf zugreifen und prüfen.
Sie können einen Managed Service for Apache Spark-Cluster oder -Job so konfigurieren, dass ein Secret Manager-Secret verwendet wird. Verwenden Sie dazu den Secret Manager-Anmeldedatenanbieter.
Verfügbarkeit
Dieses Feature ist für Managed Service for Apache Spark-Cluster verfügbar, die mit den Image-Versionen 2.0.97+, 2.1.41+, 2.2.6+ oder höheren Hauptversionen von Managed Service for Apache Spark-Images erstellt wurden.
Terminologie
In der folgenden Tabelle werden die in diesem Dokument verwendeten Begriffe beschrieben.
| Begriff | Beschreibung |
|---|---|
Secret |
Ein Secret Manager-Secret ist ein globales Projektobjekt, das eine Sammlung von Metadaten und Secret-Versionen enthält. Sie können Secrets als binäre Blobs oder Textstrings speichern, verwalten und darauf zugreifen. |
Credential |
In Hadoop und anderen von Managed Service for Apache Spark gehosteten Anwendungen besteht ein Berechtigungsnachweis aus einem Namen (ID) und einem Wert (Passwort). Eine Anmeldedaten-ID und ein Wert werden einer Secret-ID und einem Secret-Wert (Secret-Version) von Secret Manager zugeordnet. |
Nutzung
Sie können Hadoop und andere OSS-Komponenten für die Verwendung mit Secret Manager konfigurieren. Legen Sie dazu die folgenden Attribute fest, wenn Sie einen Managed Service for Apache Spark-Cluster erstellen oder einen Job einreichen.
Anbieterpfad: Das Attribut für den Anbieterpfad,
hadoop.security.credential.provider.path, ist eine durch Kommas getrennte Liste mit einem oder mehreren URIs von Anmeldedatenanbietern, die durchlaufen werden, um Anmeldedaten aufzulösen.--properties=hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID
schemeim Anbieterpfad gibt den Typ des Anbieters von Anmeldedaten an. Zu den Hadoop-Schemas gehörenjceks://,user://undlocaljceks://. Verwenden Sie das Schemagsm://, um nach Anmeldedaten in Secret Manager zu suchen.
Punktoperator ersetzen: Der Secret Manager-Dienst lässt keine Punkte (
.) in Secret-Namen zu. Einige Open-Source-Softwarekomponenten (OSS) verwenden jedoch Punkte in ihren Anmeldedatenschlüsseln. Um diese Einschränkung zu umgehen, aktivieren Sie dieses Attribut, um Punkte (.) in den Namen von Anmeldedaten durch Bindestriche (-) zu ersetzen. So wird sichergestellt, dass OSS-Anmeldedaten mit Punkten im Namen korrekt in Secret Manager gespeichert und abgerufen werden können.Wenn ein OSS-Anmeldedatenschlüssel beispielsweise
a.b.clautet, müssen Sie ihn ina-b-cändern, wenn Sie ihn in Secret Manager speichern.--properties=hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true
Dies ist ein optionales Attribut. Der Standardwert ist
false. Bei Schlüsseln für Anmeldedaten, die keinen Punktoperator (.) im Namen der Anmeldedaten haben, kann dieses Attribut ignoriert werden.Secret-Version: Secrets in Secret Manager können mehrere Versionen (Werte) haben. Verwenden Sie dieses Attribut, um auf eine bestimmte Secret-Version für den stabilen Zugriff in Produktionsumgebungen zuzugreifen.
--properties=hadoop.security.credstore.google-secret-manager.secret-version=1
Dies ist ein optionales Attribut. Standardmäßig greift Secret Manager auf die Version
LATESTzu, die zur Laufzeit in den neuesten Wert des Secrets aufgelöst wird. Wenn Sie immer auf dieLATEST-Version eines Secrets zugreifen möchten, können Sie dieses Attribut ignorieren.
Managed Service for Apache Spark-Cluster mit Secret Manager-Anmeldedatenanbieter erstellen
- Führen Sie den folgenden Befehl lokal oder in Cloud Shell aus, um einen Managed Service for Apache Spark-Cluster mit den erforderlichen Attributen zu erstellen.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --properties="hadoop:hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID,hadoop:hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true" \ ...other flags as needed...
Hinweise:
- CLUSTER_NAME: Der Name des neuen Clusters.
- REGION: Eine Compute Engine-Region, in der Ihre Arbeitslast ausgeführt wird.
- PROJECT_ID: Ihre Projekt-ID finden Sie im Abschnitt Projektinformationen des Cloud de Confiance Console-Dashboards.
Managed Service for Apache Spark mit Secret Manager-Anmeldedatenanbieter senden
Führen Sie den folgenden Befehl lokal oder in Cloud Shell aus, um einen Managed Service for Apache Spark-Job mit den erforderlichen Attributen zu senden.
gcloud dataproc jobs submit CLUSTER_NAME \ --region=REGION \ --properties="hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID,hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true" \ ...other flags as needed... \ -- job-args
Hinweise:
- CLUSTER_NAME: der Name des Clusters, auf dem der Job ausgeführt wird.
- REGION: Eine Compute Engine-Region, in der Ihre Arbeitslast ausgeführt wird.
- PROJECT_ID: Ihre Projekt-ID wird im Abschnitt Projektinformationen des Cloud de Confiance Console-Dashboards aufgeführt.
Secret Manager mit Hive Metastore verwenden
Das Hive-Metastore-Attribut javax.jdo.option.ConnectionPassword enthält das Passwort, das zur Authentifizierung des Zugriffs auf die Metastore-Datenbank verwendet wird. Das Passwort wird im Textformat in hive-site.xml gespeichert, was ein Sicherheitsrisiko darstellt. Eine Best Practice für die Produktion besteht darin, das Passwort in Secret Manager zu speichern und dann die Konfigurationsdatei hive-site.xml zu aktualisieren, damit der Hive-Metastore-Dienst das Passwort aus Secret Manager lesen kann.
In den folgenden Beispielen wird gezeigt, wie Sie Secret Manager in verschiedenen Hive Metastore-Szenarien verwenden.
Cluster mit einem lokalen Metastore erstellen
- Führen Sie den folgenden Befehl lokal oder in Cloud Shell aus, um einen Managed Service for Apache Spark-Cluster zu erstellen.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ ...other flags as needed... \
Hinweise:
- CLUSTER_NAME: Der Name des neuen Clusters.
- REGION: Eine Compute Engine-Region, in der Ihre Arbeitslast ausgeführt wird.
Erstellen Sie ein Secret mit Secret Manager oder dem Befehl
hadoop credential.Alternative 1: Secret mit Secret Manager erstellen
- Secret-Name:
/projects/PROJECT_ID/secrets/javax-jdo-option-ConnectionPassword/versions/1 - Secret-Wert:
METASTORE_PASSWORD.
- Secret-Name:
Alternative 2: Verwenden Sie den Befehl
hadoop credential, um ein Secret zu erstellen.sudo hadoop credential create javax-jdo-option-ConnectionPassword -provider gsm://projects/PROJECT_ID -v METASTORE_PASSWORD
- METASTORE_PASSWORD: Da Secret Manager den Punktoperator (
.) nicht unterstützt, ersetzen Sie alle Punkte (.) im Passwort durch Bindestriche (-).
- METASTORE_PASSWORD: Da Secret Manager den Punktoperator (
Prüfen Sie, ob das Secret vorhanden ist.
sudo hadoop credential list -provider gsm://projects/PROJECT_ID
Entfernen Sie mit einem Texteditor das Attribut
javax.jdo.option.ConnectionPasswordaus der Dateihive-site.xmlund fügen Sie dann die Attributehadoop.security.credential.provider.pathundhadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operatorzur Datei hinzu.Beispiel-Properties:
hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true
Starten Sie den Hive-Metastore neu.
sudo systemctl restart hive-metastore
Cluster mit einem externen Hive Metastore erstellen
Führen Sie den folgenden Befehl lokal oder in Cloud Shell aus, um einen Managed Service for Apache Spark-Cluster mit den folgenden Clusterattributen zu erstellen. Verwenden Sie diesen Cluster als externen Hive-Metastore für Hive-Jobs, die von anderen Managed Service for Apache Spark-Clustern für Spark-Hive-Arbeitslasten ausgeführt werden.
gcloud dataproc clusters create METASTORE_CLUSTER_NAME \ --region=REGION \ --properties=core:fs.defaultFS=gs://METASTORE_CLUSTER_PROXY_BUCKET,dataproc:dataproc.components.deactivate="hdfs hive-server2 hive-metastore" \ ...other flags as needed...
Erstellen Sie ein Secret mit Secret Manager oder dem Befehl
hadoop credential.- Alternative 1: Secret mit Secret Manager erstellen
- Secret-Name:
/projects/PROJECT_ID/secrets/javax-jdo-option-ConnectionPassword/versions/1 - Secret-Wert:
METASTORE_PASSWORD.
- Secret-Name:
- Alternative 2: Verwenden Sie den Befehl
hadoop credential, um ein Secret zu erstellen.sudo hadoop credential create javax-jdo-option-ConnectionPassword -provider gsm://projects/PROJECT_ID -v METASTORE_PASSWORD
- METASTORE_PASSWORD: Da Secret Manager den Punktoperator (
.) nicht unterstützt, ersetzen Sie Punkte (.) im Passwort durch Bindestriche (-).
- METASTORE_PASSWORD: Da Secret Manager den Punktoperator (
- Alternative 1: Secret mit Secret Manager erstellen
Prüfen Sie, ob das Secret vorhanden ist.
sudo hadoop credential list -provider gsm://projects/PROJECT_ID
Cluster erstellen, um Hive-Jobs auszuführen, die eine Verbindung zu einem externen Metastore herstellen
- Führen Sie den folgenden Befehl lokal oder in Cloud Shell aus, um einen Managed Service for Apache Spark-Cluster mit den folgenden Clusterattributen zu erstellen.
Verwenden Sie diesen Cluster, um Hive-Jobs auszuführen, die eine Verbindung zum externen Metastore in einem anderen Managed Service for Apache Spark-Cluster herstellen.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --properties="hive:javax.jdo.option.ConnectionURL=jdbc:mysql://METASTORE_CLUSTER_NAME-m/metastore,hive:hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID,hive:hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true" \ ...other flags as needed...
Hadoop-Befehle für Anmeldedaten
Sie können SSH verwenden, um eine Verbindung zum Managed Service for Apache Spark-Masterknoten herzustellen und den Befehl hadoop credential zum Erstellen, Auflisten und Verwalten von Secrets zu verwenden.
hadoop credential-Befehle haben das folgende Format:
hadoop credential SUBCOMMAND OPTIONS.
In den folgenden Beispielen wird das Flag -provider hinzugefügt, um den Anbietertyp und den Standort (den Anbieterspeicher) anzugeben. Das Schema gsm:// gibt Secret Manager an.
Erstellt ein Secret mit der angegebenen Secret-ID. Der Befehl erstellt das Secret nicht, wenn die angegebene Secret-ID bereits vorhanden ist. Dieses Verhalten entspricht der Hadoop-
CredentialProvider-API.hadoop credential create SECRET_ID -provider gsm://projects/PROJECT_ID -v VALUE
In einem Projekt gespeicherte Secrets auflisten.
hadoop credential list -provider gsm://projects/PROJECT_ID
Prüfen, ob ein Secret in einem Projekt mit einem bestimmten Wert vorhanden ist.
hadoop credential check SECRET_ID -provider gsm://projects/PROJECT_ID -v VALUE
In einer Konfigurationsdatei nach einer bestimmten Secret-Version suchen.
hadoop credential conf CONFIG_FILE check SECRET_ID -provider gsm://projects/PROJECT_ID -v VALUE
CONFIG_FILE: Die XML-Datei, in der
hadoop.security.credstore.google-secret-manager.secret-versionfestgelegt wird.Alle Versionen eines Secrets in einem Projekt löschen.
hadoop credential delete SECRET_ID -provider gsm://projects/ PROJECT_ID
Weitere Informationen finden Sie im Hadoop Commands Guide.
Nächste Schritte
- Weitere Informationen finden Sie in der Hive-Dokumentation.