Auf dieser Seite werden Dienstkonten und VM-Zugriffsbereiche sowie deren Verwendung mit Managed Service for Apache Spark beschrieben.
Sicherheitsanforderung ab dem 3. August 2020: Nutzer von Managed Service for Apache Spark benötigen die Dienstkontoberechtigung ActAs, um Managed Service for Apache Spark-Ressourcen bereitzustellen, z. B. um Cluster zu erstellen und Jobs einzureichen. Die Rolle Dienstkontonutzer enthält diese Berechtigung. Informationen zu den erforderlichen Rollen für Managed Service for Apache Spark finden Sie unter Rollen für die Dienstkontoauthentifizierung.
Opt-in für bestehende Nutzer von Managed Service for Apache Spark: Bestehende Nutzer von Managed Service for Apache Spark können sich ab dem 3. August 2020 für diese Sicherheitsanforderung entscheiden (siehe Managed Service for Apache Spark, Dataflow und Cloud Data Fusion sichern).
Was sind Dienstkonten?
Ein Dienstkonto ist ein spezielles Konto, das von Diensten und Anwendungen verwendet werden kann, die auf einer Compute Engine-VM-Instanz ausgeführt werden, um mit anderen Cloud de Confiance -APIs zu interagieren. Anwendungen können sich mit den Anmeldedaten des Dienstkontos bei einer Reihe von APIs autorisieren und Aktionen auf der VM im Rahmen der dem Dienstkonto gewährten Berechtigungen ausführen.
Dienstkonten für Managed Service for Apache Spark-Cluster
Die folgenden Dienstkonten müssen die erforderlichen Berechtigungen haben, um Managed Service for Apache Spark-Aktionen im Projekt auszuführen, in dem sich Ihr Cluster befindet.
VM-Dienstkonto für Managed Service for Apache Spark
Die VMs in einem Managed Service for Apache Spark-Cluster verwenden ein Dienstkonto für Datenebenenvorgänge von Managed Service for Apache Spark.
Das Compute Engine-Standarddienstkonto project_number-compute@developer.s3ns-system.iam.gserviceaccount.com wird als VM-Dienstkonto verwendet, sofern Sie beim Erstellen eines Clusters kein benutzerdefiniertes Dienstkonto angeben. Das VM-Dienstkonto muss die Rolle Managed Service for Apache Spark Worker haben, die die erforderlichen Berechtigungen für Vorgänge auf der Datenebene von Managed Service for Apache Spark enthält. Weitere Informationen finden Sie unter Rollen für Managed Service for Apache Spark.
VM-Dienstkontorollen ansehen
So rufen Sie die Rollen auf, die dem VM-Dienstkonto von Managed Service for Apache Spark zugewiesen sind:
Rufen Sie in der Cloud de Confiance Console die Seite IAM auf.
Klicken Sie auf Von Google bereitgestellte Rollenzuweisungen einschließen.
Sehen Sie sich die Rollen an, die für das VM-Dienstkonto aufgeführt sind. In der folgenden Abbildung ist die erforderliche Rolle Dataproc Worker für das Compute Engine-Standarddienstkonto (
project_number-compute@developer.s3ns-system.iam.gserviceaccount.com) aufgeführt, das Managed Service for Apache Spark standardmäßig als VM-Dienstkonto verwendet.
Sie können auf das Stiftsymbol in der Zeile des Dienstkontos klicken, um Dienstkontorollen zuzuweisen oder zu entfernen.
Dienstkonto für Managed Service for Apache Spark-Dienst-Agent
Managed Service for Apache Spark erstellt das Dienst-Agent-Dienstkonto service-project_number@dataproc-accounts.s3ns-system.iam.gserviceaccount.com und weist dem Dienstkonto die Rolle Managed Service for Apache Spark Service Agent in einem Cloud de Confiance -Projekt zu. Dieses Dienstkonto führt Vorgänge auf der Managed Service for Apache Spark-Steuerungsebene aus, z. B. das Erstellen, Aktualisieren und Löschen von Cluster-VMs. Sie können dieses Dienstkonto beim Erstellen eines Clusters nicht durch ein benutzerdefiniertes VM-Dienstkonto ersetzen.
Rollenzuweisung an das Dienstkonto des Dienst-Agents in einem freigegebene VPC-Netzwerk
Wenn ein Managed Service for Apache Spark-Cluster ein freigegebene VPC-Netzwerk verwendet, muss ein Administrator für gemeinsam genutzte VPCs dem Managed Service for Apache Spark-Dienst-Agent-Dienstkonto die Rolle Netzwerknutzer für das Hostprojekt der freigegebene VPC zuweisen. Hier finden Sie weitere Informationen:
- Cluster erstellen, der ein VPC-Netzwerk in einem anderen Projekt verwendet
- Dokumentation zu gemeinsam genutzten VPCs: Dienstkonten als Dienstprojektadministratoren konfigurieren
Cluster mit einem benutzerdefinierten VM-Dienstkonto erstellen
Wenn Sie einen Cluster erstellen, können Sie ein benutzerdefiniertes VM-Dienstkonto angeben, das Ihr Cluster für Vorgänge auf der Datenebene von Managed Service for Apache Spark anstelle des Standard-VM-Dienstkontos verwendet. (Sie können das VM-Dienstkonto nach dem Erstellen des Clusters nicht mehr ändern.) Wenn Sie ein VM-Dienstkonto mit zugewiesenen IAM-Rollen verwenden, können Sie Ihrem Cluster einen detaillierten Zugriff auf Projektressourcen gewähren.
Vorläufige Schritte
Erstellen Sie das benutzerdefinierte VM-Dienstkonto in dem Projekt, in dem der Cluster erstellt wird.
Weisen Sie dem benutzerdefinierten VM-Dienstkonto die Rolle Managed Service for Apache Spark Worker für das Projekt und alle zusätzlichen Rollen zu, die für Ihre Jobs erforderlich sind, z. B. die BigQuery-Rollen Reader und Writer (siehe Managed Service for Apache Spark-Rollen).
Beispiel für die gcloud CLI:
- Mit dem folgenden Beispielbefehl wird dem benutzerdefinierten VM-Dienstkonto im Clusterprojekt die Rolle „Dataproc-Worker“ auf Projektebene zugewiesen:
gcloud projects add-iam-policy-binding CLUSTER_PROJECT_ID \ --member=serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.s3ns.iam.gserviceaccount.com \ --role="roles/dataproc.worker"
- Benutzerdefinierte Rolle in Betracht ziehen: Anstatt dem Dienstkonto die vordefinierte Dataproc-Worker-Rolle (
roles/dataproc.worker) zuzuweisen, können Sie dem Dienstkonto eine benutzerdefinierte Rolle zuweisen, die Worker-Rollenberechtigungen enthält, aber die Berechtigungenstorage.objects.*einschränkt.- Die benutzerdefinierte Rolle muss dem VM-Dienstkonto mindestens die Berechtigungen
storage.objects.create,storage.objects.getundstorage.objects.updatefür die Objekte in den Staging- und temporären Buckets von Managed Service for Apache Spark sowie für alle zusätzlichen Buckets gewähren, die von Jobs benötigt werden, die auf dem Cluster ausgeführt werden.
- Die benutzerdefinierte Rolle muss dem VM-Dienstkonto mindestens die Berechtigungen
Cluster erstellen
- Erstellen Sie den Cluster in Ihrem Projekt.
Cloud de Confiance Console
Das Festlegen eines Managed Service for Apache Spark-VM-Dienstkontos in der Console wird nicht unterstützt.
So legen Sie den Zugriffsbereich cloud-platform für Cluster-VMs beim Erstellen des Clusters fest:
- Öffnen Sie die Seite Cluster erstellen.
- Klicken Sie auf Zusätzliche Konfiguration, um den Bereich zu maximieren.
- Bearbeiten Sie die Sicherheit.
- Klicken Sie im Bereich, der sich öffnet, unter Projektzugriff das Kästchen Cloud Platform-Bereich für diesen Cluster aktivieren an.
gcloud-CLI
Verwenden Sie den Befehl gcloud dataproc clusters create, um einen Cluster mit dem benutzerdefinierten VM-Dienstkonto zu erstellen.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.s3ns.iam.gserviceaccount.com \ --scopes=SCOPE
Ersetzen Sie Folgendes:
- CLUSTER_NAME: Der Clustername, der innerhalb eines Projekts eindeutig sein muss. Der Name muss mit einem Kleinbuchstaben beginnen und darf bis zu 51 Kleinbuchstaben, Ziffern und Bindestriche enthalten. Es darf nicht mit einem Bindestrich enden. Der Name eines gelöschten Clusters kann wiederverwendet werden.
- REGION: Die Region, in der sich der Cluster befindet.
- SERVICE_ACCOUNT_NAME: Der Name des Dienstkontos.
- PROJECT_ID: Die Cloud de Confiance Projekt-ID des Projekts, das Ihr VM-Dienstkonto enthält. Dies ist die ID des Projekts, in dem Ihr Cluster erstellt wird, oder die ID eines anderen Projekts, wenn Sie einen Cluster mit einem benutzerdefinierten VM-Dienstkonto in einem anderen Projekt erstellen.
- SCOPE: Zugriffsbereiche für Cluster-VM-Instanzen (z. B.
https://www.googleapis.com/auth/cloud-platform).
REST API
Legen Sie beim Ausfüllen des GceClusterConfig im Rahmen der API-Anfrage clusters.create die folgenden Felder fest:
serviceAccount: Das Dienstkonto befindet sich in dem Projekt, in dem Ihr Cluster erstellt wird, es sei denn, Sie verwenden ein VM-Dienstkonto aus einem anderen Projekt.serviceAccountScopes: Geben Sie die Zugriffsbereiche für Cluster-VM-Instanzen an (z. B.https://www.googleapis.com/auth/cloud-platform).
Cluster mit einem benutzerdefinierten VM-Dienstkonto aus einem anderen Projekt erstellen
Wenn Sie einen Cluster erstellen, können Sie ein benutzerdefiniertes VM-Dienstkonto angeben, das Ihr Cluster für Vorgänge auf der Datenebene von Managed Service for Apache Spark anstelle des Standard-VM-Dienstkontos verwendet. Nach dem Erstellen des Clusters können Sie kein benutzerdefiniertes VM-Dienstkonto mehr angeben. Wenn Sie ein benutzerdefiniertes VM-Dienstkonto mit zugewiesenen IAM-Rollen verwenden, können Sie Ihrem Cluster einen detaillierten Zugriff auf Projektressourcen gewähren.
Vorläufige Schritte
Im Dienstkontoprojekt (dem Projekt, in dem sich das benutzerdefinierte VM-Dienstkonto befindet):
Ermöglichen, dass Dienstkonten projektübergreifend angehängt werden können
Aktivieren Sie die Dataproc API, falls sie noch nicht aktiviert ist.
Rollen, die zum Aktivieren von APIs erforderlich sind
Zum Aktivieren von APIs benötigen Sie die Berechtigung
serviceusage.services.enable. Wenn Sie das Projekt erstellt haben, haben Sie diese Berechtigung wahrscheinlich bereits über die Inhaberrolle (roles/owner). Andernfalls können Sie diese Berechtigung über die Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) erhalten. Informationen zum Zuweisen von Rollen
Weisen Sie Ihrem E-Mail-Konto (dem Nutzer, der den Cluster erstellt) die Rolle Dienstkontonutzer entweder für das Dienstkontoprojekt oder, für eine genauere Kontrolle, für das benutzerdefinierte VM-Dienstkonto im Dienstkontoprojekt zu.
Weitere Informationen: Unter Zugriff auf Projekte, Ordner und Organisationen verwalten erfahren Sie, wie Sie Rollen auf Projektebene zuweisen, und unter Zugriff auf Dienstkonten verwalten, wie Sie Rollen auf Dienstkontoebene zuweisen.
Beispiele für die gcloud CLI:
- Mit dem folgenden Beispielbefehl wird dem Nutzer die Rolle „Dienstkontonutzer“ auf Projektebene zugewiesen:
gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \ --member=USER_EMAIL \ --role="roles/iam.serviceAccountUser"
Hinweise:
USER_EMAIL: Geben Sie die E-Mail-Adresse Ihres Nutzerkontos im folgenden Format an:user:user-name@example.com.- Mit dem folgenden Beispielbefehl wird dem Nutzer die Rolle „Dienstkontonutzer“ auf Dienstkontoebene zugewiesen:
gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \ --member=USER_EMAIL \ --role="roles/iam.serviceAccountUser"
Hinweise:
USER_EMAIL: Geben Sie die E-Mail-Adresse Ihres Nutzerkontos im folgenden Format an:user:user-name@example.com.Weisen Sie dem benutzerdefinierten VM-Dienstkonto die Rolle Managed Service for Apache Spark Worker für das Clusterprojekt zu.
Beispiel für die gcloud CLI:
gcloud projects add-iam-policy-binding CLUSTER_PROJECT_ID \ --member=serviceAccount:SERVICE_ACCOUNT_NAME@SERVICE_ACCOUNT_PROJECT_ID.s3ns.iam.gserviceaccount.com \ --role="roles/dataproc.worker"
Weisen Sie dem Dienstkonto des Managed Service for Apache Spark-Dienst-Agents im Clusterprojekt die Rollen Dienstkontonutzer und Ersteller von Dienstkonto-Tokens entweder für das Dienstkontoprojekt oder, für eine detailliertere Kontrolle, für das benutzerdefinierte VM-Dienstkonto im Dienstkontoprojekt zu. Dadurch kann das Dienstkonto des Dataproc-Dienst-Agents im Clusterprojekt Tokens für das benutzerdefinierte Dataproc-VM-Dienstkonto im Dienstkontoprojekt erstellen.
Weitere Informationen: Unter Zugriff auf Projekte, Ordner und Organisationen verwalten erfahren Sie, wie Sie Rollen auf Projektebene zuweisen, und unter Zugriff auf Dienstkonten verwalten, wie Sie Rollen auf Dienstkontoebene zuweisen.
Beispiele für die gcloud CLI:
- Mit den folgenden Beispielbefehlen werden dem Dienstkonto des Managed Service for Apache Spark-Dienst-Agents im Clusterprojekt die Rollen „Dienstkontonutzer“ und „Ersteller von Dienstkonto-Tokens“ auf Projektebene zugewiesen:
gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountUser"
gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountTokenCreator"
- Mit den folgenden Beispielbefehlen werden dem Dienstkonto des Managed Service for Apache Spark-Dienst-Agents im Clusterprojekt die Rollen „Dienstkontonutzer“ und „Ersteller von Dienstkonto-Tokens“ auf der Ebene des VM-Dienstkontos zugewiesen:
gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountUser"
gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountTokenCreator"
Weisen Sie dem Compute Engine-Dienst-Agent-Dienstkonto im Clusterprojekt die Rolle Ersteller von Dienstkonto-Tokens entweder für das Dienstkontoprojekt oder, für eine detailliertere Kontrolle, für das benutzerdefinierte VM-Dienstkonto im Dienstkontoprojekt zu. Dadurch erhält das Dienstkonto des Compute-Dienst-Agents im Clusterprojekt die Möglichkeit, Tokens für das benutzerdefinierte Dataproc-VM-Dienstkonto im Dienstkontoprojekt zu erstellen.
Weitere Informationen: Unter Zugriff auf Projekte, Ordner und Organisationen verwalten erfahren Sie, wie Sie Rollen auf Projektebene zuweisen, und unter Zugriff auf Dienstkonten verwalten, wie Sie Rollen auf Dienstkontoebene zuweisen.
Beispiele für die gcloud CLI:
- Mit dem folgenden Beispielbefehl wird dem Compute Engine-Dienst-Agent-Dienstkonto im Clusterprojekt die Rolle „Ersteller von Dienstkonto-Tokens“ auf Projektebene zugewiesen:
gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@compute-system.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountTokenCreator"
- Mit dem folgenden Beispielbefehl wird dem Compute Engine-Dienst-Agent-Dienstkonto im Clusterprojekt die Rolle „Ersteller von Dienstkonto-Tokens“ auf der Ebene des VM-Dienstkontos zugewiesen:
gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@compute-system.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountTokenCreator"
Cluster erstellen
Nächste Schritte
- Dienstkonten
- Berechtigungen und IAM-Rollen für Managed Service for Apache Spark
- Hauptkonten und Rollen für Managed Service for Apache Spark
- Sichere Mehrmandantenfähigkeit auf Basis von Managed Service for Apache Spark-Dienstkonten
- Authentifizierung für persönliche Cluster in Managed Service for Apache Spark
- Detaillierte IAM-Steuerung für Managed Service for Apache Spark