Mit Identity and Access Management (IAM) können Sie den Nutzer- und Gruppenzugriff auf Projektressourcen steuern. In diesem Dokument werden die für Managed Service for Apache Spark relevanten IAM-Berechtigungen und die IAM-Rollen beschrieben, mit denen diese Berechtigungen gewährt werden.
Berechtigungen für Managed Service for Apache Spark in Clustern
Mit Berechtigungen für Managed Service for Apache Spark können Nutzer, einschließlich Dienstkonten, Aktionen für Cluster, Jobs, Vorgänge und Workflowvorlagen von Managed Service for Apache Spark ausführen. Mit der Berechtigung dataproc.clusters.create kann ein Nutzer beispielsweise Managed Service for Apache Spark-Cluster in einem Projekt erstellen.
In der Regel gewähren Sie keine Berechtigungen, sondern Rollen, die eine oder mehrere Berechtigungen enthalten.
In den folgenden Tabellen sind die Berechtigungen aufgeführt, die zum Aufrufen von Managed Service for Apache Spark APIs (Methoden) erforderlich sind. Die Tabellen sind nach den APIs sortiert, die den einzelnen Managed Service for Apache Spark-Ressourcen (Cluster, Jobs, Vorgänge und Workflowvorlagen) zugeordnet sind.
Berechtigungsumfang: Der Umfang der in den folgenden Tabellen aufgeführten Berechtigungen für Managed Service for Apache Spark ist das übergeordnete Cloud de Confiance by S3NS-Projekt (cloud-platform-Umfang). Weitere Informationen finden Sie unter Dienstkontoberechtigungen.
Beispiele:
dataproc.clusters.createerlaubt das Erstellen von Managed Service for Apache Spark-Clustern im übergeordneten Projekt.dataproc.jobs.createerlaubt das Senden von Managed Service for Apache Spark-Jobs an Managed Service for Apache Spark-Cluster im übergeordneten Projekt.dataproc.clusters.listerlaubt das Auflisten von Details zu Managed Service for Apache Spark-Clustern im übergeordneten Projekt.
Erforderliche Berechtigungen für Clustermethoden
| Methode | Erforderliche Berechtigungen |
|---|---|
| projects.regions.clusters.create 1, 2 | dataproc.clusters.create |
| projects.regions.clusters.get | dataproc.clusters.get |
| projects.regions.clusters.list | dataproc.clusters.list |
| projects.regions.clusters.patch 1, 2, 3 | dataproc.clusters.update |
| projects.regions.clusters.delete 1 | dataproc.clusters.delete |
| projects.regions.clusters.start | dataproc.clusters.start |
| projects.regions.clusters.stop | dataproc.clusters.stop |
| projects.regions.clusters.getIamPolicy | dataproc.clusters.getIamPolicy |
| projects.regions.clusters.setIamPolicy | dataproc.clusters.setIamPolicy |
Hinweise:
- Die Berechtigung
dataproc.operations.getist auch erforderlich, um Statusaktualisierungen von der Google Cloud CLI zu erhalten. - Die Berechtigung
dataproc.clusters.getist auch erforderlich, um das Ergebnis des Vorgangs über die Google Cloud CLI abzurufen. - Die Berechtigung
dataproc.autoscalingPolicies.useist auch erforderlich, um eine Autoscaling-Richtlinie für einen Cluster zu aktivieren.
Erforderliche Berechtigungen für Jobs-Methoden
| Methode | Erforderliche Berechtigungen |
|---|---|
| projects.regions.jobs.submit 1, 2 | dataproc.jobs.create dataproc.clusters.use |
| projects.regions.jobs.get | dataproc.jobs.get |
| projects.regions.jobs.list | dataproc.jobs.list |
| projects.regions.jobs.cancel 1 | dataproc.jobs.cancel |
| projects.regions.jobs.patch 1 | dataproc.jobs.update |
| projects.regions.jobs.delete 1 | dataproc.jobs.delete |
| projects.regions.jobs.getIamPolicy | dataproc.jobs.getIamPolicy |
| projects.regions.jobs.setIamPolicy | dataproc.jobs.setIamPolicy |
Hinweise:
Die Google Cloud CLI benötigt außerdem die Berechtigung
dataproc.jobs.getfür die Befehlejobs submit,jobs wait,jobs update,jobs deleteundjobs kill.Die gcloud CLI erfordert außerdem die Berechtigung
dataproc.clusters.get, um Jobs zu senden. Ein Beispiel für das Festlegen der Berechtigungen, die ein Nutzer benötigt, umgcloud dataproc jobs submitin einem Cluster mit Managed Service for Apache Spark Granular IAM auszuführen, finden Sie unter Jobs mit Granular IAM senden.
Erforderliche Berechtigungen für Vorgangsmethoden
| Methode | Erforderliche Berechtigungen |
|---|---|
| projects.regions.operations.get | dataproc.operations.get |
| projects.regions.operations.list | dataproc.operations.list |
| projects.regions.operations.cancel | dataproc.operations.cancel |
| projects.regions.operations.delete | dataproc.operations.delete |
| projects.regions.operations.getIamPolicy | dataproc.operations.getIamPolicy |
| projects.regions.operations.setIamPolicy | dataproc.operations.setIamPolicy |
Erforderliche Berechtigungen für Workflowvorlagen-Methoden
| Methode | Erforderliche Berechtigungen |
|---|---|
| projects.regions.workflowTemplates.instantiate | dataproc.workflowTemplates.instantiate |
| projects.regions.workflowTemplates.instantiateInline | dataproc.workflowTemplates.instantiateInline |
| projects.regions.workflowTemplates.create | dataproc.workflowTemplates.create |
| projects.regions.workflowTemplates.get | dataproc.workflowTemplates.get |
| projects.regions.workflowTemplates.list | dataproc.workflowTemplates.list |
| projects.regions.workflowTemplates.update | dataproc.workflowTemplates.update |
| projects.regions.workflowTemplates.delete | dataproc.workflowTemplates.delete |
| projects.regions.workflowTemplates.getIamPolicy | dataproc.workflowTemplates.getIamPolicy |
| projects.regions.workflowTemplates.setIamPolicy | dataproc.workflowTemplates.setIamPolicy |
Hinweise:
Workflow-Vorlagenberechtigungen sind unabhängig von Cluster- und Jobberechtigungen. Ein Nutzer ohne
create cluster- odersubmit job-Berechtigungen kann eine Workflow-Vorlage erstellen und instanziieren.Die Google Cloud CLI benötigt außerdem die Berechtigung
dataproc.operations.get, um den Abschluss des Workflows abzufragen.Die Berechtigung
dataproc.operations.cancelist erforderlich, um einen laufenden Workflow abzubrechen.
Erforderliche Berechtigungen für Methoden für Autoscaling-Richtlinien
| Methode | Erforderliche Berechtigungen |
|---|---|
| projects.regions.autoscalingPolicies.create | dataproc.autoscalingPolicies.create |
| projects.regions.autoscalingPolicies.get | dataproc.autoscalingPolicies.get |
| projects.regions.autoscalingPolicies.list | dataproc.autoscalingPolicies.list |
| projects.regions.autoscalingPolicies.update | dataproc.autoscalingPolicies.update |
| projects.regions.autoscalingPolicies.delete | dataproc.autoscalingPolicies.delete |
| projects.regions.autoscalingPolicies.getIamPolicy | dataproc.autoscalingPolicies.getIamPolicy |
| projects.regions.autoscalingPolicies.setIamPolicy | dataproc.autoscalingPolicies.setIamPolicy |
Hinweise:
- Die Berechtigung
dataproc.autoscalingPolicies.useist erforderlich, um eine Autoscaling-Richtlinie für einen Cluster mit einerclusters.patch-Methodenanfrage zu aktivieren.
Erforderliche Berechtigungen für Knotengruppenmethoden
| Methode | Erforderliche Berechtigungen |
|---|---|
| projects.regions.nodeGroups.create | dataproc.nodeGroups.create |
| projects.regions.nodeGroups.get | dataproc.nodeGroups.get |
| projects.regions.nodeGroups.resize | dataproc.nodeGroups.update |
Managed Service for Apache Spark-Rollen
IAM-Rollen für Managed Service for Apache Spark enthalten eine oder mehrere Berechtigungen.
Sie weisen Nutzern oder Gruppen Rollen zu, damit sie Aktionen für die Managed Service for Apache Spark-Ressourcen in einem Projekt ausführen können. Die Rolle Managed Service for Apache Spark Viewer enthält beispielsweise die Berechtigungen get und list, mit denen ein Nutzer Managed Service for Apache Spark-Cluster, ‑Jobs und ‑Vorgänge in einem Projekt abrufen und auflisten kann.
In der folgenden Tabelle sind Rollen aufgeführt, die die Berechtigungen enthalten, die zum Erstellen und Verwalten von Managed Service for Apache Spark-Clustern erforderlich sind.
| Rolle zuweisen für | Rollen |
|---|---|
| Nutzer | Weisen Sie Nutzern die folgenden Rollen zu:
|
| Dienstkonto | Weisen Sie dem VM-Dienstkonto für Managed Service for Apache Spark die Rolle Dataproc-Worker zu. |
Wichtige Hinweise:
Möglicherweise müssen Sie dem Managed Service for Apache Spark-VM-Dienstkonto zusätzliche vordefinierte oder benutzerdefinierte Rollen zuweisen, die die erforderlichen Berechtigungen für andere Vorgänge enthalten, z. B. das Lesen und Schreiben von Daten aus und in Cloud Storage, BigQuery, Cloud Logging und andere Cloud de Confiance by S3NS -Ressourcen.
In einigen Projekten wurde dem VM-Dienstkonto von Managed Service for Apache Spark möglicherweise automatisch die Rolle Bearbeiter für das Projekt zugewiesen. Diese Rolle enthält die Berechtigungen der Rolle „Dataproc-Worker“ sowie zusätzliche Berechtigungen, die für Vorgänge auf der Datenebene von Managed Service for Apache Spark nicht erforderlich sind. Um das Sicherheitsprinzip der geringsten Berechtigung zu befolgen, ersetzen Sie die Rolle Editor durch die Rolle Dataproc Worker (siehe VM-Dienstkontorollen ansehen).
Müssen Sie Rollen zuweisen?
Je nach Organisationsrichtlinie wurde eine erforderliche Rolle möglicherweise bereits gewährt.
Nutzern zugewiesene Rollen prüfen
Wenn Sie prüfen möchten, ob einem Nutzer eine Rolle zugewiesen wurde, folgen Sie der Anleitung unter Zugriff auf Projekte, Ordner und Organisationen verwalten > Aktuellen Zugriff ansehen.
Dienstkonten zugewiesene Rollen prüfen
Informationen dazu, ob einem Dienstkonto eine Rolle zugewiesen wurde, finden Sie unter IAM-Dienstkontorollen aufrufen und verwalten.
Rollen prüfen, die einem Dienstkonto zugewiesen wurden
Wenn Sie prüfen möchten, ob einem Nutzer eine Rolle für ein Dienstkonto zugewiesen wurde, folgen Sie der Anleitung unter Zugriff auf Dienstkonten verwalten > Aktuellen Zugriff ansehen.
Rollen und Berechtigungen für Managed Service for Apache Spark suchen
Im folgenden Abschnitt können Sie Rollen und Berechtigungen für Managed Service for Apache Spark nachschlagen.
| Role | Permissions |
|---|---|
Dataproc Administrator( Full control of Dataproc resources. |
|
Dataproc Editor( Provides the permissions necessary for viewing the resources required to manage Managed Service for Apache Spark, including machine types, networks, projects, and zones. Lowest-level resources where you can grant this role:
|
|
Dataproc Viewer( Provides read-only access to Managed Service for Apache Spark resources. Lowest-level resources where you can grant this role:
|
|
Dataproc Hub Agent( Allows management of Dataproc resources. Intended for service accounts running Dataproc Hub instances. |
|
Dataproc Serverless Editor( Permissions needed to run serverless sessions and batches as a user |
|
Dataproc Serverless Node.( Node access to Dataproc Serverless sessions and batches. Intended for service accounts. |
|
Dataproc Serverless Viewer( Permissions needed to view serverless sessions and batches |
|
Dataproc Worker( Provides worker access to Managed Service for Apache Spark resources. Intended for service accounts. |
|
Service agent roles
Service agent roles should only be granted to service agents.
| Role | Permissions |
|---|---|
Dataproc Service Agent( Gives Dataproc Service Account access to service accounts, compute resources, storage resources, and kubernetes resources. Includes access to service accounts. |
|
Hinweise:
compute-Berechtigungen sind erforderlich oder werden empfohlen, um Managed Service for Apache Spark-Cluster mit der Cloud de Confiance Console oder der Google Cloud CLI zu erstellen und aufzurufen.- Damit ein Nutzer Dateien hochladen kann, muss ihm die Rolle
Storage Object Creatorzugewiesen werden. Damit ein Nutzer die Jobausgabe abrufen kann, muss ihm die RolleStorage Object Viewerzugewiesen werden. - Ein Nutzer muss die Berechtigung
monitoring.timeSeries.listhaben, um Diagramme auf dem Tab „Übersicht“ der Cloud de Confiance Console → Managed Service for Apache Spark → Clusterdetails aufzurufen. - Ein Nutzer muss die Berechtigung
compute.instances.listhaben, um den Instanzstatus und das SSH-Menü der Masterinstanz auf dem Tab „VM-Instanzen“ derCloud de Confiance Console → Managed Service for Apache Spark → Clusterdetails aufzurufen. Informationen zu Compute Engine-Rollen finden Sie unter Compute Engine → Verfügbare IAM-Rollen. - Wenn Sie einen Cluster mit einem vom Nutzer angegebenen Dienstkonto erstellen möchten, muss das angegebene Dienstkonto alle Berechtigungen haben, die von der Rolle
Dataproc Workergewährt werden. Dazu gehört auch der Zugriff auf die Staging- und temporären Buckets von Managed Service for Apache Spark. Abhängig von den konfigurierten Funktionen können zusätzliche Rollen erforderlich sein. Weitere Informationen finden Sie unter Cluster mit einem benutzerdefinierten VM-Dienstkonto erstellen.
Projektrollen
Sie können auch Berechtigungen auf Projektebene festlegen, indem Sie die IAM- Projektrollen verwenden. In der folgenden Tabelle sind die Berechtigungen aufgeführt, die mit IAM-Projektrollen verknüpft sind:
| Projektrolle | Berechtigungen |
|---|---|
| Projektbetrachter | Alle Projektberechtigungen für schreibgeschützte Aktionen, die den Status (get, list) beibehalten |
| Projekt-Editor | Alle Berechtigungen des Projektbetrachters sowie alle Projektberechtigungen für Aktionen, die den Status ändern (erstellen, löschen, aktualisieren, verwenden, abbrechen, anhalten, starten) |
| Project Owner | Alle Berechtigungen der Rolle „Project Editor“ sowie Berechtigungen zum Verwalten der Zugriffssteuerung für das Projekt (IamPolicy abrufen/festlegen) und zum Einrichten der Projektabrechnung |
Zusammenfassung der IAM-Rollen und Managed Service for Apache Spark-Vorgänge
In der folgenden Tabelle sind die Vorgänge von Managed Service for Apache Spark aufgeführt, die mit Projekt- und Managed Service for Apache Spark-Rollen verknüpft sind.
| Vorgang | Projekt-Editor | Projektbetrachter | Managed Service for Apache Spark Admin | Managed Service for Apache Spark-Bearbeiter | Managed Service for Apache Spark-Betrachter |
|---|---|---|---|---|---|
| IAM-Berechtigungen für Managed Service for Apache Spark abrufen/festlegen | Nein | Nein | Ja | Nein | Nein |
| Cluster erstellen | Ja | Nein | Ja | Ja | Nein |
| Cluster auflisten | Ja | Ja | Ja | Ja | Ja |
| Clusterdetails abrufen | Ja | Ja | Ja 1, 2 | Ja 1, 2 | Ja 1, 2 |
| Cluster aktualisieren | Ja | Nein | Ja | Ja | Nein |
| Cluster löschen | Ja | Nein | Ja | Ja | Nein |
| Cluster starten/anhalten | Ja | Nein | Ja | Ja | Nein |
| Job senden | Ja | Nein | Ja 3 | Ja 3 | Nein |
| Jobs auflisten | Ja | Ja | Ja | Ja | Ja |
| Jobdetails abrufen | Ja | Ja | Ja 4 | Ja 4 | Ja 4 |
| Job abbrechen | Ja | Nein | Ja | Ja | Nein |
| Job löschen | Ja | Nein | Ja | Ja | Nein |
| Vorgänge auflisten | Ja | Ja | Ja | Ja | Ja |
| Vorgangsdetails abrufen | Ja | Ja | Ja | Ja | Ja |
| Vorgang löschen | Ja | Nein | Ja | Ja | Nein |
Hinweise:
- Das Leistungsdiagramm ist nur verfügbar, wenn der Nutzer auch eine Rolle mit der Berechtigung
monitoring.timeSeries.listhat. - Die Liste der VMs im Cluster enthält nur dann Statusinformationen und einen SSH-Link für die Masterinstanz, wenn der Nutzer auch eine Rolle mit der Berechtigung
compute.instances.listhat. - Für Jobs, bei denen Dateien hochgeladen werden, muss der Nutzer die Rolle
Storage Object Creatoroder Schreibzugriff auf den Staging-Bucket von Managed Service for Apache Spark haben. - Die Jobausgabe ist nur verfügbar, wenn der Nutzer auch die Rolle zum Betrachten des Storage-Objekts oder Lesezugriff auf den Staging-Bucket für das Projekt hat.
VM-Zugriffsbereiche für Managed Service for Apache Spark
VM-Zugriffsbereiche und IAM-Rollen arbeiten zusammen, um den VM-Zugriff auf Cloud de Confiance-APIs einzuschränken. Wenn Cluster-VMs beispielsweise nur der Bereich https://www.googleapis.com/auth/storage-full gewährt wird, können Anwendungen, die auf Cluster-VMs ausgeführt werden, Cloud Storage APIs aufrufen. Sie können jedoch keine Anfragen an BigQuery senden, selbst wenn sie als VM-Dienstkonto ausgeführt werden, dem eine BigQuery-Rolle mit umfassenden Berechtigungen gewährt wurde.
Als Best Practice wird empfohlen, VMs den umfassenden Bereich cloud-platform (https://www.googleapis.com/auth/cloud-platform) zu gewähren und dann den VM-Zugriff einzuschränken, indem dem VM-Dienstkonto bestimmte IAM-Rollen zugewiesen werden (siehe Best Practice für Bereiche).
Standard-VM-Bereiche für Managed Service for Apache Spark. Wenn beim Erstellen eines Clusters keine Bereiche angegeben werden (siehe gcloud dataproc cluster create --scopes), haben Managed Service for Apache Spark-VMs die folgenden Standardbereiche:
https://www.googleapis.com/auth/cloud-platform (clusters created with image version 2.1+).
https://www.googleapis.com/auth/bigquery
https://www.googleapis.com/auth/bigtable.admin.table
https://www.googleapis.com/auth/bigtable.data
https://www.googleapis.com/auth/cloud.useraccounts.readonly
https://www.googleapis.com/auth/devstorage.full_control
https://www.googleapis.com/auth/devstorage.read_write
https://www.googleapis.com/auth/logging.write
Wenn Sie beim Erstellen eines Clusters Bereiche angeben, haben Cluster-VMs die von Ihnen angegebenen Bereiche und die nachfolgende Mindestmenge an erforderlichen Bereichen (auch wenn Sie sie nicht angeben):
https://www.googleapis.com/auth/cloud-platform (clusters created with image version 2.1+).
https://www.googleapis.com/auth/cloud.useraccounts.readonly
https://www.googleapis.com/auth/devstorage.read_write
https://www.googleapis.com/auth/logging.write
Verwaltung von IAM-Zulassungsrichtlinien
Sie weisen Hauptkonten IAM-Rollen mithilfe von Zulassungsrichtlinien zu. Sie können Zulassungsrichtlinien mithilfe der Cloud de Confiance Console, der IAM API oder der Google Cloud CLI abrufen und festlegen.
- Informationen zur Cloud de Confiance Console finden Sie unter Zugriffssteuerung mit der Cloud de Confiance Console.
- Informationen zur API finden Sie unter Zugriffssteuerung mit der API.
- Informationen zur Google Cloud CLI finden Sie unter Zugriffssteuerung mit der Google Cloud CLI.