Identity and Access Management (IAM) 可讓您控管使用者和群組對專案資源的存取權。本文著重介紹與 Managed Service for Apache Spark 相關的 IAM 權限,以及授予這些權限的 IAM 角色。
Managed Service for Apache Spark 叢集權限
使用者 (包括服務帳戶) 只要具備 Managed Service for Apache Spark 權限,即可對 Managed Service for Apache Spark 叢集、工作、作業和工作流程範本執行動作。舉例來說,dataproc.clusters.create 權限可讓使用者在專案中建立 Managed Service for Apache Spark 叢集。一般來說,您不會直接授予權限,而是授予包含一或多項權限的角色。
下表列出呼叫 Managed Service for Apache Spark API (方法) 所需的權限。表格會根據與各個 Managed Service for Apache Spark 資源 (叢集、工作、作業和工作流程範本) 相關聯的 API 進行分類。
權限範圍:下表列出的 Managed Service for Apache Spark 權限範圍,是包含 Cloud de Confiance by S3NS專案 (cloud-platform 範圍)。請參閱「服務帳戶權限」。
範例:
dataproc.clusters.create允許在所含專案中建立 Managed Service for Apache Spark 叢集dataproc.jobs.create允許將 Managed Service for Apache Spark 工作提交至所含專案中的 Managed Service for Apache Spark 叢集dataproc.clusters.list可列出所含專案中 Managed Service for Apache Spark 叢集的詳細資料
叢集方法所需權限
| 方法 | 所需權限 |
|---|---|
| projects.regions.clusters.create 1, 2 | dataproc.clusters.create |
| projects.regions.clusters.get | dataproc.clusters.get |
| projects.regions.clusters.list | dataproc.clusters.list |
| projects.regions.clusters.patch 1、2、3 | dataproc.clusters.update |
| projects.regions.clusters.delete 1 | dataproc.clusters.delete |
| projects.regions.clusters.start | dataproc.clusters.start |
| projects.regions.clusters.stop | dataproc.clusters.stop |
| projects.regions.clusters.getIamPolicy | dataproc.clusters.getIamPolicy |
| projects.regions.clusters.setIamPolicy | dataproc.clusters.setIamPolicy |
注意:
- 您也必須具備
dataproc.operations.get權限,才能透過 Google Cloud CLI 取得狀態更新。 - 您也必須具備
dataproc.clusters.get權限,才能從 Google Cloud CLI 取得作業結果。 - 如要為叢集啟用自動調度資源政策,也必須具備
dataproc.autoscalingPolicies.use權限。
工作方法所需權限
| 方法 | 所需權限 |
|---|---|
| projects.regions.jobs.submit 1、2 | dataproc.jobs.create dataproc.clusters.use |
| projects.regions.jobs.get | dataproc.jobs.get |
| projects.regions.jobs.list | dataproc.jobs.list |
| projects.regions.jobs.cancel 1 | dataproc.jobs.cancel |
| projects.regions.jobs.patch 1 | dataproc.jobs.update |
| projects.regions.jobs.delete 1 | dataproc.jobs.delete |
| projects.regions.jobs.getIamPolicy | dataproc.jobs.getIamPolicy |
| projects.regions.jobs.setIamPolicy | dataproc.jobs.setIamPolicy |
注意:
Google Cloud CLI 也需要
jobs submit、jobs wait、jobs update、jobs delete和jobs kill指令的dataproc.jobs.get權限。gcloud CLI 也需要
dataproc.clusters.get權限才能提交工作。如需範例,瞭解如何使用 Managed Service for Apache Spark 精細 IAM,為使用者設定在叢集上執行gcloud dataproc jobs submit所需的權限,請參閱「使用精細 IAM 提交工作」。
作業方法所需權限
| 方法 | 所需權限 |
|---|---|
| projects.regions.operations.get | dataproc.operations.get |
| projects.regions.operations.list | dataproc.operations.list |
| projects.regions.operations.cancel | dataproc.operations.cancel |
| projects.regions.operations.delete | dataproc.operations.delete |
| projects.regions.operations.getIamPolicy | dataproc.operations.getIamPolicy |
| projects.regions.operations.setIamPolicy | dataproc.operations.setIamPolicy |
工作流程範本方法必要權限
| 方法 | 所需權限 |
|---|---|
| projects.regions.workflowTemplates.instantiate | dataproc.workflowTemplates.instantiate |
| projects.regions.workflowTemplates.instantiateInline | dataproc.workflowTemplates.instantiateInline |
| projects.regions.workflowTemplates.create | dataproc.workflowTemplates.create |
| projects.regions.workflowTemplates.get | dataproc.workflowTemplates.get |
| projects.regions.workflowTemplates.list | dataproc.workflowTemplates.list |
| projects.regions.workflowTemplates.update | dataproc.workflowTemplates.update |
| projects.regions.workflowTemplates.delete | dataproc.workflowTemplates.delete |
| projects.regions.workflowTemplates.getIamPolicy | dataproc.workflowTemplates.getIamPolicy |
| projects.regions.workflowTemplates.setIamPolicy | dataproc.workflowTemplates.setIamPolicy |
注意:
工作流程範本權限與叢集和工作權限無關。沒有
create cluster或submit job權限的使用者,可以建立工作流程範本並例項化。Google Cloud CLI 另外需要
dataproc.operations.get權限,才能輪詢工作流程完成情況。必須具備
dataproc.operations.cancel權限,才能取消執行中的工作流程。
自動調度資源政策方法必要權限
| 方法 | 所需權限 |
|---|---|
| projects.regions.autoscalingPolicies.create | dataproc.autoscalingPolicies.create |
| projects.regions.autoscalingPolicies.get | dataproc.autoscalingPolicies.get |
| projects.regions.autoscalingPolicies.list | dataproc.autoscalingPolicies.list |
| projects.regions.autoscalingPolicies.update | dataproc.autoscalingPolicies.update |
| projects.regions.autoscalingPolicies.delete | dataproc.autoscalingPolicies.delete |
| projects.regions.autoscalingPolicies.getIamPolicy | dataproc.autoscalingPolicies.getIamPolicy |
| projects.regions.autoscalingPolicies.setIamPolicy | dataproc.autoscalingPolicies.setIamPolicy |
注意:
- 必須具備
dataproc.autoscalingPolicies.use權限,才能透過clusters.patch方法要求,為叢集啟用自動調度資源政策。
節點群組方法必要權限
| 方法 | 所需權限 |
|---|---|
| projects.regions.nodeGroups.create | dataproc.nodeGroups.create |
| projects.regions.nodeGroups.get | dataproc.nodeGroups.get |
| projects.regions.nodeGroups.resize | dataproc.nodeGroups.update |
Managed Service for Apache Spark 角色
Managed Service for Apache Spark IAM 角色是一組或多組權限。您可以將角色授予使用者或群組,允許他們對專案中的 Managed Service for Apache Spark 資源執行操作。舉例來說,Managed Service for Apache Spark 檢視者角色包含 get 和 list 權限,可讓使用者取得及列出專案中的 Managed Service for Apache Spark 叢集、工作和作業。
下表列出的角色具備建立及管理 Managed Service for Apache Spark 叢集所需的權限。
| 將角色授予 | 角色 |
|---|---|
| 使用者 | 將下列角色授予使用者:
|
| 服務帳戶 | 將 Dataproc 工作者角色授予 Managed Service for Apache Spark VM 服務帳戶。 |
注意事項:
您可能需要授予 Managed Service for Apache Spark VM 服務帳戶其他預先定義或自訂角色,其中包含其他作業所需的權限,例如從 Cloud Storage、BigQuery、Cloud Logging 和其他 Cloud de Confiance by S3NS 資源讀取及寫入資料。
在某些專案中,Managed Service for Apache Spark VM 服務帳戶可能已自動取得專案編輯者角色,其中包含 Dataproc 工作站角色權限,以及 Managed Service for Apache Spark 資料層作業不需要的其他權限。為遵循最低權限的安全性最佳做法原則,請將「編輯者」角色替換為「Dataproc 工作站」角色 (請參閱「查看 VM 服務帳戶角色」)。
需要授予角色嗎?
視組織政策而定,您可能已獲派必要角色。
檢查授予使用者的角色
如要查看使用者是否已獲派角色,請按照「管理專案、資料夾和組織的存取權 > 查看目前的存取權」中的操作說明進行。
檢查授予服務帳戶的角色
如要查看服務帳戶是否已獲派角色,請參閱「查看及管理 IAM 服務帳戶角色」。
查看授予服務帳戶的角色
如要查看使用者是否已獲派服務帳戶角色,請按照「管理服務帳戶存取權 > 查看目前的存取權」一節的指示操作。
查詢 Managed Service for Apache Spark 角色和權限
您可以透過下列章節,查詢 Managed Service for Apache Spark 角色和權限。
| Role | Permissions |
|---|---|
Dataproc Administrator( Full control of Dataproc resources. |
|
Dataproc Editor( Provides the permissions necessary for viewing the resources required to manage Managed Service for Apache Spark, including machine types, networks, projects, and zones. Lowest-level resources where you can grant this role:
|
|
Dataproc Viewer( Provides read-only access to Managed Service for Apache Spark resources. Lowest-level resources where you can grant this role:
|
|
Dataproc Hub Agent( Allows management of Dataproc resources. Intended for service accounts running Dataproc Hub instances. |
|
Dataproc Serverless Editor( Permissions needed to run serverless sessions and batches as a user |
|
Dataproc Serverless Node.( Node access to Dataproc Serverless sessions and batches. Intended for service accounts. |
|
Dataproc Serverless Viewer( Permissions needed to view serverless sessions and batches |
|
Dataproc Worker( Provides worker access to Managed Service for Apache Spark resources. Intended for service accounts. |
|
Service agent roles
Service agent roles should only be granted to service agents.
| Role | Permissions |
|---|---|
Dataproc Service Agent( Gives Dataproc Service Account access to service accounts, compute resources, storage resources, and kubernetes resources. Includes access to service accounts. |
|
注意:
- 使用 Cloud de Confiance 控制台或 gcloud CLI Google Cloud CLI 時,必須或建議具備
compute權限,才能建立及查看 Managed Service for Apache Spark 叢集。 - 如要允許使用者上傳檔案,請授予
Storage Object Creator角色。如要允許使用者查看工作輸出內容,請授予Storage Object Viewer角色。 - 使用者必須具備
monitoring.timeSeries.list權限,才能在 Cloud de Confiance 控制台→「Managed Service for Apache Spark」→「Cluster details」(叢集詳細資料)「Overview」(總覽) 分頁中查看圖表。 - 使用者必須具備
compute.instances.list權限,才能在Cloud de Confiance 控制台→「Managed Service for Apache Spark」→「Cluster details」(叢集詳細資料)「VM Instances」(VM 執行個體) 分頁,查看執行個體狀態和主要執行個體 SSH 選單。如要瞭解 Compute Engine 角色,請參閱「Compute Engine→Available IAM roles」(Compute Engine→可用的 IAM 角色)。 - 如要使用使用者指定的服務帳戶建立叢集,該服務帳戶必須具備
Dataproc Worker角色授予的所有權限,包括 Managed Service for Apache Spark 暫存和臨時 bucket 的存取權。視設定的功能而定,可能需要其他角色。 詳情請參閱「使用自訂 VM 服務帳戶建立叢集」。
專案角色
您還可以使用 IAM 專案角色設定專案層級的權限。下表列出與 IAM 專案角色相關聯的權限:
| 專案角色 | 權限 |
|---|---|
| 專案檢視者 | 保留狀態的唯讀動作的所有專案權限 (取得、表列) |
| 專案編輯者 | 所有專案檢視者權限,以及會修改狀態的操作 (建立、刪除、更新、使用、取消、停止、啟動) 的所有專案權限 |
| 專案擁有者 | 所有專案編輯者權限,以及管理專案存取控管 (取得/設定 IamPolicy) 和設定專案計費功能的權限 |
IAM 角色和 Managed Service for Apache Spark 作業摘要
下表列出與專案和 Managed Service for Apache Spark 角色相關聯的 Managed Service for Apache Spark 作業。
| 作業 | 專案編輯者 | 專案檢視者 | Managed Service for Apache Spark 管理員 | Managed Service for Apache Spark 編輯者 | Managed Service for Apache Spark 檢視者 |
|---|---|---|---|---|---|
| 取得/設定 Managed Service for Apache Spark IAM 權限 | 否 | 否 | 是 | 否 | 否 |
| 建立叢集 | 可以 | 否 | 是 | 是 | 不可以 |
| 列出叢集 | 可以 | 是 | 是 | 是 | 可以 |
| 取得叢集詳細資料 | 可以 | 可以 | 可以 1、2 | 可以 1、2 | 可以 1、2 |
| 更新叢集 | 可以 | 否 | 是 | 是 | 不可以 |
| 刪除叢集 | 可以 | 否 | 是 | 是 | 否 |
| 啟動/停止叢集 | 是 | 否 | 是 | 是 | 不可以 |
| 提交工作 | 可以 | 不可以 | 是3 | 是3 | 不可以 |
| 列出工作 | 可以 | 是 | 是 | 是 | 可以 |
| 取得工作詳細資料 | 可以 | 可以 | 是4 | 是4 | 是4 |
| 取消工作 | 可以 | 否 | 是 | 是 | 不可以 |
| 刪除工作 | 可以 | 否 | 是 | 是 | 不可以 |
| 列出作業 | 可以 | 是 | 是 | 是 | 可以 |
| 取得作業詳細資料 | 可以 | 是 | 是 | 是 | 可以 |
| 刪除作業 | 可以 | 否 | 是 | 是 | 不可以 |
注意:
- 除非使用者也具備
monitoring.timeSeries.list權限的角色,否則無法查看成效圖表。 - 除非使用者也具備
compute.instances.list權限的角色,否則叢集中的 VM 清單不會包含主要執行個體的狀態資訊或 SSH 連結。 - 如要執行上傳檔案的工作,使用者必須具備
Storage Object Creator角色,或 Managed Service for Apache Spark 暫存 bucket 的寫入權限。 - 除非使用者同時具備 Storage 物件檢視者角色,或已獲得專案暫存 bucket 的讀取權限,否則無法查看工作輸出內容。
Managed Service for Apache Spark VM 存取權範圍
VM 存取權範圍和 IAM 角色會搭配運作,限制 VM 對 Cloud de ConfianceAPI 的存取權。舉例來說,如果叢集 VM 僅獲授予 https://www.googleapis.com/auth/storage-full 範圍,則在叢集 VM 上執行的應用程式可以呼叫 Cloud Storage API,但無法向 BigQuery 提出要求,即使這些應用程式是以 VM 服務帳戶的身分執行,且該帳戶已獲授予具備廣泛權限的 BigQuery 角色,也是如此。
最佳做法是將廣泛的 cloud-platform 範圍 (https://www.googleapis.com/auth/cloud-platform) 授予 VM,然後將特定 IAM 角色授予 VM 服務帳戶,藉此限制 VM 存取權 (請參閱「範圍最佳做法」)。
預設 Managed Service for Apache Spark VM 範圍。如果在建立叢集時未指定範圍 (請參閱 gcloud dataproc cluster create --scopes),Managed Service for Apache Spark VM 會採用下列預設範圍:
https://www.googleapis.com/auth/cloud-platform (clusters created with image version 2.1+).
https://www.googleapis.com/auth/bigquery
https://www.googleapis.com/auth/bigtable.admin.table
https://www.googleapis.com/auth/bigtable.data
https://www.googleapis.com/auth/cloud.useraccounts.readonly
https://www.googleapis.com/auth/devstorage.full_control
https://www.googleapis.com/auth/devstorage.read_write
https://www.googleapis.com/auth/logging.write
如果在建立叢集時指定範圍,叢集 VM 將具有您指定的範圍,「以及」下列最低必要範圍 (即使您未指定):
https://www.googleapis.com/auth/cloud-platform (clusters created with image version 2.1+).
https://www.googleapis.com/auth/cloud.useraccounts.readonly
https://www.googleapis.com/auth/devstorage.read_write
https://www.googleapis.com/auth/logging.write
IAM 允許政策管理
您可以使用允許政策,將 IAM 角色授予主體。您可以使用 Cloud de Confiance 控制台、IAM API 或 Google Cloud CLI,取得及設定允許政策。
- 如要瞭解 Cloud de Confiance 控制台,請參閱「使用 Cloud de Confiance 控制台控管存取權」。
- 如要瞭解 API,請參閱「使用 API 控管存取權」。
- 如要瞭解 Google Cloud CLI,請參閱「使用 Google Cloud CLI 控管存取權」。