本頁面說明服務帳戶和 VM 存取權範圍,以及如何與 Managed Service for Apache Spark 搭配使用。
2020 年 8 月 3 日起實施的安全防護規定:Managed Service for Apache Spark 使用者必須具備服務帳戶ActAs權限,才能部署 Managed Service for Apache Spark 資源,例如建立叢集和提交工作。服務帳戶使用者角色包含這項權限。如要瞭解必要的 Managed Service for Apache Spark 角色,請參閱「服務帳戶驗證角色」。
現有 Managed Service for Apache Spark 使用者可選擇加入: 2020 年 8 月 3 日前加入的現有 Managed Service for Apache Spark 使用者,可選擇加入這項安全性規定 (請參閱「保護 Managed Service for Apache Spark、Dataflow 和 Cloud Data Fusion」)。
什麼是服務帳戶?
服務帳戶是一種特殊帳戶,可供在 Compute Engine 虛擬機器 (VM) 執行個體上執行的服務和應用程式使用,以便與其他 Cloud de Confiance API 互動。應用程式可以使用服務帳戶憑證,向一組 API 授權,並在授予服務帳戶的權限範圍內,對 VM 執行動作。
Managed Service for Apache Spark 叢集服務帳戶
下列服務帳戶必須具備必要權限,才能在叢集所在的專案中執行 Managed Service for Apache Spark 動作。
Managed Service for Apache Spark VM 服務帳戶
Managed Service for Apache Spark 叢集中的 VM 會使用服務帳戶,執行 Managed Service for Apache Spark 資料層作業。除非您在建立叢集時指定自訂服務帳戶,否則系統會使用 Compute Engine 預設服務帳戶 project_number-compute@developer.s3ns-system.iam.gserviceaccount.com 做為 VM 服務帳戶。VM 服務帳戶必須具備 Managed Service for Apache Spark Worker 角色,其中包含 Managed Service for Apache Spark 資料層作業所需的權限。詳情請參閱「Managed Service for Apache Spark 角色」。
查看 VM 服務帳戶角色
如要查看授予 Managed Service for Apache Spark VM 服務帳戶的角色,請按照下列步驟操作:
前往 Cloud de Confiance 控制台的「IAM」頁面。
勾選「包含 Google 提供的角色授予項目」。
查看 VM 服務帳戶列出的角色。下圖顯示 Compute Engine 預設服務帳戶 (
project_number-compute@developer.s3ns-system.iam.gserviceaccount.com) 列出的必要「Dataproc 工作者」角色,Managed Service for Apache Spark 預設會使用該帳戶做為 VM 服務帳戶。
您可以按一下服務帳戶列中顯示的鉛筆圖示,授予或移除服務帳戶角色。
Managed Service for Apache Spark 服務代理服務帳戶
Managed Service for Apache Spark 會建立服務代理服務帳戶 service-project_number@dataproc-accounts.s3ns-system.iam.gserviceaccount.com,並在 Cloud de Confiance 專案中授予該服務帳戶 Managed Service for Apache Spark 服務代理角色。這個服務帳戶會執行 Managed Service for Apache Spark 控制層作業,例如建立、更新及刪除叢集 VM。建立叢集時,無法將這個服務帳戶替換為自訂 VM 服務帳戶。
在 Shared VPC 網路中,將角色授予服務代理服務帳戶
如果 Managed Service for Apache Spark 叢集使用 Shared VPC 虛擬私有雲網路,Shared VPC 管理員必須將 Shared VPC 主機專案的網路使用者角色,授予 Managed Service for Apache Spark 服務代理服務帳戶。如要瞭解詳情,請參考下列資源:
建立具備自訂 VM 服務帳戶的叢集
建立叢集時,您可以指定自訂 VM 服務帳戶,讓叢集用於 Managed Service for Apache Spark 資料層作業,而非預設 VM 服務帳戶 (叢集建立後,即無法變更 VM 服務帳戶)。使用已指派 IAM 角色的 VM 服務帳戶,即可為叢集提供精細的專案資源存取權。
初步步驟
在要建立叢集的專案中,建立自訂 VM 服務帳戶。
將專案的 Managed Service for Apache Spark Worker 角色,以及工作所需的任何其他角色 (例如 BigQuery Reader 和 Writer 角色),授予自訂 VM 服務帳戶 (請參閱 Managed Service for Apache Spark 角色)。
gcloud CLI 範例:
- 下列範例指令會將專案層級的 Dataproc Worker 角色,授予叢集專案中的自訂 VM 服務帳戶:
gcloud projects add-iam-policy-binding CLUSTER_PROJECT_ID \ --member=serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.s3ns.iam.gserviceaccount.com \ --role="roles/dataproc.worker"
- 考慮使用自訂角色:您可以授予服務帳戶自訂角色,其中包含 Worker 角色權限,但限制
storage.objects.*權限,而非授予服務帳戶預先定義的 Dataproc Worker 角色 (roles/dataproc.worker)。- 自訂角色至少必須授予 VM 服務帳戶
storage.objects.create、storage.objects.get和storage.objects.update權限,才能存取 Managed Service for Apache Spark 暫存和臨時 bucket 中的物件,以及在叢集上執行的工作所需的任何其他 bucket。
- 自訂角色至少必須授予 VM 服務帳戶
建立叢集
- 在專案中建立叢集。
Cloud de Confiance 控制台
不支援在控制台中設定 Managed Service for Apache Spark VM 服務帳戶。如要在建立叢集時,設定叢集 VM 的 cloud-platform 存取權範圍,請按照下列步驟操作:
- 開啟「Create cluster」(建立叢集) 頁面。
- 按一下「其他設定」展開該部分。
- 編輯「安全性」。
- 在開啟的面板中,勾選「專案存取權」下方的「為此叢集啟用 cloud-platform 範圍」核取方塊。
gcloud CLI
使用 gcloud dataproc clusters create 指令,建立具有自訂 VM 服務帳戶的叢集。
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.s3ns.iam.gserviceaccount.com \ --scopes=SCOPE
更改下列內容:
- CLUSTER_NAME:叢集名稱,在專案內不得重複。名稱開頭須為小寫英文字母,最多包含 51 個小寫英文字母、數字和連字號,而且結尾不得為連字號。可以重複使用已刪除叢集的名稱。
- REGION:叢集所在的區域。
- SERVICE_ACCOUNT_NAME:服務帳戶名稱。
- PROJECT_ID:VM 服務帳戶所在專案的 Cloud de Confiance 專案 ID。這會是建立叢集的專案 ID,如果您使用其他專案中的自訂 VM 服務帳戶建立叢集,則會是其他專案的 ID。
- SCOPE:叢集 VM 執行個體的存取權範圍 (例如
https://www.googleapis.com/auth/cloud-platform)。
REST API
在 clusters.create API 要求中填寫 GceClusterConfig 時,請設定下列欄位:
serviceAccount:除非您使用其他專案的 VM 服務帳戶,否則服務帳戶會位於要建立叢集的專案中。serviceAccountScopes:指定叢集 VM 執行個體的存取權範圍 (例如https://www.googleapis.com/auth/cloud-platform)。
使用其他專案的自訂 VM 服務帳戶建立叢集
建立叢集時,您可以指定叢集要用於 Managed Service for Apache Spark 資料層作業的自訂 VM 服務帳戶,而非使用預設 VM 服務帳戶 (叢集建立後,就無法指定自訂 VM 服務帳戶)。使用已指派 IAM 角色的自訂 VM 服務帳戶,即可為叢集提供精細的專案資源存取權。
初步步驟
在服務帳戶專案 (自訂 VM 服務帳戶所在的專案) 中:
啟用 Dataproc API (如果尚未啟用)。
啟用 API 所需的角色
如要啟用 API,您必須具備
serviceusage.services.enable權限。如果您建立了專案,可能已透過擁有者角色 (roles/owner) 取得這項權限。否則,您可以透過 Service Usage 管理員角色 (roles/serviceusage.serviceUsageAdmin) 取得這項權限。瞭解如何授予角色。
將服務帳戶使用者角色授予您的電子郵件帳戶 (建立叢集的使用者),可授予服務帳戶專案,或服務帳戶專案中的自訂 VM 服務帳戶,以便進行更精細的控管。
詳情請參閱: 管理專案、資料夾和組織的存取權 (在專案層級授予角色) 和 管理服務帳戶的存取權 (在服務帳戶層級授予角色)。
gcloud CLI 範例:
- 下列範例指令會在專案層級,將「服務帳戶使用者」角色授予使用者:
gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \ --member=USER_EMAIL \ --role="roles/iam.serviceAccountUser"
注意事項:
USER_EMAIL:請提供使用者帳戶電子郵件地址,格式如下:user:user-name@example.com。- 下列範例指令會在服務帳戶層級,將服務帳戶使用者角色授予使用者:
gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \ --member=USER_EMAIL \ --role="roles/iam.serviceAccountUser"
注意事項:
USER_EMAIL:請提供使用者帳戶電子郵件地址,格式如下:user:user-name@example.com。在叢集專案中,將 Managed Service for Apache Spark 工作站角色授予自訂 VM 服務帳戶。
gcloud CLI 範例:
gcloud projects add-iam-policy-binding CLUSTER_PROJECT_ID \ --member=serviceAccount:SERVICE_ACCOUNT_NAME@SERVICE_ACCOUNT_PROJECT_ID.s3ns.iam.gserviceaccount.com \ --role="roles/dataproc.worker"
在叢集專案中,將服務帳戶使用者和服務帳戶權杖建立者角色,授予Managed Service for Apache Spark 服務代理服務帳戶。您可以將這些角色授予服務帳戶專案,或服務帳戶專案中的自訂 VM 服務帳戶,以便更精細地控管。這樣一來,叢集專案中的 Dataproc 服務代理服務帳戶,就能為服務帳戶專案中的自訂 Dataproc VM 服務帳戶建立權杖。
詳情請參閱: 管理專案、資料夾和組織的存取權 (在專案層級授予角色) 和 管理服務帳戶的存取權 (在服務帳戶層級授予角色)。
gcloud CLI 範例:
- 下列範例指令會將專案層級的「服務帳戶使用者」和「服務帳戶權杖建立者」角色,授予叢集專案中的 Managed Service for Apache Spark 服務代理服務帳戶:
gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountUser"
gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountTokenCreator"
- 下列範例指令會將 VM 服務帳戶層級的「服務帳戶使用者」和「服務帳戶權杖建立者」角色,授予叢集專案中的 Managed Service for Apache Spark 服務代理服務帳戶:
gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountUser"
gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountTokenCreator"
將叢集專案中的 Compute Engine 服務代理服務帳戶,授予服務帳戶專案中的服務帳戶權杖建立者角色,或服務帳戶專案中的自訂 VM 服務帳戶,以便進行更精細的控管。這樣一來,叢集專案中的 Compute Agent 服務代理服務帳戶,就能為服務帳戶專案中的自訂 Dataproc VM 服務帳戶建立權杖。
詳情請參閱: 管理專案、資料夾和組織的存取權 (在專案層級授予角色) 和 管理服務帳戶的存取權 (在服務帳戶層級授予角色)。
gcloud CLI 範例:
- 下列範例指令會將專案層級的服務帳戶權杖建立者角色,授予叢集專案中的 Compute Engine 服務代理服務帳戶:
gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@compute-system.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountTokenCreator"
- 下列範例指令會將 VM 服務帳戶層級的服務帳戶權杖建立者角色,授予叢集專案中的 Compute Engine 服務代理服務帳戶:
gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@compute-system.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountTokenCreator"