Questa pagina descrive i service account e gli ambiti di accesso alle VM e come vengono utilizzati con Managed Service for Apache Spark.
Requisito di sicurezza a partire dal 3 agosto 2020: gli utenti di Managed Service for Apache Spark devono disporre dell'autorizzazione ActAs per il service account per eseguire il deployment delle risorse di Managed Service for Apache Spark, ad esempio la creazione di cluster e l'invio di job. Il ruolo Service Account User contiene questa autorizzazione. Per informazioni sui ruoli Managed Service for Apache Spark richiesti, consulta Ruoli per l'account di servizio account.
Attivazione per gli utenti esistenti di Managed Service for Apache Spark: Gli utenti esistenti di Managed Service for Apache Spark dal 3 agosto 2020 possono attivare questo requisito di sicurezza (consulta Protezione di Managed Service for Apache Spark, Dataflow e Cloud Data Fusion).
Che cosa sono i service account?
Un service account è un account speciale che può essere utilizzato da servizi e applicazioni in esecuzione su un'istanza di macchina virtuale (VM) Compute Engine per interagire con altre API Cloud de Confiance . Le applicazioni possono utilizzare le credenziali del account di servizio per autorizzarsi a un insieme di API ed eseguire azioni sulla VM nell'ambito delle autorizzazioni concesse al account di servizio.
Service account dei cluster Managed Service for Apache Spark
I seguenti service account devono disporre delle autorizzazioni necessarie per eseguire le azioni di Managed Service for Apache Spark nel progetto in cui si trova il cluster.
Account di servizio VM di Managed Service for Apache Spark
Le VM in un cluster Managed Service for Apache Spark utilizzano un account di servizio per le operazioni del piano dati di Managed Service for Apache Spark.
Il service account predefinito di Compute Engine,
project_number-compute@developer.s3ns-system.iam.gserviceaccount.com, viene utilizzato come account di servizio della VM, a meno che non specifichi un
service account personalizzato
quando crei un cluster. Il account di servizio della VM deve avere il ruolo Managed Service for Apache Spark Worker, che include le autorizzazioni necessarie per le operazioni del piano dati di Managed Service for Apache Spark. Per saperne di più, consulta Ruoli di Managed Service for Apache Spark.
Visualizza i ruoli del account di servizio VM
Per visualizzare i ruoli concessi al service account VM di Managed Service for Apache Spark, segui questi passaggi:
Nella console Cloud de Confiance , vai alla pagina IAM.
Fai clic su Includi concessioni di ruoli fornite da Google.
Visualizza i ruoli elencati per il account di servizio della VM. L'immagine seguente mostra il ruolo Dataproc Worker richiesto elencato per il account di servizio predefinito di Compute Engine (
project_number-compute@developer.s3ns-system.iam.gserviceaccount.com) utilizzato da Managed Service for Apache Spark per impostazione predefinita come account di servizio della VM.
Puoi fare clic sull'icona a forma di matita visualizzata nella riga del account di servizio per concedere o rimuovere account di servizio account.
Account di servizio Managed Service for Apache Spark Service Agent
Managed Service for Apache Spark crea il
service account dell'agente di servizio,
service-project_number@dataproc-accounts.s3ns-system.iam.gserviceaccount.com, e concede al account di servizio
il
ruolo Agente di servizio Managed Service for Apache Spark
in un progetto Cloud de Confiance . Questo service account esegue operazioni del control plane di Managed Service for Apache Spark, come la creazione, l'aggiornamento e l'eliminazione delle VM del cluster. Non puoi sostituire questo account di servizio con un service account VM personalizzato quando crei un cluster.
Concessione del ruolo al account di servizio dell'agente di servizio in una rete VPC condiviso
Se un cluster Managed Service for Apache Spark utilizza una rete VPC condivisa, un amministratore del VPC condiviso deve concedere al service account dell'agente di servizio Managed Service for Apache Spark il ruolo di Utente di rete per il progetto host del VPC condiviso. Per ulteriori informazioni, consulta le seguenti risorse:
- Crea un cluster che utilizza una rete VPC in un altro progetto
- Documentazione del VPC condiviso: configurazione dei service account come amministratori dei progetti di servizio
Crea un cluster con un account di servizio VM personalizzato
Quando crei un cluster, puoi specificare un service account VM personalizzato che il cluster utilizzerà per le operazioni del piano dati di Managed Service for Apache Spark anziché il service account VM predefinito (non puoi modificare il account di servizio VM dopo la creazione del cluster). L'utilizzo di un account di servizio VM con ruoli IAM assegnati consente di fornire al cluster un accesso granulare alle risorse del progetto.
Passaggi preliminari
Crea il service account VM personalizzato all'interno del progetto in cui verrà creato il cluster.
Concedi al account di servizio VM personalizzato il ruolo Managed Service for Apache Spark Worker nel progetto e gli eventuali ruoli aggiuntivi richiesti dai tuoi job, ad esempio i ruoli Reader e Writer di BigQuery (consulta Ruoli di Managed Service for Apache Spark).
Esempio di gcloud CLI:
- Il seguente comando di esempio concede al account di servizio VM personalizzato nel progetto del cluster il ruolo Dataproc Worker a livello di progetto:
gcloud projects add-iam-policy-binding CLUSTER_PROJECT_ID \ --member=serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.s3ns.iam.gserviceaccount.com \ --role="roles/dataproc.worker"
- Prendi in considerazione un ruolo personalizzato: anziché concedere al service account il ruolo Dataproc Worker predefinito (
roles/dataproc.worker), puoi concedergli un ruolo personalizzato che contiene le autorizzazioni del ruolo Worker, ma limita le autorizzazionistorage.objects.*.- Il ruolo personalizzato deve concedere almeno le autorizzazioni
storage.objects.create,storage.objects.getestorage.objects.updateal account di servizio della VM sugli oggetti nei bucket di gestione temporanea e temporanei di Managed Service for Apache Spark e su eventuali bucket aggiuntivi necessari per i job che verranno eseguiti sul cluster.
- Il ruolo personalizzato deve concedere almeno le autorizzazioni
Crea il cluster
- Crea il cluster nel tuo progetto.
ConsoleCloud de Confiance
L'impostazione di un account di servizio VM di Managed Service for Apache Spark nella console non è supportata.
Per impostare l'ambito di accesso cloud-platform sulle VM del cluster quando crei il cluster:
- Apri la pagina Crea cluster.
- Fai clic su Configurazione aggiuntiva per espandere la sezione.
- Modifica Sicurezza.
- Nel riquadro che si apre, in Accesso al progetto, seleziona la casella di controllo Abilita l'ambito della piattaforma cloud per questo cluster.
gcloud CLI
Utilizza il comando gcloud dataproc clusters create per creare un cluster con il account di servizio VM personalizzato.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.s3ns.iam.gserviceaccount.com \ --scopes=SCOPE
Sostituisci quanto segue:
- CLUSTER_NAME: il nome del cluster, che deve essere univoco all'interno di un progetto. Il nome deve iniziare con una lettera minuscola e può contenere fino a 51 lettere minuscole, numeri e trattini. Non può terminare con un trattino. Il nome di un cluster eliminato può essere riutilizzato.
- REGION: la regione in cui si troverà il cluster.
- SERVICE_ACCOUNT_NAME: il nome del account di servizio.
- PROJECT_ID: l'ID progetto Cloud de Confiance del progetto contenente il tuo service account VM. Questo sarà l'ID del progetto in cui verrà creato il cluster o l'ID di un altro progetto se stai creando un cluster con un account di servizio VM personalizzato in un altro progetto.
- SCOPE: ambiti di accesso per le istanze VM del cluster (ad esempio,
https://www.googleapis.com/auth/cloud-platform).
API REST
Quando compili
GceClusterConfig
nell'ambito della richiesta API
clusters.create,
imposta i seguenti campi:
serviceAccount: il account di servizio si troverà nel progetto in cui verrà creato il cluster, a meno che tu non stia utilizzando un service account di servizio di un altro progetto.serviceAccountScopes: Specificare il ambito(i) di accesso per istanze VM del cluster (ad esempio,https://www.googleapis.com/auth/cloud-platform).
Crea un cluster con un account di servizio VM personalizzato di un altro progetto
Quando crei un cluster, puoi specificare un service account VM personalizzato che il cluster utilizzerà per le operazioni del piano dati di Managed Service for Apache Spark anziché utilizzare il service account VM predefinito (non puoi specificare un account di servizio VM personalizzato dopo la creazione del cluster). L'utilizzo di un account di servizio VM personalizzato con ruoli IAM assegnati consente di fornire al cluster un accesso granulare alle risorse del progetto.
Passaggi preliminari
Nel progetto del account di servizio (il progetto in cui si trova il account di servizio VM personalizzato):
Abilita l'API Dataproc, se non è già abilitata.
Ruoli richiesti per abilitare le API
Per abilitare le API, devi disporre dell'autorizzazione
serviceusage.services.enable. Se hai creato il progetto, probabilmente hai già questa autorizzazione tramite il ruolo Proprietario (roles/owner). In caso contrario, puoi ottenere questa autorizzazione tramite il ruolo Amministratore Service Usage (roles/serviceusage.serviceUsageAdmin). Scopri come concedere i ruoli.
Concedi al tuo account email (l'utente che sta creando il cluster) il ruolo Service Account User nel progetto del account di servizio o, per un controllo più granulare, nel account di servizio VM personalizzato nel progetto del account di servizio.
Per saperne di più: consulta Gestisci l'accesso a progetti, cartelle e organizzazioni per concedere i ruoli a livello di progetto e Gestisci l'accesso ai service account per concedere i ruoli a livello di account di servizio.
Esempi di gcloud CLI:
- Il seguente comando di esempio concede all'utente il ruolo Utente service account a livello di progetto:
gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \ --member=USER_EMAIL \ --role="roles/iam.serviceAccountUser"
Note:
USER_EMAIL: fornisci l'indirizzo email del tuo account utente nel formato:user:user-name@example.com.- Il seguente comando di esempio concede all'utente il ruolo Service Account User a livello di account di servizio:
gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \ --member=USER_EMAIL \ --role="roles/iam.serviceAccountUser"
Note:
USER_EMAIL: fornisci l'indirizzo email del tuo account utente nel formato:user:user-name@example.com.Concedi al account di servizio VM personalizzato il ruolo Managed Service for Apache Spark Worker nel progetto del cluster.
Esempio di gcloud CLI:
gcloud projects add-iam-policy-binding CLUSTER_PROJECT_ID \ --member=serviceAccount:SERVICE_ACCOUNT_NAME@SERVICE_ACCOUNT_PROJECT_ID.s3ns.iam.gserviceaccount.com \ --role="roles/dataproc.worker"
Concedi al service account Managed Service for Apache Spark Service Agent nel progetto del cluster i ruoli Service Account User e Service Account Token Creator nel progetto del account di servizio o, per un controllo più granulare, nel account di servizio VM personalizzato nel progetto del account di servizio. In questo modo, consenti al account di servizio dell'agente di servizio Dataproc nel progetto del cluster di creare token per il account di servizio delle VM Dataproc personalizzato nel progetto del account di servizio.
Per saperne di più: consulta Gestisci l'accesso a progetti, cartelle e organizzazioni per concedere i ruoli a livello di progetto e Gestisci l'accesso ai service account per concedere i ruoli a livello di account di servizio.
Esempi di gcloud CLI:
- I seguenti comandi di esempio concedono al account di servizio Managed Service for Apache Spark Service Agent nel progetto del cluster i ruoli Utente service account e Creatore token service account a livello di progetto:
gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountUser"
gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountTokenCreator"
- I seguenti comandi di esempio concedono al account di servizio Managed Service for Apache Spark Service Agent nel progetto del cluster i ruoli Utente service account e Creatore token service account a livello di account di servizio VM:
gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountUser"
gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountTokenCreator"
Concedi al service account Compute Engine Service Agent nel progetto del cluster il ruolo Service Account Token Creator nel progetto del account di servizio o, per un controllo più granulare, nel account di servizio VM personalizzato nel progetto del account di servizio. In questo modo, concedi all'agente di servizio Compute Agent nel progetto del cluster la possibilità di creare token per il service account personalizzato delle VM di Dataproc nel progetto del account di servizio.
Per saperne di più: consulta Gestisci l'accesso a progetti, cartelle e organizzazioni per concedere i ruoli a livello di progetto e Gestisci l'accesso ai service account per concedere i ruoli a livello di account di servizio.
Esempi di gcloud CLI:
- Il seguente comando di esempio concede al service account dell'agente di servizio Compute Engine nel progetto del cluster il ruolo Creatore token service account a livello di progetto:
gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@compute-system.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountTokenCreator"
- Il seguente comando di esempio concede al account di servizio Compute Engine Service Agent nel progetto del cluster il ruolo Creatore token service account a livello di account di servizio della VM:
gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@compute-system.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountTokenCreator"
Crea il cluster
Passaggi successivi
- Service account
- Autorizzazioni e ruoli IAM di Managed Service for Apache Spark
- Entità e ruoli di Managed Service for Apache Spark
- Multi-tenancy sicuro basato su service account di Managed Service for Apache Spark
- Autenticazione del cluster personale di Managed Service for Apache Spark
- IAM granulare di Managed Service for Apache Spark