Cette page décrit les comptes de service et les niveaux d'accès des VM, ainsi que leur utilisation avec Managed Service pour Apache Spark.
Exigence de sécurité à compter du 3 août 2020 : les utilisateurs de Managed Service pour Apache Spark doivent disposer de l'autorisation de compte de service ActAs pour déployer des ressources Managed Service pour Apache Spark, par exemple pour créer des clusters et envoyer des jobs. Le rôle Utilisateur du compte de service contient cette autorisation. Pour en savoir plus sur les rôles Managed Service pour Apache Spark requis, consultez Rôles pour l'authentification des comptes de service.
Activation pour les utilisateurs existants de Managed Service pour Apache Spark : les utilisateurs existants de Managed Service pour Apache Spark au 3 août 2020 peuvent activer cette exigence de sécurité (voir Sécuriser Managed Service pour Apache Spark, Dataflow et Cloud Data Fusion).
Que sont les comptes de service ?
Un compte de service est un compte spécial qui peut être utilisé par les services et les applications exécutés sur une instance de machine virtuelle (VM) Compute Engine pour interagir avec d'autres API Cloud de Confiance . Les applications peuvent utiliser les identifiants du compte de service pour s'autoriser à accéder à un ensemble d'API et effectuer des actions sur la VM dans le cadre des autorisations accordées au compte de service.
Comptes de service de cluster Managed Service pour Apache Spark
Les comptes de service suivants doivent disposer des autorisations nécessaires pour effectuer des actions Managed Service pour Apache Spark dans le projet où se trouve votre cluster.
Compte de service de VM Managed Service pour Apache Spark
Les VM d'un cluster Managed Service pour Apache Spark utilisent un compte de service pour les opérations du plan de données de Managed Service pour Apache Spark.
Le compte de service Compute Engine par défaut, project_number-compute@developer.s3ns-system.iam.gserviceaccount.com, est utilisé comme compte de service de VM, sauf si vous spécifiez un compte de service personnalisé lorsque vous créez un cluster. Le compte de service de la VM doit disposer du rôle Nœud de calcul Managed Service pour Apache Spark, qui inclut les autorisations requises pour les opérations du plan de données Managed Service pour Apache Spark. Pour en savoir plus, consultez Rôles Managed Service pour Apache Spark.
Afficher les rôles de compte de service de VM
Pour afficher les rôles attribués au compte de service de VM Managed Service pour Apache Spark, procédez comme suit :
Dans la console Cloud de Confiance , accédez à la page IAM.
Cliquez sur Inclure les attributions de rôles fournies par Google.
Affichez les rôles listés pour le compte de service de la VM. L'image suivante montre le rôle Nœud de calcul Dataproc requis pour le compte de service Compute Engine par défaut (
project_number-compute@developer.s3ns-system.iam.gserviceaccount.com) que Managed Service pour Apache Spark utilise par défaut comme compte de service de VM.
Vous pouvez cliquer sur l'icône en forme de crayon affichée sur la ligne du compte de service pour accorder ou supprimer des rôles de compte de service.
Compte de service de l'agent de service Managed Service pour Apache Spark
Managed Service pour Apache Spark crée le compte de service de l'agent de service, service-project_number@dataproc-accounts.s3ns-system.iam.gserviceaccount.com, et lui attribue le rôle d'agent de service Managed Service pour Apache Spark dans un projet Cloud de Confiance . Ce compte de service effectue des opérations du plan de contrôle Managed Service pour Apache Spark, telles que la création, la mise à jour et la suppression de VM de cluster. Vous ne pouvez pas remplacer ce compte de service par un compte de service de VM personnalisé lorsque vous créez un cluster.
Attribution de rôle au compte de service de l'agent de service dans un réseau VPC partagé
Si un cluster Managed Service pour Apache Spark utilise un réseau VPC partagé, un administrateur de VPC partagé doit attribuer au compte de service de l'agent de service Managed Service pour Apache Spark le rôle d'utilisateur du réseau pour le projet hôte de VPC partagé. Pour en savoir plus, consultez les ressources suivantes :
- Créer un cluster qui utilise un réseau VPC dans un autre projet
- Documentation VPC partagée : configurer des comptes de services en tant qu'administrateur de projet de service.
Créer un cluster avec un compte de service de VM personnalisé
Lorsque vous créez un cluster, vous pouvez spécifier un compte de service de VM personnalisé que votre cluster utilisera pour les opérations du plan de données Managed Service pour Apache Spark au lieu du compte de service de VM par défaut (vous ne pouvez pas modifier le compte de service de VM après la création du cluster). L'utilisation d'un compte de service de VM auquel des rôles IAM sont attribués vous permet de fournir à votre cluster un accès précis aux ressources du projet.
Étapes préliminaires
Créez le compte de service de VM personnalisé dans le projet où le cluster sera créé.
Attribuez au compte de service de VM personnalisé le rôle Nœud de calcul Managed Service pour Apache Spark sur le projet, ainsi que tous les rôles supplémentaires requis par vos jobs, tels que les rôles Lecteur et Rédacteur BigQuery (voir Rôles Managed Service pour Apache Spark).
Exemple gcloud CLI :
- L'exemple de commande suivant attribue au compte de service de VM personnalisé du projet de cluster le rôle de nœud de calcul Dataproc au niveau du projet :
gcloud projects add-iam-policy-binding CLUSTER_PROJECT_ID \ --member=serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.s3ns.iam.gserviceaccount.com \ --role="roles/dataproc.worker"
- Envisagez d'utiliser un rôle personnalisé : au lieu d'attribuer au compte de service le rôle prédéfini de nœud de calcul Dataproc (
roles/dataproc.worker), vous pouvez lui attribuer un rôle personnalisé qui contient les autorisations du rôle de nœud de calcul, mais limite les autorisationsstorage.objects.*.- Le rôle personnalisé doit au moins accorder au compte de service de la VM les autorisations
storage.objects.create,storage.objects.getetstorage.objects.updatesur les objets des buckets de préproduction et temporaires de Managed Service pour Apache Spark et sur tous les buckets supplémentaires nécessaires aux jobs qui s'exécuteront sur le cluster.
- Le rôle personnalisé doit au moins accorder au compte de service de la VM les autorisations
Créer le cluster
- Créez le cluster dans votre projet.
ConsoleCloud de Confiance
Il n'est pas possible de définir un compte de service de VM Managed Service pour Apache Spark dans la console.
Pour définir le niveau d'accès cloud-platform sur les VM du cluster lors de la création du cluster :
- Ouvrez la page Créer un cluster.
- Cliquez sur Configuration supplémentaire pour développer cette section.
- Modifiez Sécurité.
- Dans le panneau qui s'ouvre, sous Accès au projet, cochez la case Activer le champ d'application cloud-platform pour ce cluster.
gcloud CLI
Utilisez la commande gcloud dataproc clusters create pour créer un cluster avec le compte de service de VM personnalisé.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.s3ns.iam.gserviceaccount.com \ --scopes=SCOPE
Remplacez les éléments suivants :
- CLUSTER_NAME : nom du cluster, qui doit être unique dans un projet. Le nom doit commencer par une lettre minuscule et peut contenir jusqu'à 51 lettres minuscules, chiffres et traits d'union. Il ne peut pas se terminer par un trait d'union. Le nom d'un cluster supprimé peut être réutilisé.
- REGION : région dans laquelle le cluster sera situé.
- SERVICE_ACCOUNT_NAME : nom du compte de service.
- PROJECT_ID : ID du projet Cloud de Confiance contenant votre compte de service de VM. Il s'agit de l'ID du projet dans lequel votre cluster sera créé ou de l'ID d'un autre projet si vous créez un cluster avec un compte de service de VM personnalisé dans un autre projet.
- SCOPE : niveau(x) d'accès pour les instances de VM du cluster (par exemple,
https://www.googleapis.com/auth/cloud-platform).
API REST
Lorsque vous remplissez le champ GceClusterConfig dans le cadre de la requête API clusters.create, définissez les champs suivants :
serviceAccount: le compte de service se trouve dans le projet où votre cluster sera créé, sauf si vous utilisez un compte de service de VM d'un autre projet.serviceAccountScopes: spécifiez les niveaux d'accès pour les instances de VM du cluster (par exemple,https://www.googleapis.com/auth/cloud-platform).
Créer un cluster avec un compte de service de VM personnalisé d'un autre projet
Lorsque vous créez un cluster, vous pouvez spécifier un compte de service de VM personnalisé que votre cluster utilisera pour les opérations du plan de données Managed Service pour Apache Spark au lieu d'utiliser le compte de service de VM par défaut (vous ne pouvez pas spécifier de compte de service de VM personnalisé après la création du cluster). L'utilisation d'un compte de service de VM personnalisé auquel des rôles IAM sont attribués vous permet de fournir à votre cluster un accès précis aux ressources du projet.
Étapes préliminaires
Dans le projet du compte de service (le projet où se trouve le compte de service de la VM personnalisée) :
Activer l'association des comptes de service à plusieurs projets
Activez l'API Dataproc si ce n'est pas déjà fait.
Rôles requis pour activer les API
Pour activer des API, vous devez disposer de l'autorisation
serviceusage.services.enable. Si vous avez créé le projet, vous disposez probablement déjà de cette autorisation via le rôle Propriétaire (roles/owner). Sinon, vous pouvez l'obtenir via le rôle Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin). Découvrez comment attribuer des rôles.
Attribuez à votre compte de messagerie (l'utilisateur qui crée le cluster) le rôle Utilisateur du compte de service sur le projet du compte de service ou, pour un contrôle plus précis, sur le compte de service de VM personnalisé dans le projet du compte de service.
Pour en savoir plus : Consultez Gérer l'accès aux projets, aux dossiers et aux organisations pour attribuer des rôles au niveau du projet et Gérer l'accès aux comptes de service pour attribuer des rôles au niveau du compte de service.
Exemples de gcloud CLI :
- L'exemple de commande suivant attribue à l'utilisateur le rôle "Utilisateur du compte de service" au niveau du projet :
gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \ --member=USER_EMAIL \ --role="roles/iam.serviceAccountUser"
Remarques :
USER_EMAIL: indiquez l'adresse e-mail de votre compte utilisateur au formatuser:user-name@example.com.- L'exemple de commande suivant attribue à l'utilisateur le rôle "Utilisateur du compte de service" au niveau du compte de service :
gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \ --member=USER_EMAIL \ --role="roles/iam.serviceAccountUser"
Remarques :
USER_EMAIL: indiquez l'adresse e-mail de votre compte utilisateur au formatuser:user-name@example.com.Attribuez au compte de service de VM personnalisé le rôle Nœud de calcul Managed Service pour Apache Spark sur le projet de cluster.
Exemple gcloud CLI :
gcloud projects add-iam-policy-binding CLUSTER_PROJECT_ID \ --member=serviceAccount:SERVICE_ACCOUNT_NAME@SERVICE_ACCOUNT_PROJECT_ID.s3ns.iam.gserviceaccount.com \ --role="roles/dataproc.worker"
Attribuez au compte de service de l'agent de service Managed Service pour Apache Spark dans le projet de cluster les rôles Utilisateur du compte de service et Créateur de jetons du compte de service sur le projet de compte de service ou, pour un contrôle plus précis, sur le compte de service de VM personnalisé dans le projet de compte de service. Cela permet au compte de service de l'agent de service Dataproc du projet de cluster de créer des jetons pour le compte de service de VM Dataproc personnalisé du projet de compte de service.
Pour en savoir plus : Consultez Gérer l'accès aux projets, aux dossiers et aux organisations pour attribuer des rôles au niveau du projet et Gérer l'accès aux comptes de service pour attribuer des rôles au niveau du compte de service.
Exemples de gcloud CLI :
- Les exemples de commandes suivants attribuent au compte de service de l'agent de service Managed Service pour Apache Spark dans le projet de cluster les rôles "Utilisateur du compte de service" et "Créateur de jetons du compte de service" au niveau du projet :
gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountUser"
gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountTokenCreator"
- Les exemples de commandes suivants attribuent au compte de service de l'agent de service Managed Service pour Apache Spark dans le projet de cluster les rôles "Utilisateur du compte de service" et "Créateur de jetons du compte de service" au niveau du compte de service de la VM :
gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountUser"
gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountTokenCreator"
Attribuez au compte de service de l'agent de service Compute Engine dans le projet de cluster le rôle Créateur de jetons du compte de service sur le projet de compte de service ou, pour un contrôle plus précis, sur le compte de service de VM personnalisé dans le projet de compte de service. Vous autorisez ainsi le compte de service de l'agent de service Compute Agent du projet de cluster à créer des jetons pour le compte de service de VM Dataproc personnalisé du projet de compte de service.
Pour en savoir plus : Consultez Gérer l'accès aux projets, aux dossiers et aux organisations pour attribuer des rôles au niveau du projet et Gérer l'accès aux comptes de service pour attribuer des rôles au niveau du compte de service.
Exemples de gcloud CLI :
- L'exemple de commande suivant attribue au compte de service de l'agent de service Compute Engine dans le projet de cluster le rôle de créateur de jetons du compte de service au niveau du projet :
gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@compute-system.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountTokenCreator"
- L'exemple de commande suivant attribue au compte de service de l'agent de service Compute Engine dans le projet de cluster le rôle "Créateur de jetons du compte de service" au niveau du compte de service de la VM :
gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@compute-system.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountTokenCreator"
Créer le cluster
Étapes suivantes
- Comptes de service
- Autorisations et rôles IAM de Managed Service pour Apache Spark
- Principaux et rôles Managed Service pour Apache Spark
- Architecture mutualisée sécurisée basée sur un compte de service Managed Service pour Apache Spark
- Authentification des clusters personnels Managed Service pour Apache Spark
- IAM granulaire pour Managed Service pour Apache Spark