Nesta página, descrevemos as contas de serviço e os escopos de acesso de VM e como eles são usados com o Serviço Gerenciado para Apache Spark.
Requisito de segurança a partir de 3 de agosto de 2020: os usuários do Serviço Gerenciado para Apache Spark precisam ter a permissão de ActAs da conta de serviço para implantar recursos do Serviço Gerenciado para Apache Spark, como criar clusters e enviar jobs. O papel
Usuário da conta de serviço contém essa permissão. Consulte Papéis para autenticação da conta de serviço
para informações sobre os papéis necessários do Serviço Gerenciado para Apache Spark.
Ativação para usuários atuais do Serviço Gerenciado para Apache Spark: os usuários do Serviço Gerenciado para Apache Spark a partir de 3 de agosto de 2020 podem ativar esse requisito de segurança (consulte Como proteger o Serviço Gerenciado para Apache Spark, o Dataflow e o Cloud Data Fusion).
O que são contas de serviço?
Uma conta de serviço é uma conta especial que pode ser usada por serviços e aplicativos em execução em uma instância de máquina virtual (VM) do Compute Engine para interagir com outras APIs do Cloud de Confiance . Os aplicativos podem usar as credenciais da conta de serviço para se autorizarem em um conjunto de APIs e realizar ações na VM dentro das permissões concedidas à conta de serviço.
Contas de serviço de cluster do Serviço Gerenciado para Apache Spark
As contas de serviço a seguir precisam ter as permissões necessárias para realizar ações do Serviço Gerenciado para Apache Spark no projeto em que seu cluster está localizado.
Conta de serviço da VM do Serviço Gerenciado para Apache Spark
As VMs em um cluster do Serviço Gerenciado para Apache Spark usam uma conta de serviço para
operações do plano de dados do Serviço Gerenciado para Apache Spark.
A conta de serviço padrão do Compute Engine,
project_number-compute@developer.s3ns-system.iam.gserviceaccount.com, é usada como a conta de serviço da VM, a menos que você especifique uma
conta de serviço personalizada
ao criar um cluster. A conta de serviço da VM precisa ter o papel
Worker do Serviço Gerenciado para Apache Spark,
que inclui as permissões necessárias para as operações do plano de dados do
Serviço Gerenciado para Apache Spark. Para mais informações, consulte
Papéis do Serviço Gerenciado para Apache Spark.
Ver os papéis da conta de serviço da VM
Para ver os papéis concedidos à conta de serviço da VM do Serviço Gerenciado para Apache Spark, faça o seguinte:
No console do Cloud de Confiance , acesse a página IAM.
Clique em Incluir atribuições de papel fornecidas pelo Google.
Confira os papéis listados para a conta de serviço da VM. A imagem a seguir mostra o papel necessário de worker do Dataproc listado para a conta de serviço padrão do Compute Engine (
project_number-compute@developer.s3ns-system.iam.gserviceaccount.com) que o Serviço Gerenciado para Apache Spark usa por padrão como a conta de serviço da VM.
Clique no ícone de lápis exibido na linha da conta de serviço para conceder ou remover papéis da conta de serviço.
Conta de serviço do agente de serviço do Serviço Gerenciado para Apache Spark
O Serviço Gerenciado para Apache Spark cria a
conta de serviço do agente de serviço,
service-project_number@dataproc-accounts.s3ns-system.iam.gserviceaccount.com, e concede a ela
o papel de
agente de serviço do Serviço Gerenciado para Apache Spark
em um projeto do Cloud de Confiance . Essa conta de serviço
executa operações do plano de controle do Serviço Gerenciado para Apache Spark,
como a criação, atualização e exclusão de
VMs de cluster. Não é possível substituir essa conta de serviço por uma conta de serviço de VM personalizada ao criar um cluster.
Concessão de papel à conta de serviço do agente de serviço em uma rede VPC compartilhada
Se um cluster do Serviço Gerenciado para Apache Spark usar uma rede VPC compartilhada, um administrador de VPC compartilhada precisará conceder à conta de serviço do agente de serviço do Serviço Gerenciado para Apache Spark o papel de Usuário de rede para o projeto host da VPC compartilhada. Para ver mais informações, consulte os seguintes tópicos:
- Criar um cluster que use uma rede VPC em outro projeto
- Documentação de VPC compartilhada: como configurar contas de serviço como administradores de projeto de serviço
Criar um cluster com uma conta de serviço de VM personalizada
Ao criar um cluster, é possível especificar uma conta de serviço de VM personalizada que o cluster vai usar para as operações do plano de dados do Serviço Gerenciado para Apache Spark em vez da conta de serviço de VM padrão (não é possível mudar a conta de serviço de VM depois que o cluster é criado). O uso de uma conta de serviço de VM com papéis do IAM atribuídos permite que você forneça ao cluster acesso detalhado aos recursos do projeto.
Etapas preliminares
Crie a conta de serviço de VM personalizada no projeto em que o cluster será criado.
Conceda à conta de serviço da VM personalizada o papel de worker do Serviço Gerenciado para Apache Spark no projeto e todos os papéis adicionais necessários para os jobs, como os papéis de leitor e gravador do BigQuery (consulte Papéis do Serviço Gerenciado para Apache Spark).
Exemplo da gcloud CLI:
- O comando de exemplo a seguir concede à conta de serviço de VM personalizada no projeto do cluster o papel de worker do Dataproc no nível do projeto:
gcloud projects add-iam-policy-binding CLUSTER_PROJECT_ID \ --member=serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.s3ns.iam.gserviceaccount.com \ --role="roles/dataproc.worker"
- Considere um papel personalizado: em vez de conceder à conta de serviço o papel predefinido de worker do Dataproc (
roles/dataproc.worker), é possível conceder a ela um papel personalizado que contenha as permissões do papel de worker, mas limite as permissõesstorage.objects.*.- O papel personalizado precisa conceder, no mínimo, as permissões
storage.objects.create,storage.objects.getestorage.objects.updateà conta de serviço da VM nos objetos nos buckets de preparo e temporários do Serviço Gerenciado para Apache Spark e em todos os buckets adicionais necessários para os jobs que serão executados no cluster.
- O papel personalizado precisa conceder, no mínimo, as permissões
Crie o cluster
- Crie o cluster no projeto.
Console doCloud de Confiance
Não é possível definir uma conta de serviço de VM do Serviço Gerenciado para Apache Spark no console.
Para definir o escopo de acesso cloud-platform nas VMs do cluster ao criá-lo:
- Abra a página Criar cluster.
- Clique em Configuração adicional para abrir a seção.
- Editar Segurança.
- No painel que será aberto, em Acesso ao projeto, marque a caixa de seleção Ativa o escopo da plataforma de nuvem para este cluster.
CLI da gcloud
Use o comando gcloud dataproc clusters create para criar um cluster com a conta de serviço de VM personalizada.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.s3ns.iam.gserviceaccount.com \ --scopes=SCOPE
Substitua:
- CLUSTER_NAME: o nome do cluster, que precisa ser exclusivo em um projeto. O nome precisa começar com uma letra minúscula e pode conter até 51 letras minúsculas, números e hifens. Não pode terminar com um hífen. O nome de um cluster excluído pode ser reutilizado.
- REGION: a região em que o cluster será localizado.
- SERVICE_ACCOUNT_NAME: o nome da conta de serviço.
- PROJECT_ID: o Cloud de Confiance ID do projeto que contém sua conta de serviço da VM. Esse será o ID do projeto em que o cluster será criado ou o ID de outro projeto se você estiver criando um cluster com uma conta de serviço de VM personalizada em outro projeto.
- SCOPE: escopos de acesso para instâncias de VM do cluster (por exemplo,
https://www.googleapis.com/auth/cloud-platform).
API REST
Ao preencher o
GceClusterConfig
como parte da solicitação de API
clusters.create,
defina os seguintes campos:
serviceAccount: a conta de serviço vai estar localizada no projeto em que o cluster será criado, a menos que você esteja usando uma conta de serviço de VM de um projeto diferente.serviceAccountScopes: especifique os escopos de acesso para instâncias de VM do cluster (por exemplo,https://www.googleapis.com/auth/cloud-platform).
Criar um cluster com uma conta de serviço de VM personalizada de outro projeto
Ao criar um cluster, é possível especificar uma conta de serviço de VM personalizada que o cluster vai usar para operações do plano de dados do Serviço Gerenciado para Apache Spark em vez de usar a conta de serviço de VM padrão (não é possível especificar uma conta de serviço de VM personalizada depois que o cluster é criado). O uso de uma conta de serviço de VM personalizada com papéis do IAM atribuídos permite que você forneça ao cluster acesso detalhado aos recursos do projeto.
Etapas preliminares
No projeto da conta de serviço (o projeto em que a conta de serviço da VM personalizada está localizada):
Ative a API Dataproc, se ainda não estiver ativada.
Funções necessárias para ativar APIs
Para ativar APIs, você precisa da permissão
serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão pelo papel de proprietário (roles/owner). Caso contrário, é possível conseguir essa permissão pelo papel de administrador do Service Usage (roles/serviceusage.serviceUsageAdmin). Saiba como conceder papéis.
Conceda à sua conta de e-mail (o usuário que está criando o cluster) o papel de Usuário da conta de serviço no projeto da conta de serviço ou, para um controle mais granular, na conta de serviço da VM personalizada no projeto da conta de serviço.
Para mais informações: consulte Gerenciar o acesso a projetos, pastas e organizações para conceder papéis no nível do projeto e Gerenciar o acesso a contas de serviço para conceder papéis no nível da conta de serviço.
Exemplos da CLI gcloud:
- O comando de exemplo a seguir concede ao usuário o papel de Usuário da conta de serviço no nível do projeto:
gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \ --member=USER_EMAIL \ --role="roles/iam.serviceAccountUser"
Observações:
USER_EMAIL: informe o endereço de e-mail da sua conta de usuário no formato:user:user-name@example.com.- O comando de exemplo a seguir concede ao usuário o papel de Usuário da conta de serviço no nível da conta de serviço:
gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \ --member=USER_EMAIL \ --role="roles/iam.serviceAccountUser"
Observações:
USER_EMAIL: informe o endereço de e-mail da sua conta de usuário no formato:user:user-name@example.com.Conceda à conta de serviço da VM personalizada o papel de Worker do Serviço Gerenciado para Apache Spark no projeto do cluster.
Exemplo da gcloud CLI:
gcloud projects add-iam-policy-binding CLUSTER_PROJECT_ID \ --member=serviceAccount:SERVICE_ACCOUNT_NAME@SERVICE_ACCOUNT_PROJECT_ID.s3ns.iam.gserviceaccount.com \ --role="roles/dataproc.worker"
Conceda à conta de serviço do agente de serviço do Serviço Gerenciado para Apache Spark no projeto do cluster os papéis de Usuário da conta de serviço e Criador de token da conta de serviço no projeto da conta de serviço ou, para um controle mais granular, na conta de serviço da VM personalizada no projeto da conta de serviço. Ao fazer isso, você permite que a conta de serviço do agente de serviço do Dataproc no projeto do cluster crie tokens para a conta de serviço personalizada da VM do Dataproc no projeto da conta de serviço.
Para mais informações: consulte Gerenciar o acesso a projetos, pastas e organizações para conceder papéis no nível do projeto e Gerenciar o acesso a contas de serviço para conceder papéis no nível da conta de serviço.
Exemplos da CLI gcloud:
- Os comandos de exemplo a seguir concedem à conta de serviço do agente de serviço do Serviço Gerenciado para Apache Spark no projeto do cluster os papéis de usuário da conta de serviço e de criador de token da conta de serviço no nível do projeto:
gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountUser"
gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountTokenCreator"
- Os comandos de exemplo a seguir concedem à conta de serviço do agente de serviço do Serviço Gerenciado para Apache Spark no projeto do cluster os papéis de usuário da conta de serviço e de criador de token da conta de serviço no nível da conta de serviço da VM:
gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountUser"
gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountTokenCreator"
Conceda à conta de serviço do agente de serviço do Compute Engine no projeto do cluster o papel de Criador de token da conta de serviço no projeto da conta de serviço ou, para um controle mais granular, na conta de serviço da VM personalizada no projeto da conta de serviço. Ao fazer isso, você concede à conta de serviço do agente de serviço do Compute Engine no projeto do cluster a capacidade de criar tokens para a conta de serviço personalizada da VM do Dataproc no projeto da conta de serviço.
Para mais informações: consulte Gerenciar o acesso a projetos, pastas e organizações para conceder papéis no nível do projeto e Gerenciar o acesso a contas de serviço para conceder papéis no nível da conta de serviço.
Exemplos da CLI gcloud:
- O comando de exemplo a seguir concede à conta de serviço do agente de serviço do Compute Engine no projeto do cluster o papel de criador de token da conta de serviço no nível do projeto:
gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@compute-system.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountTokenCreator"
- O comando de exemplo a seguir concede à conta de serviço do agente de serviço do Compute Engine no projeto do cluster o papel de criador de token da conta de serviço no nível da conta de serviço da VM:
gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@compute-system.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountTokenCreator"
Crie o cluster
A seguir
- Contas de serviço
- Permissões e papéis do IAM do Serviço Gerenciado para Apache Spark
- Principais e papéis do Serviço Gerenciado para Apache Spark
- Multilocação segura com base na conta de serviço do Serviço Gerenciado para Apache Spark
- Autenticação de cluster pessoal do Serviço Gerenciado para Apache Spark
- IAM granular do Serviço Gerenciado para Apache Spark