En esta página, se describen las cuentas de servicio y los permisos de acceso de las VM, y cómo se usan con Managed Service para Apache Spark.
Requisito de seguridad a partir del 3 de agosto de 2020: Los usuarios de Managed Service para Apache Spark deben tener el permiso ActAs de la cuenta de servicio para implementar recursos de Managed Service para Apache Spark, como crear clústeres y enviar trabajos. El rol Usuario de cuenta de servicio contiene este permiso. Consulta Roles para la autenticación de cuentas de servicio
para obtener información sobre los roles obligatorios de Managed Service para Apache Spark.
Habilitación para usuarios existentes de Managed Service para Apache Spark: Los usuarios existentes de Managed Service para Apache Spark a partir del 3 de agosto de 2020 pueden habilitar este requisito de seguridad (consulta Protege Managed Service para Apache Spark, Dataflow y Cloud Data Fusion).
¿Qué son las cuentas de servicio?
Una cuenta de servicio es una cuenta especial que pueden usar los servicios y las aplicaciones que se ejecutan en una instancia de máquina virtual (VM) de Compute Engine para interactuar con otras APIs de Cloud de Confiance . Las aplicaciones pueden usar credenciales de cuentas de servicio para autorizarse en un conjunto de APIs y realizar acciones en la VM dentro de los permisos otorgados a la cuenta de servicio.
Cuentas de servicio de clústeres de Managed Service para Apache Spark
Las siguientes cuentas de servicio deben tener los permisos necesarios para realizar acciones de Managed Service para Apache Spark en el proyecto en el que se encuentra tu clúster.
Cuenta de servicio de VM de Managed Service para Apache Spark
Las VMs de un clúster de Managed Service para Apache Spark usan una cuenta de servicio para
las operaciones del plano de datos de Managed Service para Apache Spark.
La cuenta de servicio predeterminada de Compute Engine,
project_number-compute@developer.s3ns-system.iam.gserviceaccount.com, se usa como la cuenta de servicio de la VM, a menos que especifiques una
cuenta de servicio personalizada
cuando crees un clúster. La cuenta de servicio de la VM debe tener el rol de
trabajador de Managed Service para Apache Spark,
que incluye los permisos necesarios para las operaciones del plano de datos de Managed Service para Apache Spark. Para obtener más información, consulta
Roles de Managed Service para Apache Spark.
Visualiza los roles de la cuenta de servicio de la VM
Para ver los roles otorgados a la cuenta de servicio de la VM de Managed Service para Apache Spark, haz lo siguiente:
En la consola de Cloud de Confiance , ve a la página IAM.
Haz clic en Incluir asignaciones de roles proporcionadas por Google.
Visualiza los roles que se indican para la cuenta de servicio de la VM. En la siguiente imagen, se muestra el rol Trabajador de Dataproc requerido que se indica para la cuenta de servicio predeterminada de Compute Engine (
project_number-compute@developer.s3ns-system.iam.gserviceaccount.com) que Managed Service para Apache Spark usa de forma predeterminada como la cuenta de servicio de la VM.
Puedes hacer clic en el ícono de lápiz que se muestra en la fila de la cuenta de servicio para otorgar o quitar roles de la cuenta de servicio.
Cuenta de servicio del agente de servicio de Managed Service para Apache Spark
Managed Service para Apache Spark crea la
cuenta de servicio del agente de servicio,
service-project_number@dataproc-accounts.s3ns-system.iam.gserviceaccount.com, y le otorga a la cuenta de servicio
el rol de
agente de servicio de Managed Service para Apache Spark
en un proyecto de Cloud de Confiance . Esta cuenta de servicio
realiza operaciones del plano de control de Managed Service para Apache Spark,
como la creación, la actualización y la eliminación de
VMs de clúster. No puedes reemplazar esta cuenta de servicio por una cuenta de servicio de VM personalizada
cuando creas un clúster.
Otorgamiento de rol a la cuenta de servicio del agente de servicio en una red de VPC compartida
Si un clúster de Managed Service para Apache Spark usa una red de VPC compartida, un administrador de VPC compartida debe otorgar a la cuenta de servicio del agente de servicio de Managed Service para Apache Spark el rol de usuario de red para el proyecto host de VPC compartida. Para obtener más información, consulta lo siguiente:
- Crea un clúster que use una red de VPC en otro proyecto
- Documentación de VPC compartida: cómo configurar cuentas de servicio como Administradores de proyectos de servicio
Crea un clúster con una cuenta de servicio de VM personalizada
Cuando creas un clúster, puedes especificar una cuenta de servicio de VM personalizada que tu clúster usará para las operaciones del plano de datos de Managed Service para Apache Spark en lugar de la cuenta de servicio de VM predeterminada (no puedes cambiar la cuenta de servicio de VM después de crear el clúster). Usar una cuenta de servicio de VM con roles de IAM asignados te permite proporcionar a tu clúster acceso detallado a los recursos del proyecto.
Pasos preliminares
Crea la cuenta de servicio de VM personalizada en el proyecto en el que se creará el clúster.
Otorga a la cuenta de servicio de VM personalizada el rol de trabajador de Managed Service para Apache Spark en el proyecto y cualquier rol adicional que necesiten tus trabajos, como los roles de lector y escritor de BigQuery (consulta Roles de Managed Service para Apache Spark).
Ejemplo de gcloud CLI:
- Con el siguiente comando de ejemplo, se otorga a la cuenta de servicio de VM personalizada en el proyecto del clúster el rol de trabajador de Dataproc a nivel de proyecto:
gcloud projects add-iam-policy-binding CLUSTER_PROJECT_ID \ --member=serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.s3ns.iam.gserviceaccount.com \ --role="roles/dataproc.worker"
- Considera un rol personalizado: En lugar de otorgar a la cuenta de servicio
el rol predefinido de trabajador de Dataproc (
roles/dataproc.worker), puedes otorgarle un rol personalizado que contenga permisos de rol de trabajador, pero que limite los permisosstorage.objects.*.- El rol personalizado debe otorgar, como mínimo, los permisos
storage.objects.create,storage.objects.getystorage.objects.updatea la cuenta de servicio de la VM en los objetos de los buckets de etapa de pruebas y temporales de Managed Service para Apache Spark y en cualquier bucket adicional que necesiten los trabajos que se ejecutarán en el clúster.
- El rol personalizado debe otorgar, como mínimo, los permisos
Crea el clúster
- Crea el clúster en tu proyecto.
Consola deCloud de Confiance
No se admite la configuración de una cuenta de servicio de VM de Managed Service para Apache Spark en la consola.
Para establecer el permiso de acceso cloud-platform en las VMs del clúster cuando lo creas, sigue estos pasos:
- Abre la página Crear clúster.
- Haz clic en Configuración adicional para expandir esa sección.
- Edita la seguridad.
- En el panel que se abre, en Acceso al proyecto, selecciona la casilla de verificación Habilita el permiso de cloud-platform para este clúster.
gcloud CLI
Usa el comando gcloud dataproc clusters create para crear un clúster con la cuenta de servicio de VM personalizada.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.s3ns.iam.gserviceaccount.com \ --scopes=SCOPE
Reemplaza lo siguiente:
- CLUSTER_NAME: Es el nombre del clúster, que debe ser único dentro de un proyecto. El nombre debe comenzar con una letra minúscula y puede contener hasta 51 letras minúsculas, números y guiones. No puede terminar con un guion. El nombre de un clúster borrado se puede volver a usar.
- REGION: Es la región en la que se ubicará el clúster.
- SERVICE_ACCOUNT_NAME: Es el nombre de la cuenta de servicio.
- PROJECT_ID: Es el ID del proyecto de Cloud de Confiance que contiene tu cuenta de servicio de VM. Este será el ID del proyecto en el que se creará tu clúster o el ID de otro proyecto si creas un clúster con una cuenta de servicio de VM personalizada en otro proyecto.
- SCOPE: Son los permisos de acceso para las instancias de VM del clúster (por ejemplo,
https://www.googleapis.com/auth/cloud-platform).
API de REST
Cuando completes el
GceClusterConfig
como parte de la solicitud a la API de
clusters.create,
establece los siguientes campos:
serviceAccount: La cuenta de servicio se ubicará en el proyecto en el que se creará el clúster, a menos que uses una cuenta de servicio de VM de un proyecto diferente.serviceAccountScopes: Especifica los permisos de acceso para las instancias de VM del clúster (por ejemplo,https://www.googleapis.com/auth/cloud-platform).
Crea un clúster con una cuenta de servicio de VM personalizada de otro proyecto
Cuando creas un clúster, puedes especificar una cuenta de servicio de VM personalizada que tu clúster usará para las operaciones del plano de datos de Managed Service para Apache Spark en lugar de usar la cuenta de servicio de VM predeterminada (no puedes especificar una cuenta de servicio de VM personalizada después de crear el clúster). Usar una cuenta de servicio de VM personalizada con roles de IAM asignados te permite proporcionar a tu clúster acceso detallado a los recursos del proyecto.
Pasos preliminares
En el proyecto de la cuenta de servicio (el proyecto en el que se encuentra la cuenta de servicio de la VM personalizada), haz lo siguiente:
Habilita cuentas de servicio para conectarlas entre proyectos.
Habilita la API de Dataproc si aún no está habilitada.
Roles necesarios para habilitar las APIs
Para habilitar las APIs, necesitas el permiso
serviceusage.services.enable. Si creaste el proyecto, es probable que ya tengas este permiso a través del rol de propietario (roles/owner). De lo contrario, puedes obtenerlo a través del rol de administrador de Service Usage (roles/serviceusage.serviceUsageAdmin). Obtén más información para otorgar roles.
Otorga a tu cuenta de correo electrónico (el usuario que crea el clúster) el rol de Usuario de cuenta de servicio en el proyecto de la cuenta de servicio o, para un control más detallado, la cuenta de servicio de VM personalizada en el proyecto de la cuenta de servicio.
Para obtener más información, consulta Administra el acceso a proyectos, carpetas y organizaciones para otorgar roles a nivel de proyecto y Administra el acceso a las cuentas de servicio para otorgar roles a nivel de cuenta de servicio.
Ejemplos de gcloud CLI:
- En el siguiente comando de ejemplo, se otorga al usuario el rol de usuario de cuenta de servicio a nivel de proyecto:
gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \ --member=USER_EMAIL \ --role="roles/iam.serviceAccountUser"
Notas:
USER_EMAIL: Proporciona la dirección de correo electrónico de tu cuenta de usuario con el siguiente formato:user:user-name@example.com.- Con el siguiente comando de ejemplo, se otorga al usuario el rol de usuario de cuenta de servicio a nivel de la cuenta de servicio:
gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \ --member=USER_EMAIL \ --role="roles/iam.serviceAccountUser"
Notas:
USER_EMAIL: Proporciona la dirección de correo electrónico de tu cuenta de usuario con el siguiente formato:user:user-name@example.com.Otorga a la cuenta de servicio de VM personalizada el rol de trabajador de Managed Service para Apache Spark en el proyecto del clúster.
Ejemplo de gcloud CLI:
gcloud projects add-iam-policy-binding CLUSTER_PROJECT_ID \ --member=serviceAccount:SERVICE_ACCOUNT_NAME@SERVICE_ACCOUNT_PROJECT_ID.s3ns.iam.gserviceaccount.com \ --role="roles/dataproc.worker"
Otorga a la cuenta de servicio del agente de servicio de Managed Service para Apache Spark en el proyecto del clúster los roles de usuario de cuenta de servicio y de creador de tokens de cuenta de servicio en el proyecto de la cuenta de servicio o, para un control más detallado, en la cuenta de servicio de VM personalizada en el proyecto de la cuenta de servicio. De esta manera, permites que la cuenta de servicio del agente de servicio de Dataproc en el proyecto del clúster cree tokens para la cuenta de servicio de VM de Dataproc personalizada en el proyecto de la cuenta de servicio.
Para obtener más información, consulta Administra el acceso a proyectos, carpetas y organizaciones para otorgar roles a nivel de proyecto y Administra el acceso a las cuentas de servicio para otorgar roles a nivel de cuenta de servicio.
Ejemplos de gcloud CLI:
- Los siguientes comandos de ejemplo otorgan a la cuenta de servicio del agente de servicio de Managed Service para Apache Spark en el proyecto del clúster los roles de usuario de cuenta de servicio y creador de tokens de cuenta de servicio a nivel del proyecto:
gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountUser"
gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountTokenCreator"
- Los siguientes comandos de ejemplo otorgan a la cuenta de servicio del agente de servicio de Managed Service para Apache Spark en el proyecto del clúster los roles de usuario de cuenta de servicio y creador de tokens de cuenta de servicio a nivel de la cuenta de servicio de la VM:
gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountUser"
gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountTokenCreator"
Otorga a la cuenta de servicio del agente de servicio de Compute Engine en el proyecto del clúster el rol de creador de tokens de cuenta de servicio en el proyecto de la cuenta de servicio o, para un control más detallado, en la cuenta de servicio de VM personalizada en el proyecto de la cuenta de servicio. De esta manera, otorgas a la cuenta de servicio del agente de servicio de Compute en el proyecto del clúster la capacidad de crear tokens para la cuenta de servicio de VM de Dataproc personalizada en el proyecto de la cuenta de servicio.
Para obtener más información, consulta Administra el acceso a proyectos, carpetas y organizaciones para otorgar roles a nivel de proyecto y Administra el acceso a las cuentas de servicio para otorgar roles a nivel de cuenta de servicio.
Ejemplos de gcloud CLI:
- El siguiente comando de ejemplo otorga a la cuenta de servicio del agente de servicio de Compute Engine en el proyecto del clúster el rol de creador de tokens de cuentas de servicio a nivel del proyecto:
gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@compute-system.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountTokenCreator"
- El siguiente comando de ejemplo otorga a la cuenta de servicio del agente de servicio de Compute Engine en el proyecto del clúster el rol de creador de tokens de cuenta de servicio a nivel de la cuenta de servicio de la VM:
gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \ --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@compute-system.s3ns-system.iam.gserviceaccount.com \ --role="roles/iam.serviceAccountTokenCreator"
Crea el clúster
¿Qué sigue?
- Cuentas de servicio
- Permisos y roles de IAM de Managed Service para Apache Spark
- Principales y roles de Managed Service para Apache Spark
- Multiusuario seguro basado en la cuenta de servicio de Managed Service para Apache Spark
- Autenticación de clústeres personales de Managed Service para Apache Spark
- IAM detallada de Managed Service para Apache Spark