Para evitar que se generen cargos de Cloud de Confiance por un clúster inactivo, usa la función de eliminación programada del clúster de Managed Service para Apache Spark cuando crees un clúster. Esta función proporciona opciones para borrar un clúster cuando ocurren los siguientes eventos:
- después de un período de inactividad del clúster especificado
- en un momento futuro específico
- después de un período específico que comienza con el envío de la solicitud de creación de clústeres
Acciones que inhabilitan la eliminación programada
Mientras se ejecuta un clúster, las siguientes acciones inhabilitan la eliminación programada hasta que se revierta la acción de inhabilitación:
- Quita el rol de agente de servicio de Managed Service para Apache Spark de IAM en la cuenta de servicio del agente de servicio de Dataproc
- Inhabilitar la API de Dataproc en el proyecto del clúster
- Habilita la protección contra eliminaciones de VMs de Compute Engine en una VM de clúster de eliminación programada
- Habilitar los Controles del servicio de VPC si la cuenta de servicio del agente de servicio (identidad del plano de control) de Managed Service para Apache Spark no está dentro del límite del perímetro
Calcula el tiempo de inactividad del clúster
Puedes usar la eliminación programada para borrar un clúster después de un período de inactividad especificado. El tiempo de inactividad se calcula después de que se crea el clúster y se completa su aprovisionamiento. El cálculo del tiempo de inactividad comienza cuando un clúster no tiene trabajos en ejecución.
La propiedad
del clúster
dataproc:dataproc.cluster-ttl.consider-yarn-activity afecta el cálculo del tiempo de inactividad del clúster de la siguiente manera:
- Esta propiedad está habilitada (establecida en
true) de forma predeterminada. - Cuando esta propiedad está habilitada, la actividad de la API de Dataproc Jobs y YARN debe
estar inactiva para iniciar y seguir incrementando el cálculo del tiempo de inactividad del
clúster.
- La actividad de YARN incluye las aplicaciones de YARN pendientes y en ejecución.
- La actividad de la API de Dataproc Jobs incluye los trabajos pendientes y en ejecución que se enviaron a la API de Dataproc Jobs.
- Cuando esta propiedad se establece en
false, el cálculo del tiempo de inactividad del clúster comienza y continúa solo cuando la actividad de la API de Dataproc Jobs está inactiva.
La propiedad dataproc:dataproc.cluster-ttl.consider-yarn-activity se aplica a
los clústeres creados con versiones de imagen lanzadas el 1.4.64, 1.5.39,
2.0.13 o después, y versiones de imagen posteriores. En el caso de los clústeres creados con versiones de imagen anteriores, solo se considera la actividad de la API de Dataproc Jobs para calcular el tiempo de inactividad del clúster.
Usa la eliminación programada de clústeres
Puedes establecer valores de eliminación programada cuando creas un clúster con Google Cloud CLI, la API de Dataproc o la consola de Cloud de Confiance . Después de crear el clúster, puedes actualizarlo para cambiar o borrar los valores de eliminación programada establecidos anteriormente en el clúster.
Consola deCloud de Confiance
- Abre la página Crear clúster.
- En Define la configuración de control de costos, selecciona Establece una política de retención opcional para controlar los costos y, luego, selecciona la configuración de eliminación programada (o detención programada).
gcloud CLI
Puedes crear o actualizar los valores de eliminación programada en un clúster pasando las
marcas y los valores que se indican en la siguiente tabla a los comandos
gcloud dataproc clusters create
o gcloud dataproc clusters update.
| Marca de gcloud CLI | Descripción | Nivel de detalle de los valores | Valor mín. | Valor máx. |
|---|---|---|---|---|
--delete-max-idle1 |
Se aplica a los comandos de creación y actualización de clústeres.
Es la duración desde el momento en que el clúster queda inactivo después de
crearse o actualizarse, y se encuentra en un estado listo para usar, hasta el
momento en que comienza a borrarse. Proporciona la duración en
formato IntegerUnit, en el que la unidad puede ser "s, m, h, d"
(segundos, minutos, horas, días). Ejemplo: "30m": 30 minutos desde el momento
en que el clúster queda inactivo. |
1 segundo | 5 minutos | 14 días |
--no-delete-max-idle |
Solo se aplica al comando de actualización del clúster.
Cancela la eliminación del clúster según el parámetro de configuración de la marca delete-max-idle anterior. |
no aplicable | no aplicable | no aplicable |
--delete-expiration-time2 |
Se aplica a los comandos de creación y actualización de clústeres. Es la hora para comenzar a borrar el clúster en formato de fecha y hora ISO 8601. Para generar la fecha y hora en el formato correcto, puedes usar el generador de marcas de tiempo. Por ejemplo, "2017-08-22T13:31:48-08:00" especifica una hora de vencimiento de 13:21:48 en la zona horaria UTC -8:00. | 1 segundo | 10 minutos desde la hora actual | 14 días desde la hora actual |
--delete-max-age2 |
Se aplica a los comandos de creación y actualización de clústeres.
Es la duración desde el momento en que se envía la solicitud de creación del clúster hasta
el momento en que se comienza a borrar el clúster. Proporciona la duración en
formato IntegerUnit, en el que la unidad puede ser "s, m, h, d"
(segundos, minutos, horas, días). Ejemplos: "30m": dentro de 30 minutos;
"1d": dentro de 1 día. |
1 segundo | 10 minutos | 14 días |
--no-delete-max-age |
Solo se aplica al comando de actualización del clúster.
Cancela la eliminación automática del clúster según la configuración anterior de la marca
delete-max-age o delete-expiration-time. |
No aplicable | No aplicable | No aplicable |
- Puedes pasar la marca
delete-max-idlecon la marcadelete-expiration-timeodelete-max-ageen la solicitud de creación o actualización del clúster. La primera que se cumpla se aplicará para borrar el clúster. - Puedes pasar la marca
delete-expiration-timeo la marcadelete-max-ageal comando de creación o actualización del clúster, pero no ambas.
Ejemplo de creación de clúster:
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --delete-max-idle=DURATION \ --delete-expiration-time=TIME \ ... other flags ...
Ejemplo de actualización del clúster:
gcloud dataproc clusters update CLUSTER_NAME \ --region=REGION \ --delete-max-idle=DURATION \ --no-delete-max-age \ ... other flags
API de REST
Puedes crear o actualizar los valores de eliminación programada en un clúster configurando los campos y valores de ClusterLifecycleConfig de la API de Dataproc que se indican en la siguiente tabla como parte de una solicitud a la API cluster.create o cluster.patch de Managed Service para Apache Spark.
| Campo de API | Descripción | Nivel de detalle de los valores | Valor mín. | Valor máx. |
|---|---|---|---|---|
idleDeleteTtl1 |
Se aplica a los comandos de creación y actualización de clústeres.
Es la duración desde el momento en que el clúster queda inactivo después de
crearse o actualizarse, y se encuentra en un estado listo para usar, hasta el
momento en que comienza a borrarse. Cuando
actualizas un clúster con un valor nuevo, este debe ser mayor que el valor establecido
anteriormente.
Proporciona una duración en segundos con hasta nueve dígitos decimales, terminada en
"s". Ejemplo: “3.5s”.
Envía una duración vacía para cancelar un valor de idleDeleteTtl establecido anteriormente. |
1 segundo | 5 minutos | 14 días |
autoDeleteTime2 |
Se aplica a los comandos de creación y actualización de clústeres.
El momento de comenzar a borrar el clúster. Cuando actualizas un clúster con una hora nueva,
esta debe ser posterior a la hora establecida con anterioridad. Cuando se actualiza, si
se establece un valor vacío para autoDeleteTime, se cancela la
eliminación automática existente.Proporciona una marca de tiempo en formato RFC 3339 UTC "Zulú", con precisión de nanosegundos. Ejemplo: "2014-10-02T15:01:23.045123456Z". |
1 segundo | 10 minutos desde la hora actual | 14 días desde la hora actual |
autoDeleteTtl2 |
Es la duración desde el momento en que se envía la solicitud de creación o actualización del clúster
hasta el momento en que se comienza a borrar el clúster. Cuando se actualiza un clúster,
la nueva hora de eliminación programada (hora de la solicitud de actualización más la
nueva duración) debe ser posterior a la hora de eliminación del clúster
establecida anteriormente. Envía un valor vacío
para cancelar un valor de autoDeleteTtl establecido anteriormente.
Muestra la duración en segundos con hasta nueve dígitos fraccionarios, terminados en “s”.
Ejemplo: “3.5s”. |
1 segundo | 10 minutos | 14 días |
- Puedes configurar o actualizar
idleDeleteTtlyautoDeleteTimeoautoDeleteTtlen la solicitud de creación o actualización del clúster. La primera que se cumpla se aplicará para borrar el clúster. - Puedes configurar o actualizar
autoDeleteTimeoautoDeleteTtlen tu solicitud, pero no ambos.
Visualiza la configuración del clúster de eliminación programada
Consola deCloud de Confiance
- Para ver la configuración de eliminación programada del clúster, selecciona el nombre del clúster en la página Clústeres de Managed Service para Apache Spark en la consola de Cloud de Confiance .
- En la página de detalles de los clústeres, selecciona la pestaña Configuración. Ve a la lista de configuración del clúster para ver los parámetros de configuración de eliminación programada.
gcloud CLI
Puedes usar el comando gcloud dataproc clusters list para
confirmar que un clúster tiene habilitada la eliminación programada.
gcloud dataproc clusters list \ --region=REGION
... NAME WORKER_COUNT ... SCHEDULED_DELETE CLUSTER_ID NUMBER ... enabled ...
Puedes usar el comando gcloud dataproc clusters describe para
verificar la configuración de eliminación programada del LifecycleConfig del clúster.
gcloud dataproc clusters describe CLUSTER_NAME \ --region=REGION
... lifecycleConfig: autoDeleteTime: '2018-11-28T19:33:48.146Z' idleDeleteTtl: 1800s idleStartTime: '2018-11-28T18:33:48.146Z' ...
autoDeleteTime y idleDeleteTtl son los
valores de configuración de eliminación programada que se establecen en el clúster.
Managed Service para Apache Spark genera el valor idleStartTime, que es
la hora de inicio de inactividad más reciente del clúster. Managed Service para Apache Spark borra el
clúster si este permanece inactivo en idleStartTime +
idleDeleteTtl.
API de REST
Puedes realizar una solicitud clusters.list para confirmar que un clúster tiene habilitada la eliminación programada.