Suppression planifiée du cluster

Pour éviter de payer des fraisCloud de Confiance lorsqu'un cluster est inactif, utilisez la fonctionnalité de suppression planifiée de cluster Managed Service pour Apache Spark lorsque vous créez un cluster. Cette fonctionnalité permet de supprimer un cluster lorsque les événements suivants se produisent :

Actions qui désactivent la suppression programmée

Lorsqu'un cluster est en cours d'exécution, les actions suivantes désactivent la suppression programmée jusqu'à ce que l'action de désactivation soit annulée :

Calculer le temps d'inactivité d'un cluster

Vous pouvez utiliser la suppression planifiée pour supprimer un cluster après un délai d'inactivité spécifié. Le temps d'inactivité est calculé une fois que le cluster est créé et que son provisionnement est terminé. Le calcul du temps d'inactivité commence lorsqu'un cluster n'exécute aucune tâche.

La propriété de cluster dataproc:dataproc.cluster-ttl.consider-yarn-activity affecte le calcul du temps d'inactivité du cluster, comme suit :

  • Cette propriété est activée (définie sur true) par défaut.
  • Lorsque cette propriété est activée, l'activité de l'API YARN et de l'API Dataproc Jobs doit être inactive pour démarrer et continuer à incrémenter le calcul du temps d'inactivité du cluster.
    • L'activité YARN inclut les applications YARN en attente et en cours d'exécution.
    • L'activité de l'API Dataproc Jobs inclut les jobs en attente et en cours d'exécution envoyés à l'API Dataproc Jobs.
  • Lorsque cette propriété est définie sur false, le calcul du temps d'inactivité du cluster démarre et ne se poursuit que lorsque l'activité de l'API Dataproc Jobs est inactive.

La propriété dataproc:dataproc.cluster-ttl.consider-yarn-activity s'applique aux clusters créés avec des versions d'image publiées à partir du 1.4.64, du 1.5.39, du 2.0.13 et des versions d'image ultérieures. Pour les clusters créés avec des versions d'image antérieures, seule l'activité de l'API Dataproc Jobs est prise en compte dans le calcul du temps d'inactivité du cluster.

Utiliser la suppression planifiée de clusters

Vous pouvez définir des valeurs de suppression programmée lorsque vous créez un cluster à l'aide de Google Cloud CLI, de l'API Dataproc ou de la console Cloud de Confiance . Après avoir créé le cluster, vous pouvez le mettre à jour pour modifier ou supprimer les valeurs de suppression programmée précédemment définies sur le cluster.

ConsoleCloud de Confiance

  1. Ouvrez la page Créer un cluster.
  2. Sous Définir les paramètres de contrôle des coûts, sélectionnez Définir une règle de conservation facultative pour contrôler les coûts, puis sélectionnez les paramètres de suppression planifiée (ou d'arrêt planifié).

gcloud CLI

Vous pouvez créer ou mettre à jour des valeurs de suppression programmée sur un cluster en transmettant les options et les valeurs répertoriées dans le tableau suivant aux commandes gcloud dataproc clusters create ou gcloud dataproc clusters update.

Option de gcloud CLI Description Précision de la valeur Valeur minimale Valeur maximale
--delete-max-idle1 S'applique aux commandes de création et de mise à jour de cluster. Durée entre le moment où le cluster devient inactif après sa création ou sa mise à jour et son passage à l'état "prêt à l'emploi", et le moment où la suppression du cluster commence. Indiquez la durée au format IntegerUnit, où l'unité peut être "s, m, h, d" (secondes, minutes, heures, jours). Exemple : "30m" : 30 minutes à partir du moment où le cluster devient inactif. 1 seconde 5 minutes 14 jours
--no-delete-max-idle S'applique uniquement à la commande de mise à jour du cluster. Annule la suppression du cluster par le paramètre d'option delete-max-idle précédent. Non applicable Non applicable Non applicable
--delete-expiration-time2 S'applique aux commandes de création et de mise à jour de cluster. Heure de début de la suppression du cluster au format de date et d'heure ISO 8601. Pour générer la date et l'heure au format approprié, vous pouvez utiliser le générateur de code temporel. Par exemple, "2017-08-22T13:31:48-08:00" spécifie une heure d'expiration de 13:21:48 dans le fuseau horaire UTC -8:00.1 seconde 10 minutes à partir de l'heure actuelle 14 jours à partir de l'heure actuelle
--delete-max-age2 S'applique aux commandes de création et de mise à jour de cluster. Durée entre l'envoi de la demande de création du cluster et le début de la suppression du cluster. Indiquez la durée au format IntegerUnit, où l'unité peut être "s, m, h, d" (secondes, minutes, heures, jours). Exemples : "30m" : dans 30 minutes ; "1d" : dans un jour. 1 seconde 10 minutes 14 jours
--no-delete-max-age S'applique uniquement à la commande de mise à jour du cluster. Annule la suppression automatique du cluster par le paramètre d'option delete-max-age ou delete-expiration-time précédent. Non applicable Non applicable Non applicable
Remarques :
  1. Vous pouvez transmettre l'option delete-max-idle avec l'option delete-expiration-time ou delete-max-age dans votre requête de création ou de mise à jour de cluster. La première condition qui devient vraie prend effet pour supprimer le cluster.
  2. Vous pouvez transmettre l'option delete-expiration-time ou l'option delete-max-age à la commande de création ou de mise à jour du cluster, mais pas les deux.

Exemple de création de cluster :

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --delete-max-idle=DURATION \
    --delete-expiration-time=TIME \
    ... other flags ...

Exemple de mise à jour de cluster :

gcloud dataproc clusters update CLUSTER_NAME \
    --region=REGION \
    --delete-max-idle=DURATION \
    --no-delete-max-age \
    ... other flags

API REST

Vous pouvez créer ou mettre à jour des valeurs de suppression programmée sur un cluster en définissant les champs et les valeurs ClusterLifecycleConfig de l'API Dataproc répertoriés dans le tableau suivant dans le cadre d'une requête API Managed Service pour Apache Spark cluster.create ou cluster.patch.

Champ de l'API Description Précision de la valeur Valeur minimale Valeur maximale
idleDeleteTtl1 S'applique aux commandes de création et de mise à jour de cluster. Durée entre le moment où le cluster devient inactif après sa création ou sa mise à jour et son passage à l'état "prêt à l'emploi", et le moment où la suppression du cluster commence. Lorsque vous mettez à jour un cluster avec une nouvelle valeur, celle-ci doit être supérieure à la valeur précédemment définie. Indiquez une durée en secondes avec un maximum de neuf chiffres après la virgule et se terminant par "s". Exemple : "3.5s". Envoyez une durée vide pour annuler une valeur idleDeleteTtl précédemment définie. 1 seconde 5 minutes 14 jours
autoDeleteTime2 S'applique aux commandes de création et de mise à jour de cluster. Heure de début de la suppression du cluster. Lorsque vous mettez à jour un cluster avec une nouvelle heure, celle-ci doit être postérieure à l'heure précédemment définie. Lors de la mise à jour, si une valeur vide est définie pour autoDeleteTime, la suppression automatique existante est annulée.
Fournissez un code temporel au format RFC 3339 UTC "Zulu", précis à la nanoseconde près. Exemple : "2014-10-02T15:01:23.045123456Z".
1 seconde 10 minutes à partir de l'heure actuelle 14 jours à partir de l'heure actuelle
autoDeleteTtl2 Durée entre l'envoi de la requête de création ou de mise à jour du cluster et le moment où la suppression du cluster commence. Lors de la mise à jour d'un cluster, la nouvelle heure de suppression planifiée (heure de la demande de mise à jour plus la nouvelle durée) doit être postérieure à l'heure de suppression du cluster précédemment définie. Envoyez une valeur vide pour annuler une valeur autoDeleteTtl précédemment définie. Indiquez une durée en secondes avec un maximum de neuf chiffres après la virgule. Se termine par "s". Exemple : "3.5s". 1 seconde 10 minutes 14 jours
Remarques :
  1. Vous pouvez définir ou mettre à jour idleDeleteTtl et autoDeleteTime ou autoDeleteTtl dans votre requête de création ou de mise à jour de cluster. La première condition qui devient vraie prend effet pour supprimer le cluster.
  2. Vous pouvez définir ou mettre à jour autoDeleteTime ou autoDeleteTtl dans votre requête, mais pas les deux.

Afficher les paramètres de suppression planifiée du cluster

ConsoleCloud de Confiance

  • Vous pouvez afficher les paramètres de suppression programmée d'un cluster en sélectionnant son nom sur la page Clusters de Managed Service pour Apache Spark dans la console Cloud de Confiance .
  • Sur la page d'informations sur les clusters, sélectionnez l'onglet Configuration. Accédez à la liste des configurations de cluster pour afficher les paramètres de suppression programmée.

gcloud CLI

Vous pouvez utiliser la commande gcloud dataproc clusters list pour vérifier que la suppression programmée est activée pour un cluster.

 gcloud dataproc clusters list \
     --region=REGION
Exemple de résultat :
...
NAME         WORKER_COUNT ... SCHEDULED_DELETE
CLUSTER_ID   NUMBER       ... enabled
...

Vous pouvez utiliser la commande gcloud dataproc clusters describe pour vérifier les paramètres de suppression programmée du cluster LifecycleConfig.

gcloud dataproc clusters describe CLUSTER_NAME \
    --region=REGION
...
lifecycleConfig:
  autoDeleteTime: '2018-11-28T19:33:48.146Z'
  idleDeleteTtl: 1800s
  idleStartTime: '2018-11-28T18:33:48.146Z'
...

autoDeleteTime et idleDeleteTtl sont les valeurs de configuration de suppression programmée définies sur le cluster. Managed Service pour Apache Spark génère la valeur idleStartTime, qui correspond à l'heure de début de la dernière inactivité du cluster. Managed Service pour Apache Spark supprime le cluster s'il reste inactif pendant idleStartTime + idleDeleteTtl.

API REST

Vous pouvez faire une requête clusters.list pour confirmer que la suppression planifiée d'un cluster est activée.