Pour éviter de payer des fraisCloud de Confiance lorsqu'un cluster est inactif, utilisez la fonctionnalité de suppression planifiée de cluster Managed Service pour Apache Spark lorsque vous créez un cluster. Cette fonctionnalité permet de supprimer un cluster lorsque les événements suivants se produisent :
- après une période d'inactivité spécifiée du cluster ;
- à une heure spécifiée ;
- après une période spécifiée commençant à partir de la soumission de la requête de création du cluster.
Actions qui désactivent la suppression programmée
Lorsqu'un cluster est en cours d'exécution, les actions suivantes désactivent la suppression programmée jusqu'à ce que l'action de désactivation soit annulée :
- Suppression du rôle IAM d'agent de service Managed Service pour Apache Spark sur le compte de service de l'agent de service Dataproc
- Désactiver l'API Dataproc dans le projet de cluster
- Activer la protection contre la suppression des VM Compute Engine sur une VM de cluster dont la suppression est planifiée
- Activer VPC Service Controls si le compte de service de l'agent de service (identité du plan de contrôle) de Managed Service pour Apache Spark ne se trouve pas dans le périmètre
Calculer le temps d'inactivité d'un cluster
Vous pouvez utiliser la suppression planifiée pour supprimer un cluster après un délai d'inactivité spécifié. Le temps d'inactivité est calculé une fois que le cluster est créé et que son provisionnement est terminé. Le calcul du temps d'inactivité commence lorsqu'un cluster n'exécute aucune tâche.
La propriété de cluster dataproc:dataproc.cluster-ttl.consider-yarn-activity affecte le calcul du temps d'inactivité du cluster, comme suit :
- Cette propriété est activée (définie sur
true) par défaut. - Lorsque cette propriété est activée, l'activité de l'API YARN et de l'API Dataproc Jobs doit être inactive pour démarrer et continuer à incrémenter le calcul du temps d'inactivité du cluster.
- L'activité YARN inclut les applications YARN en attente et en cours d'exécution.
- L'activité de l'API Dataproc Jobs inclut les jobs en attente et en cours d'exécution envoyés à l'API Dataproc Jobs.
- Lorsque cette propriété est définie sur
false, le calcul du temps d'inactivité du cluster démarre et ne se poursuit que lorsque l'activité de l'API Dataproc Jobs est inactive.
La propriété dataproc:dataproc.cluster-ttl.consider-yarn-activity s'applique aux clusters créés avec des versions d'image publiées à partir du 1.4.64, du 1.5.39, du 2.0.13 et des versions d'image ultérieures. Pour les clusters créés avec des versions d'image antérieures, seule l'activité de l'API Dataproc Jobs est prise en compte dans le calcul du temps d'inactivité du cluster.
Utiliser la suppression planifiée de clusters
Vous pouvez définir des valeurs de suppression programmée lorsque vous créez un cluster à l'aide de Google Cloud CLI, de l'API Dataproc ou de la console Cloud de Confiance . Après avoir créé le cluster, vous pouvez le mettre à jour pour modifier ou supprimer les valeurs de suppression programmée précédemment définies sur le cluster.
ConsoleCloud de Confiance
- Ouvrez la page Créer un cluster.
- Sous Définir les paramètres de contrôle des coûts, sélectionnez Définir une règle de conservation facultative pour contrôler les coûts, puis sélectionnez les paramètres de suppression planifiée (ou d'arrêt planifié).
gcloud CLI
Vous pouvez créer ou mettre à jour des valeurs de suppression programmée sur un cluster en transmettant les options et les valeurs répertoriées dans le tableau suivant aux commandes gcloud dataproc clusters create ou gcloud dataproc clusters update.
| Option de gcloud CLI | Description | Précision de la valeur | Valeur minimale | Valeur maximale |
|---|---|---|---|---|
--delete-max-idle1 |
S'applique aux commandes de création et de mise à jour de cluster.
Durée entre le moment où le cluster devient inactif après sa création ou sa mise à jour et son passage à l'état "prêt à l'emploi", et le moment où la suppression du cluster commence. Indiquez la durée au format IntegerUnit, où l'unité peut être "s, m, h, d" (secondes, minutes, heures, jours). Exemple : "30m" : 30 minutes à partir du moment où le cluster devient inactif. |
1 seconde | 5 minutes | 14 jours |
--no-delete-max-idle |
S'applique uniquement à la commande de mise à jour du cluster.
Annule la suppression du cluster par le paramètre d'option delete-max-idle précédent. |
Non applicable | Non applicable | Non applicable |
--delete-expiration-time2 |
S'applique aux commandes de création et de mise à jour de cluster. Heure de début de la suppression du cluster au format de date et d'heure ISO 8601. Pour générer la date et l'heure au format approprié, vous pouvez utiliser le générateur de code temporel. Par exemple, "2017-08-22T13:31:48-08:00" spécifie une heure d'expiration de 13:21:48 dans le fuseau horaire UTC -8:00. | 1 seconde | 10 minutes à partir de l'heure actuelle | 14 jours à partir de l'heure actuelle |
--delete-max-age2 |
S'applique aux commandes de création et de mise à jour de cluster.
Durée entre l'envoi de la demande de création du cluster et le début de la suppression du cluster. Indiquez la durée au format IntegerUnit, où l'unité peut être "s, m, h, d" (secondes, minutes, heures, jours). Exemples : "30m" : dans 30 minutes ; "1d" : dans un jour. |
1 seconde | 10 minutes | 14 jours |
--no-delete-max-age |
S'applique uniquement à la commande de mise à jour du cluster.
Annule la suppression automatique du cluster par le paramètre d'option delete-max-age ou delete-expiration-time précédent. |
Non applicable | Non applicable | Non applicable |
- Vous pouvez transmettre l'option
delete-max-idleavec l'optiondelete-expiration-timeoudelete-max-agedans votre requête de création ou de mise à jour de cluster. La première condition qui devient vraie prend effet pour supprimer le cluster. - Vous pouvez transmettre l'option
delete-expiration-timeou l'optiondelete-max-ageà la commande de création ou de mise à jour du cluster, mais pas les deux.
Exemple de création de cluster :
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --delete-max-idle=DURATION \ --delete-expiration-time=TIME \ ... other flags ...
Exemple de mise à jour de cluster :
gcloud dataproc clusters update CLUSTER_NAME \ --region=REGION \ --delete-max-idle=DURATION \ --no-delete-max-age \ ... other flags
API REST
Vous pouvez créer ou mettre à jour des valeurs de suppression programmée sur un cluster en définissant les champs et les valeurs ClusterLifecycleConfig de l'API Dataproc répertoriés dans le tableau suivant dans le cadre d'une requête API Managed Service pour Apache Spark cluster.create ou cluster.patch.
| Champ de l'API | Description | Précision de la valeur | Valeur minimale | Valeur maximale |
|---|---|---|---|---|
idleDeleteTtl1 |
S'applique aux commandes de création et de mise à jour de cluster.
Durée entre le moment où le cluster devient inactif après sa création ou sa mise à jour et son passage à l'état "prêt à l'emploi", et le moment où la suppression du cluster commence. Lorsque vous mettez à jour un cluster avec une nouvelle valeur, celle-ci doit être supérieure à la valeur précédemment définie.
Indiquez une durée en secondes avec un maximum de neuf chiffres après la virgule et se terminant par "s". Exemple : "3.5s".
Envoyez une durée vide pour annuler une valeur idleDeleteTtl précédemment définie. |
1 seconde | 5 minutes | 14 jours |
autoDeleteTime2 |
S'applique aux commandes de création et de mise à jour de cluster.
Heure de début de la suppression du cluster. Lorsque vous mettez à jour un cluster avec une nouvelle heure, celle-ci doit être postérieure à l'heure précédemment définie. Lors de la mise à jour, si une valeur vide est définie pour autoDeleteTime, la suppression automatique existante est annulée.Fournissez un code temporel au format RFC 3339 UTC "Zulu", précis à la nanoseconde près. Exemple : "2014-10-02T15:01:23.045123456Z". |
1 seconde | 10 minutes à partir de l'heure actuelle | 14 jours à partir de l'heure actuelle |
autoDeleteTtl2 |
Durée entre l'envoi de la requête de création ou de mise à jour du cluster et le moment où la suppression du cluster commence. Lors de la mise à jour d'un cluster, la nouvelle heure de suppression planifiée (heure de la demande de mise à jour plus la nouvelle durée) doit être postérieure à l'heure de suppression du cluster précédemment définie. Envoyez une valeur vide pour annuler une valeur autoDeleteTtl précédemment définie.
Indiquez une durée en secondes avec un maximum de neuf chiffres après la virgule. Se termine par "s".
Exemple : "3.5s". |
1 seconde | 10 minutes | 14 jours |
- Vous pouvez définir ou mettre à jour
idleDeleteTtletautoDeleteTimeouautoDeleteTtldans votre requête de création ou de mise à jour de cluster. La première condition qui devient vraie prend effet pour supprimer le cluster. - Vous pouvez définir ou mettre à jour
autoDeleteTimeouautoDeleteTtldans votre requête, mais pas les deux.
Afficher les paramètres de suppression planifiée du cluster
ConsoleCloud de Confiance
- Vous pouvez afficher les paramètres de suppression programmée d'un cluster en sélectionnant son nom sur la page Clusters de Managed Service pour Apache Spark dans la console Cloud de Confiance .
- Sur la page d'informations sur les clusters, sélectionnez l'onglet Configuration. Accédez à la liste des configurations de cluster pour afficher les paramètres de suppression programmée.
gcloud CLI
Vous pouvez utiliser la commande gcloud dataproc clusters list pour vérifier que la suppression programmée est activée pour un cluster.
gcloud dataproc clusters list \ --region=REGION
... NAME WORKER_COUNT ... SCHEDULED_DELETE CLUSTER_ID NUMBER ... enabled ...
Vous pouvez utiliser la commande gcloud dataproc clusters describe pour vérifier les paramètres de suppression programmée du cluster LifecycleConfig.
gcloud dataproc clusters describe CLUSTER_NAME \ --region=REGION
... lifecycleConfig: autoDeleteTime: '2018-11-28T19:33:48.146Z' idleDeleteTtl: 1800s idleStartTime: '2018-11-28T18:33:48.146Z' ...
autoDeleteTime et idleDeleteTtl sont les valeurs de configuration de suppression programmée définies sur le cluster.
Managed Service pour Apache Spark génère la valeur idleStartTime, qui correspond à l'heure de début de la dernière inactivité du cluster. Managed Service pour Apache Spark supprime le cluster s'il reste inactif pendant idleStartTime + idleDeleteTtl.
API REST
Vous pouvez faire une requête clusters.list pour confirmer que la suppression planifiée d'un cluster est activée.