Eliminazione pianificata dei cluster

Per evitare addebiti per un cluster inattivo, utilizza la funzionalità di eliminazione pianificata del cluster Managed Service for Apache Spark quando crei un cluster.Cloud de Confiance Questa funzionalità offre opzioni per eliminare un cluster al verificarsi dei seguenti eventi:

Azioni che disattivano l'eliminazione pianificata

Mentre un cluster è in esecuzione, le seguenti azioni disattivano l'eliminazione pianificata finché l'azione di disattivazione non viene annullata:

Calcola il tempo di inattività del cluster

Puoi utilizzare l'eliminazione pianificata per eliminare un cluster dopo un periodo di inattività specificato. Il tempo di inattività viene calcolato dopo la creazione del cluster e il completamento del provisioning del cluster. Il calcolo del tempo di inattività inizia quando un cluster non ha job in esecuzione.

La proprietà del cluster dataproc:dataproc.cluster-ttl.consider-yarn-activity influisce sul calcolo del tempo di inattività del cluster, come segue:

  • Questa proprietà è attivata (impostata su true) per impostazione predefinita.
  • Quando questa proprietà è abilitata, l'attività dell'API YARN e dell'API Dataproc Jobs deve essere inattiva per avviare e continuare a incrementare il calcolo del tempo di inattività del cluster.
    • L'attività YARN include le applicazioni YARN in attesa e in esecuzione.
    • L'attività dell'API Dataproc Jobs include i job in attesa e in esecuzione inviati all'API Dataproc Jobs.
  • Quando questa proprietà è impostata su false, il calcolo del tempo di inattività del cluster inizia e continua solo quando l'attività dell'API Dataproc Jobs è inattiva.

La proprietà dataproc:dataproc.cluster-ttl.consider-yarn-activity si applica ai cluster creati con versioni immagine rilasciate a partire dal giorno 1.4.64, 1.5.39, 2.0.13 e versioni immagine successive. Per i cluster creati con versioni immagine precedenti, nel calcolo del tempo di inattività del cluster viene considerata solo l'attività dell'API Dataproc Jobs.

Utilizza l'eliminazione pianificata dei cluster

Puoi impostare i valori di eliminazione pianificata quando crei un cluster utilizzando Google Cloud CLI, l'API Dataproc o la console Cloud de Confiance . Dopo aver creato il cluster, puoi aggiornarlo per modificare o eliminare i valori di eliminazione pianificata impostati in precedenza sul cluster.

ConsoleCloud de Confiance

  1. Apri la pagina Crea cluster.
  2. In Definisci le impostazioni di controllo dei costi, seleziona Imposta una policy di conservazione facoltativa per controllare i costi, quindi seleziona le impostazioni di eliminazione pianificata (o arresto pianificato).

gcloud CLI

Puoi creare o aggiornare i valori di eliminazione pianificata su un cluster passando i flag e i valori elencati nella tabella seguente ai comandi gcloud dataproc clusters create o gcloud dataproc clusters update.

Flag gcloud CLI Descrizione Granularità dei valori Valore min Valore max
--delete-max-idle1 Si applica ai comandi di creazione e aggiornamento dei cluster. La durata dal momento in cui il cluster diventa inattivo dopo la sua creazione o il suo aggiornamento ed è in uno stato pronto per l'uso al momento in cui inizia l'eliminazione del cluster. Fornisci la durata nel formato IntegerUnit, dove l'unità può essere "s, m, h, d" (secondi, minuti, ore, giorni). Esempio: "30m": 30 minuti dal momento in cui il cluster diventa inattivo. 1 secondo 5 minuti 14 giorni
--no-delete-max-idle Si applica solo al comando di aggiornamento del cluster. Annulla l'eliminazione del cluster in base all'impostazione del flag delete-max-idle precedente. non applicabile non applicabile non applicabile
--delete-expiration-time2 Si applica ai comandi di creazione e aggiornamento dei cluster. L'ora di inizio dell'eliminazione del cluster nel formato di data e ora ISO 8601. Per generare la data e l'ora nel formato corretto, puoi utilizzare il generatore di timestamp. Ad esempio, "2017-08-22T13:31:48-08:00" specifica una data di scadenza alle ore 13:21:48 nel fuso orario UTC -8:00.1 secondo 10 minuti dall'ora corrente 14 giorni dall'ora corrente
--delete-max-age2 Si applica ai comandi di creazione e aggiornamento dei cluster. La durata dal momento dell'invio della richiesta di creazione del cluster al momento in cui inizia l'eliminazione del cluster. Fornisci la durata nel formato IntegerUnit, dove l'unità può essere "s, m, h, d" (secondi, minuti, ore, giorni). Esempi: "30m": 30 minuti da adesso; "1d": 1 giorno da adesso. 1 secondo 10 minuti 14 giorni
--no-delete-max-age Si applica solo al comando di aggiornamento del cluster. Annulla l'eliminazione automatica del cluster in base all'impostazione precedente del flag delete-max-age o delete-expiration-time. Non applicabile Non applicabile Non applicabile
Note:
  1. Puoi passare il flag delete-max-idle con il flag delete-expiration-time o delete-max-age nella richiesta di creazione o aggiornamento del cluster. La prima condizione che diventa vera ha effetto per eliminare il cluster.
  2. Puoi passare il flag delete-expiration-time o il flag delete-max-age al comando di creazione o aggiornamento del cluster, ma non entrambi.

Esempio di creazione di un cluster:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --delete-max-idle=DURATION \
    --delete-expiration-time=TIME \
    ... other flags ...

Esempio di aggiornamento del cluster:

gcloud dataproc clusters update CLUSTER_NAME \
    --region=REGION \
    --delete-max-idle=DURATION \
    --no-delete-max-age \
    ... other flags

API REST

Puoi creare o aggiornare i valori di eliminazione pianificata su un cluster impostando i campi e i valori ClusterLifecycleConfig dell'API Dataproc elencati nella tabella seguente nell'ambito di una richiesta API cluster.create o cluster.patch di Managed Service for Apache Spark.

Campo API Descrizione Granularità dei valori Valore min Valore max
idleDeleteTtl1 Si applica ai comandi di creazione e aggiornamento dei cluster. La durata dal momento in cui il cluster diventa inattivo dopo la sua creazione o il suo aggiornamento ed è in uno stato pronto per l'uso al momento in cui inizia l'eliminazione del cluster. Quando aggiorni un cluster con un nuovo valore, questo deve essere maggiore di quello impostato in precedenza. Fornisci una durata in secondi con un massimo di nove cifre frazionarie, che termina con "s". Esempio: "3.5s". Invia una durata vuota per annullare un valore idleDeleteTtl impostato in precedenza. 1 secondo 5 minuti 14 giorni
autoDeleteTime2 Si applica ai comandi di creazione e aggiornamento dei cluster. L'ora di inizio dell'eliminazione del cluster. Quando aggiorni un cluster con una nuova ora, questa deve essere successiva a quella impostata in precedenza. Durante l'aggiornamento, se viene impostato un valore vuoto per autoDeleteTime, l'eliminazione automatica esistente viene annullata.
Fornisci un timestamp in formato UTC "Zulu" RFC 3339, con precisione al nanosecondo. Esempio: "2014-10-02T15:01:23.045123456Z".
1 secondo 10 minuti dall'ora corrente 14 giorni dall'ora corrente
autoDeleteTtl2 La durata dal momento dell'invio della richiesta di creazione o aggiornamento del cluster al momento in cui inizia l'eliminazione del cluster. Quando aggiorni un cluster, la nuova ora di eliminazione pianificata (ora della richiesta di aggiornamento più la nuova durata) deve essere successiva all'ora di eliminazione del cluster impostata in precedenza. Invia un valore vuoto per annullare un valore autoDeleteTtl impostato in precedenza. Specifica una durata in secondi con un massimo di nove cifre frazionarie, che termina con "s". Esempio: "3.5s". 1 secondo 10 minuti 14 giorni
Note:
  1. Puoi impostare o aggiornare sia idleDeleteTtl sia autoDeleteTime o autoDeleteTtl nella richiesta di creazione o aggiornamento del cluster. La prima condizione che diventa vera viene applicata per eliminare il cluster.
  2. Nella richiesta puoi impostare o aggiornare autoDeleteTime o autoDeleteTtl, ma non entrambi.

Visualizza le impostazioni del cluster per l'eliminazione pianificata

ConsoleCloud de Confiance

  • Puoi visualizzare le impostazioni di eliminazione pianificata del cluster selezionando il nome del cluster dalla pagina Cluster di Managed Service for Apache Spark nella console Cloud de Confiance .
  • Nella pagina dei dettagli dei cluster, seleziona la scheda Configurazione. Vai all'elenco delle configurazioni del cluster per visualizzare le impostazioni di eliminazione pianificata.

gcloud CLI

Puoi utilizzare il comando gcloud dataproc clusters list per verificare che l'eliminazione pianificata sia abilitata per un cluster.

 gcloud dataproc clusters list \
     --region=REGION
Esempio di output:
...
NAME         WORKER_COUNT ... SCHEDULED_DELETE
CLUSTER_ID   NUMBER       ... enabled
...

Puoi utilizzare il comando gcloud dataproc clusters describe per controllare le impostazioni di eliminazione pianificata del cluster LifecycleConfig.

gcloud dataproc clusters describe CLUSTER_NAME \
    --region=REGION
...
lifecycleConfig:
  autoDeleteTime: '2018-11-28T19:33:48.146Z'
  idleDeleteTtl: 1800s
  idleStartTime: '2018-11-28T18:33:48.146Z'
...

autoDeleteTime e idleDeleteTtl sono i valori di configurazione dell'eliminazione pianificata impostati sul cluster. Managed Service for Apache Spark genera il valore idleStartTime, che corrisponde all'ora di inizio dell'inattività del cluster più recente. Managed Service for Apache Spark elimina il cluster se rimane inattivo alle ore idleStartTime + idleDeleteTtl.

API REST

Puoi effettuare una richiesta clusters.list per confermare che l'eliminazione pianificata è abilitata per un cluster.