Per evitare addebiti per un cluster inattivo, utilizza la funzionalità di eliminazione pianificata del cluster Managed Service for Apache Spark quando crei un cluster.Cloud de Confiance Questa funzionalità offre opzioni per eliminare un cluster al verificarsi dei seguenti eventi:
- dopo un determinato periodo di inattività del cluster
- in un momento futuro specificato
- dopo un periodo specificato che inizia dal momento dell'invio della richiesta di creazione del cluster
Azioni che disattivano l'eliminazione pianificata
Mentre un cluster è in esecuzione, le seguenti azioni disattivano l'eliminazione pianificata finché l'azione di disattivazione non viene annullata:
- Rimozione del ruolo IAM Agente di servizio Managed Service for Apache Spark dall'account di servizio Agente di servizio Dataproc
- Disattivazione dell'API Dataproc nel progetto del cluster
- Attivazione della protezione da eliminazione delle VM di Compute Engine su una VM del cluster con eliminazione pianificata
- Attivazione dei Controlli di servizio VPC se il service account dell'agente di servizio di Managed Service for Apache Spark (identità del control plane) non rientra nel confine del perimetro
Calcola il tempo di inattività del cluster
Puoi utilizzare l'eliminazione pianificata per eliminare un cluster dopo un periodo di inattività specificato. Il tempo di inattività viene calcolato dopo la creazione del cluster e il completamento del provisioning del cluster. Il calcolo del tempo di inattività inizia quando un cluster non ha job in esecuzione.
La proprietà del cluster dataproc:dataproc.cluster-ttl.consider-yarn-activity influisce sul calcolo del tempo di inattività del cluster, come segue:
- Questa proprietà è attivata (impostata su
true) per impostazione predefinita. - Quando questa proprietà è abilitata, l'attività dell'API YARN e dell'API Dataproc Jobs deve essere inattiva per avviare e continuare a incrementare il calcolo del tempo di inattività del cluster.
- L'attività YARN include le applicazioni YARN in attesa e in esecuzione.
- L'attività dell'API Dataproc Jobs include i job in attesa e in esecuzione inviati all'API Dataproc Jobs.
- Quando questa proprietà è impostata su
false, il calcolo del tempo di inattività del cluster inizia e continua solo quando l'attività dell'API Dataproc Jobs è inattiva.
La proprietà dataproc:dataproc.cluster-ttl.consider-yarn-activity si applica ai cluster creati con versioni immagine rilasciate a partire dal giorno 1.4.64, 1.5.39, 2.0.13 e versioni immagine successive. Per i cluster creati con versioni immagine precedenti, nel calcolo del tempo di inattività del cluster viene considerata solo l'attività dell'API Dataproc Jobs.
Utilizza l'eliminazione pianificata dei cluster
Puoi impostare i valori di eliminazione pianificata quando crei un cluster utilizzando Google Cloud CLI, l'API Dataproc o la console Cloud de Confiance . Dopo aver creato il cluster, puoi aggiornarlo per modificare o eliminare i valori di eliminazione pianificata impostati in precedenza sul cluster.
ConsoleCloud de Confiance
- Apri la pagina Crea cluster.
- In Definisci le impostazioni di controllo dei costi, seleziona Imposta una policy di conservazione facoltativa per controllare i costi, quindi seleziona le impostazioni di eliminazione pianificata (o arresto pianificato).
gcloud CLI
Puoi creare o aggiornare i valori di eliminazione pianificata su un cluster passando i flag e i valori elencati nella tabella seguente ai comandi gcloud dataproc clusters create o gcloud dataproc clusters update.
| Flag gcloud CLI | Descrizione | Granularità dei valori | Valore min | Valore max |
|---|---|---|---|---|
--delete-max-idle1 |
Si applica ai comandi di creazione e aggiornamento dei cluster.
La durata dal momento in cui il cluster diventa inattivo dopo la sua creazione o il suo aggiornamento ed è in uno stato pronto per l'uso al momento in cui inizia l'eliminazione del cluster. Fornisci la durata nel formato IntegerUnit, dove l'unità può essere "s, m, h, d" (secondi, minuti, ore, giorni). Esempio: "30m": 30 minuti dal momento in cui il cluster diventa inattivo. |
1 secondo | 5 minuti | 14 giorni |
--no-delete-max-idle |
Si applica solo al comando di aggiornamento del cluster.
Annulla l'eliminazione del cluster in base all'impostazione del flag delete-max-idle precedente. |
non applicabile | non applicabile | non applicabile |
--delete-expiration-time2 |
Si applica ai comandi di creazione e aggiornamento dei cluster. L'ora di inizio dell'eliminazione del cluster nel formato di data e ora ISO 8601. Per generare la data e l'ora nel formato corretto, puoi utilizzare il generatore di timestamp. Ad esempio, "2017-08-22T13:31:48-08:00" specifica una data di scadenza alle ore 13:21:48 nel fuso orario UTC -8:00. | 1 secondo | 10 minuti dall'ora corrente | 14 giorni dall'ora corrente |
--delete-max-age2 |
Si applica ai comandi di creazione e aggiornamento dei cluster.
La durata dal momento dell'invio della richiesta di creazione del cluster al momento in cui inizia l'eliminazione del cluster. Fornisci la durata nel formato IntegerUnit, dove l'unità può essere "s, m, h, d" (secondi, minuti, ore, giorni). Esempi: "30m": 30 minuti da adesso;
"1d": 1 giorno da adesso. |
1 secondo | 10 minuti | 14 giorni |
--no-delete-max-age |
Si applica solo al comando di aggiornamento del cluster.
Annulla l'eliminazione automatica del cluster in base all'impostazione precedente del flag delete-max-age o delete-expiration-time. |
Non applicabile | Non applicabile | Non applicabile |
- Puoi passare il flag
delete-max-idlecon il flagdelete-expiration-timeodelete-max-agenella richiesta di creazione o aggiornamento del cluster. La prima condizione che diventa vera ha effetto per eliminare il cluster. - Puoi passare il flag
delete-expiration-timeo il flagdelete-max-ageal comando di creazione o aggiornamento del cluster, ma non entrambi.
Esempio di creazione di un cluster:
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --delete-max-idle=DURATION \ --delete-expiration-time=TIME \ ... other flags ...
Esempio di aggiornamento del cluster:
gcloud dataproc clusters update CLUSTER_NAME \ --region=REGION \ --delete-max-idle=DURATION \ --no-delete-max-age \ ... other flags
API REST
Puoi creare o aggiornare i valori di eliminazione pianificata su un cluster impostando i campi e i valori ClusterLifecycleConfig dell'API Dataproc elencati nella tabella seguente nell'ambito di una richiesta API cluster.create o cluster.patch di Managed Service for Apache Spark.
| Campo API | Descrizione | Granularità dei valori | Valore min | Valore max |
|---|---|---|---|---|
idleDeleteTtl1 |
Si applica ai comandi di creazione e aggiornamento dei cluster.
La durata dal momento in cui il cluster diventa inattivo dopo la sua creazione o il suo aggiornamento ed è in uno stato pronto per l'uso al momento in cui inizia l'eliminazione del cluster. Quando aggiorni un cluster con un nuovo valore, questo deve essere maggiore di quello impostato in precedenza.
Fornisci una durata in secondi con un massimo di nove cifre frazionarie, che termina con "s". Esempio: "3.5s".
Invia una durata vuota per annullare un valore idleDeleteTtl impostato in precedenza. |
1 secondo | 5 minuti | 14 giorni |
autoDeleteTime2 |
Si applica ai comandi di creazione e aggiornamento dei cluster.
L'ora di inizio dell'eliminazione del cluster. Quando aggiorni un cluster con una nuova ora,
questa deve essere successiva a quella impostata in precedenza. Durante l'aggiornamento, se
viene impostato un valore vuoto per autoDeleteTime, l'eliminazione automatica
esistente viene annullata.Fornisci un timestamp in formato UTC "Zulu" RFC 3339, con precisione al nanosecondo. Esempio: "2014-10-02T15:01:23.045123456Z". |
1 secondo | 10 minuti dall'ora corrente | 14 giorni dall'ora corrente |
autoDeleteTtl2 |
La durata dal momento dell'invio della richiesta di creazione o aggiornamento del cluster al momento in cui inizia l'eliminazione del cluster. Quando aggiorni un cluster,
la nuova ora di eliminazione pianificata (ora della richiesta di aggiornamento più la
nuova durata) deve essere successiva all'ora di eliminazione del cluster
impostata in precedenza. Invia un valore vuoto per annullare un valore autoDeleteTtl impostato in precedenza.
Specifica una durata in secondi con un massimo di nove cifre frazionarie, che termina con "s".
Esempio: "3.5s". |
1 secondo | 10 minuti | 14 giorni |
- Puoi impostare o aggiornare sia
idleDeleteTtlsiaautoDeleteTimeoautoDeleteTtlnella richiesta di creazione o aggiornamento del cluster. La prima condizione che diventa vera viene applicata per eliminare il cluster. - Nella richiesta puoi impostare o aggiornare
autoDeleteTimeoautoDeleteTtl, ma non entrambi.
Visualizza le impostazioni del cluster per l'eliminazione pianificata
ConsoleCloud de Confiance
- Puoi visualizzare le impostazioni di eliminazione pianificata del cluster selezionando il nome del cluster dalla pagina Cluster di Managed Service for Apache Spark nella console Cloud de Confiance .
- Nella pagina dei dettagli dei cluster, seleziona la scheda Configurazione. Vai all'elenco delle configurazioni del cluster per visualizzare le impostazioni di eliminazione pianificata.
gcloud CLI
Puoi utilizzare il comando gcloud dataproc clusters list per verificare che l'eliminazione pianificata sia abilitata per un cluster.
gcloud dataproc clusters list \ --region=REGION
... NAME WORKER_COUNT ... SCHEDULED_DELETE CLUSTER_ID NUMBER ... enabled ...
Puoi utilizzare il comando gcloud dataproc clusters describe per controllare le impostazioni di eliminazione pianificata del cluster LifecycleConfig.
gcloud dataproc clusters describe CLUSTER_NAME \ --region=REGION
... lifecycleConfig: autoDeleteTime: '2018-11-28T19:33:48.146Z' idleDeleteTtl: 1800s idleStartTime: '2018-11-28T18:33:48.146Z' ...
autoDeleteTime e idleDeleteTtl sono i valori di configurazione dell'eliminazione pianificata impostati sul cluster.
Managed Service for Apache Spark genera il valore idleStartTime, che corrisponde all'ora di inizio dell'inattività del cluster più recente. Managed Service for Apache Spark elimina il cluster se rimane inattivo alle ore idleStartTime + idleDeleteTtl.
API REST
Puoi effettuare una richiesta clusters.list per confermare che l'eliminazione pianificata è abilitata per un cluster.