Planmäßiges Löschen von Clustern

Damit für einen inaktiven Cluster keine Cloud de Confiance-Gebühren anfallen, verwenden Sie beim Erstellen eines Clusters die Funktion zum geplanten Löschen von Managed Service for Apache Spark-Clustern. Diese Funktion bietet Optionen zum Löschen eines Clusters, wenn die folgenden Ereignisse eintreten:

Aktionen, die das geplante Löschen deaktivieren

Während ein Cluster ausgeführt wird, wird das geplante Löschen durch die folgenden Aktionen deaktiviert, bis die deaktivierende Aktion rückgängig gemacht wird:

Inaktivitätszeit des Clusters berechnen

Mit dem geplanten Löschen können Sie einen Cluster nach einer bestimmten Inaktivitätszeit löschen. Die Inaktivitätszeit wird berechnet, nachdem der Cluster erstellt und die Clusterbereitstellung abgeschlossen wurde. Die Berechnung der Inaktivitätszeit beginnt, wenn ein Cluster keine laufenden Jobs hat.

Die Clustereigenschaft dataproc:dataproc.cluster-ttl.consider-yarn-activity wirkt sich so auf die Berechnung der Cluster-Inaktivitätszeit aus:

  • Dieses Attribut ist standardmäßig aktiviert (auf true festgelegt).
  • Wenn dieses Attribut aktiviert ist, müssen sowohl die YARN- als auch die Dataproc Jobs API-Aktivitäten inaktiv sein, damit die Berechnung der Cluster-Inaktivitätszeit gestartet und fortgesetzt werden kann.
    • Die YARN-Aktivität umfasst ausstehende und laufende YARN-Anwendungen.
    • Die Dataproc Jobs API-Aktivität umfasst ausstehende und laufende Jobs, die an die Dataproc Jobs API gesendet wurden.
  • Wenn dieses Attribut auf false gesetzt ist, wird die Berechnung der Cluster-Inaktivitätszeit gestartet und nur fortgesetzt, wenn die Dataproc Jobs API inaktiv ist.

Das Attribut dataproc:dataproc.cluster-ttl.consider-yarn-activity gilt für Cluster, die mit Image-Versionen erstellt wurden, die am oder nach dem 1.4.64, 1.5.39, 2.0.13 und späteren Image-Versionen veröffentlicht wurden. Bei Clustern, die mit früheren Image-Versionen erstellt wurden, wird bei der Berechnung der Cluster-Inaktivitätszeit nur die Aktivität der Dataproc Jobs API berücksichtigt.

Planmäßiges Löschen von Clustern verwenden

Sie können Werte für das geplante Löschen festlegen, wenn Sie einen Cluster mit der Google Cloud CLI, der Dataproc API oder der Cloud de Confiance Console erstellen. Nachdem Sie den Cluster erstellt haben, können Sie ihn aktualisieren, um die zuvor für den Cluster festgelegten Werte für das geplante Löschen zu ändern oder zu löschen.

Cloud de Confiance Console

  1. Öffnen Sie die Seite Cluster erstellen.
  2. Wählen Sie unter Einstellungen für die Kostenkontrolle definieren die Option Optionale Aufbewahrungsrichtlinie zur Kostenkontrolle festlegen aus und legen Sie dann die Einstellungen für das geplante Löschen (oder den geplanten Stopp) fest.

gcloud-CLI

Sie können Werte für das geplante Löschen in einem Cluster erstellen oder aktualisieren, indem Sie die in der folgenden Tabelle aufgeführten Flags und Werte an die Befehle gcloud dataproc clusters create oder gcloud dataproc clusters update übergeben.

gcloud CLI-Flag Beschreibung Detaillierungsgrad der Werte Mindestwert Höchstwert
--delete-max-idle1 Gilt für Befehle zum Erstellen und Aktualisieren von Clustern. Die Dauer von dem Zeitpunkt, an dem der Cluster inaktiv wird, nachdem er erstellt oder aktualisiert wurde und einsatzbereit ist, bis zu dem Zeitpunkt, an dem der Cluster gelöscht wird. Geben Sie die Dauer im Format IntegerUnit an, wobei die Einheit „s, m, h, d“ (Sekunden, Minuten, Stunden, Tage) sein kann. Beispiel: „30m“: 30 Minuten ab dem Zeitpunkt, an dem der Cluster inaktiv wird. 1 Sekunde 5 Minuten 14 Tage
--no-delete-max-idle Gilt nur für den Befehl zum Aktualisieren des Clusters. Bricht das Löschen des Clusters durch die vorherige Einstellung des Flags delete-max-idle ab. Nicht zutreffend Nicht zutreffend Nicht zutreffend
--delete-expiration-time2 Gilt für Befehle zum Erstellen und Aktualisieren von Clustern. Der Zeitpunkt, zu dem mit dem Löschen des Clusters begonnen werden soll, im ISO 8601-Datums-/Uhrzeitformat. Zum Generieren des Datums/der Uhrzeit im richtigen Format können Sie den Zeitstempelgenerator verwenden. Beispiel: „2017-08-22T13:31:48-08:00“ gibt eine Ablaufzeit von 13:21:48 in der Zeitzone UTC -8:00 an.1 Sekunde 10 Minuten ab der aktuellen Uhrzeit 14 Tage ab der aktuellen Uhrzeit
--delete-max-age2 Gilt für Befehle zum Erstellen und Aktualisieren von Clustern. Die Dauer vom Zeitpunkt des Sendens der Anfrage zur Clustererstellung bis zum Zeitpunkt, an dem der Cluster gelöscht wird. Geben Sie die Dauer im Format IntegerUnit an, wobei die Einheit „s, m, h, d“ (Sekunden, Minuten, Stunden, Tage) sein kann. Beispiele: „30m“: 30 Minuten ab jetzt; „1d“: 1 Tag ab jetzt. 1 Sekunde 10 Minuten 14 Tage
--no-delete-max-age Gilt nur für den Befehl zum Aktualisieren des Clusters. Bricht das automatische Löschen des Clusters durch die vorherige Einstellung des Flags delete-max-age oder delete-expiration-time ab. Nicht zutreffend Nicht zutreffend Nicht zutreffend
Hinweise:
  1. Sie können das Flag delete-max-idle entweder mit dem Flag delete-expiration-time oder delete-max-age in Ihrer Anfrage zum Erstellen oder Aktualisieren des Clusters übergeben. Die erste Bedingung, die erfüllt ist, wird wirksam, um den Cluster zu löschen.
  2. Sie können entweder das Flag delete-expiration-time oder das Flag delete-max-age an den Befehl zum Erstellen oder Aktualisieren des Clusters übergeben, aber nicht beide.

Beispiel für die Clustererstellung:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --delete-max-idle=DURATION \
    --delete-expiration-time=TIME \
    ... other flags ...

Beispiel für ein Clusterupdate:

gcloud dataproc clusters update CLUSTER_NAME \
    --region=REGION \
    --delete-max-idle=DURATION \
    --no-delete-max-age \
    ... other flags

REST API

Sie können Werte für das geplante Löschen in einem Cluster erstellen oder aktualisieren, indem Sie die Felder und Werte der Dataproc API ClusterLifecycleConfig festlegen, die in der folgenden Tabelle als Teil einer Managed Service for Apache Spark-API-Anfrage cluster.create oder cluster.patch aufgeführt sind.

API-Feld Beschreibung Detaillierungsgrad der Werte Mindestwert Höchstwert
idleDeleteTtl1 Gilt für Befehle zum Erstellen und Aktualisieren von Clustern. Die Dauer von dem Zeitpunkt, an dem der Cluster inaktiv wird, nachdem er erstellt oder aktualisiert wurde und einsatzbereit ist, bis zu dem Zeitpunkt, an dem der Cluster gelöscht wird. Wenn Sie einen Cluster mit einem neuen Wert aktualisieren, muss der neue Wert größer als der zuvor festgelegte Wert sein. Geben Sie eine Dauer in Sekunden mit bis zu neun Nachkommastellen an, die mit „s“ endet. Beispiel: "3.5s". Senden Sie eine leere Dauer, um einen zuvor festgelegten idleDeleteTtl-Wert zu löschen. 1 Sekunde 5 Minuten 14 Tage
autoDeleteTime2 Gilt für Befehle zum Erstellen und Aktualisieren von Clustern. Die Zeit, zu der der Löschvorgang des Clusters startet. Wenn Sie einen Cluster mit einer neuen Zeit aktualisieren, muss die neue Zeit nach der zuvor festgelegten Zeit liegen. Wenn beim Aktualisieren ein leerer Wert für autoDeleteTime festgelegt wird, wird das vorhandene automatische Löschen abgebrochen.
Geben Sie einen Zeitstempel im Format RFC 3339 UTC „Zulu“ in Nanosekunden an. Beispiel: "2014-10-02T15:01:23.045123456Z".
1 Sekunde 10 Minuten ab der aktuellen Uhrzeit 14 Tage ab der aktuellen Uhrzeit
autoDeleteTtl2 Die Dauer vom Senden der Anfrage zum Erstellen oder Aktualisieren des Clusters bis zum Beginn des Löschens des Clusters. Beim Aktualisieren eines Clusters muss die neue geplante Löschzeit (Zeitpunkt der Aktualisierungsanfrage plus die neue Dauer) nach der zuvor festgelegten Clusterlöschzeit liegen. Reichen Sie einen leeren Wert ein, um einen zuvor festgelegten autoDeleteTtl-Wert zu löschen. Geben Sie eine Dauer in Sekunden mit bis zu neun Nachkommastellen und einem 's' an letzter Stelle an. Beispiel: "3.5s". 1 Sekunde 10 Minuten 14 Tage
Hinweise:
  1. Sie können sowohl idleDeleteTtl als auch entweder autoDeleteTime oder autoDeleteTtl in Ihrer Anfrage zum Erstellen oder Aktualisieren des Clusters festlegen oder aktualisieren. Die erste Bedingung, die erfüllt ist, wird zum Löschen des Clusters verwendet.
  2. Sie können in Ihrer Anfrage entweder autoDeleteTime oder autoDeleteTtl festlegen oder aktualisieren, aber nicht beides.

Clustereinstellungen für geplantes Löschen aufrufen

Cloud de Confiance Console

  • Sie können die Einstellungen für das geplante Löschen von Clustern aufrufen, indem Sie auf der Seite „Cluster“ für Managed Service for Apache Spark in der Cloud de Confiance Console den Clusternamen auswählen.
  • Wählen Sie auf der Detailseite des Clusters den Tab Konfiguration aus. Rufen Sie die Liste der Clusterkonfigurationen auf, um die Einstellungen für das geplante Löschen aufzurufen.

gcloud-CLI

Mit dem Befehl gcloud dataproc clusters list können Sie prüfen, ob für einen Cluster das geplante Löschen aktiviert ist.

 gcloud dataproc clusters list \
     --region=REGION
Beispielausgabe:
...
NAME         WORKER_COUNT ... SCHEDULED_DELETE
CLUSTER_ID   NUMBER       ... enabled
...

Mit dem Befehl gcloud dataproc clusters describe können Sie die Einstellungen für das geplante Löschen des Clusters LifecycleConfig prüfen.

gcloud dataproc clusters describe CLUSTER_NAME \
    --region=REGION
...
lifecycleConfig:
  autoDeleteTime: '2018-11-28T19:33:48.146Z'
  idleDeleteTtl: 1800s
  idleStartTime: '2018-11-28T18:33:48.146Z'
...

autoDeleteTime und idleDeleteTtl sind die Konfigurationswerte für das geplante Löschen, die für den Cluster festgelegt sind. Managed Service for Apache Spark generiert den Wert idleStartTime, der die letzte Startzeit des inaktiven Clusters ist. Managed Service for Apache Spark löscht den Cluster, wenn er bei idleStartTime + idleDeleteTtl inaktiv bleibt.

REST API

Sie können eine cluster.list-Anfrage senden, um zu bestätigen, dass die Funktion zum planmäßigen Löschen eines Clusters aktiviert ist.