Damit für einen inaktiven Cluster keine Cloud de Confiance-Gebühren anfallen, verwenden Sie beim Erstellen eines Clusters die Funktion zum geplanten Löschen von Managed Service for Apache Spark-Clustern. Diese Funktion bietet Optionen zum Löschen eines Clusters, wenn die folgenden Ereignisse eintreten:
- nach einer bestimmten Zeit der Inaktivität des Clusters
- Zu einem bestimmten zukünftigen Zeitpunkt
- Nach einem bestimmten Zeitraum, der mit dem Senden der Anfrage zur Clustererstellung beginnt
Aktionen, die das geplante Löschen deaktivieren
Während ein Cluster ausgeführt wird, wird das geplante Löschen durch die folgenden Aktionen deaktiviert, bis die deaktivierende Aktion rückgängig gemacht wird:
- Entfernen der IAM-Rolle Managed Service for Apache Spark-Dienst-Agent für das Dataproc-Dienst-Agent-Dienstkonto
- Dataproc API im Clusterprojekt deaktivieren
- Löschschutz für Compute Engine-VMs auf einer Cluster-VM mit geplanter Löschung aktivieren
- VPC Service Controls aktivieren, wenn sich das Dienstkonto des Managed Service for Apache Spark-Dienst-Agents (Identität der Steuerungsebene) nicht innerhalb der Perimetergrenze befindet
Inaktivitätszeit des Clusters berechnen
Mit dem geplanten Löschen können Sie einen Cluster nach einer bestimmten Inaktivitätszeit löschen. Die Inaktivitätszeit wird berechnet, nachdem der Cluster erstellt und die Clusterbereitstellung abgeschlossen wurde. Die Berechnung der Inaktivitätszeit beginnt, wenn ein Cluster keine laufenden Jobs hat.
Die Clustereigenschaft dataproc:dataproc.cluster-ttl.consider-yarn-activity wirkt sich so auf die Berechnung der Cluster-Inaktivitätszeit aus:
- Dieses Attribut ist standardmäßig aktiviert (auf
truefestgelegt). - Wenn dieses Attribut aktiviert ist, müssen sowohl die YARN- als auch die Dataproc Jobs API-Aktivitäten inaktiv sein, damit die Berechnung der Cluster-Inaktivitätszeit gestartet und fortgesetzt werden kann.
- Die YARN-Aktivität umfasst ausstehende und laufende YARN-Anwendungen.
- Die Dataproc Jobs API-Aktivität umfasst ausstehende und laufende Jobs, die an die Dataproc Jobs API gesendet wurden.
- Wenn dieses Attribut auf
falsegesetzt ist, wird die Berechnung der Cluster-Inaktivitätszeit gestartet und nur fortgesetzt, wenn die Dataproc Jobs API inaktiv ist.
Das Attribut dataproc:dataproc.cluster-ttl.consider-yarn-activity gilt für Cluster, die mit Image-Versionen erstellt wurden, die am oder nach dem 1.4.64, 1.5.39, 2.0.13 und späteren Image-Versionen veröffentlicht wurden. Bei Clustern, die mit früheren Image-Versionen erstellt wurden, wird bei der Berechnung der Cluster-Inaktivitätszeit nur die Aktivität der Dataproc Jobs API berücksichtigt.
Planmäßiges Löschen von Clustern verwenden
Sie können Werte für das geplante Löschen festlegen, wenn Sie einen Cluster mit der Google Cloud CLI, der Dataproc API oder der Cloud de Confiance Console erstellen. Nachdem Sie den Cluster erstellt haben, können Sie ihn aktualisieren, um die zuvor für den Cluster festgelegten Werte für das geplante Löschen zu ändern oder zu löschen.
Cloud de Confiance Console
- Öffnen Sie die Seite Cluster erstellen.
- Wählen Sie unter Einstellungen für die Kostenkontrolle definieren die Option Optionale Aufbewahrungsrichtlinie zur Kostenkontrolle festlegen aus und legen Sie dann die Einstellungen für das geplante Löschen (oder den geplanten Stopp) fest.
gcloud-CLI
Sie können Werte für das geplante Löschen in einem Cluster erstellen oder aktualisieren, indem Sie die in der folgenden Tabelle aufgeführten Flags und Werte an die Befehle gcloud dataproc clusters create oder gcloud dataproc clusters update übergeben.
| gcloud CLI-Flag | Beschreibung | Detaillierungsgrad der Werte | Mindestwert | Höchstwert |
|---|---|---|---|---|
--delete-max-idle1 |
Gilt für Befehle zum Erstellen und Aktualisieren von Clustern.
Die Dauer von dem Zeitpunkt, an dem der Cluster inaktiv wird, nachdem er erstellt oder aktualisiert wurde und einsatzbereit ist, bis zu dem Zeitpunkt, an dem der Cluster gelöscht wird. Geben Sie die Dauer im Format IntegerUnit an, wobei die Einheit „s, m, h, d“ (Sekunden, Minuten, Stunden, Tage) sein kann. Beispiel: „30m“: 30 Minuten ab dem Zeitpunkt, an dem der Cluster inaktiv wird. |
1 Sekunde | 5 Minuten | 14 Tage |
--no-delete-max-idle |
Gilt nur für den Befehl zum Aktualisieren des Clusters.
Bricht das Löschen des Clusters durch die vorherige Einstellung des Flags delete-max-idle ab. |
Nicht zutreffend | Nicht zutreffend | Nicht zutreffend |
--delete-expiration-time2 |
Gilt für Befehle zum Erstellen und Aktualisieren von Clustern. Der Zeitpunkt, zu dem mit dem Löschen des Clusters begonnen werden soll, im ISO 8601-Datums-/Uhrzeitformat. Zum Generieren des Datums/der Uhrzeit im richtigen Format können Sie den Zeitstempelgenerator verwenden. Beispiel: „2017-08-22T13:31:48-08:00“ gibt eine Ablaufzeit von 13:21:48 in der Zeitzone UTC -8:00 an. | 1 Sekunde | 10 Minuten ab der aktuellen Uhrzeit | 14 Tage ab der aktuellen Uhrzeit |
--delete-max-age2 |
Gilt für Befehle zum Erstellen und Aktualisieren von Clustern.
Die Dauer vom Zeitpunkt des Sendens der Anfrage zur Clustererstellung bis zum Zeitpunkt, an dem der Cluster gelöscht wird. Geben Sie die Dauer im Format IntegerUnit an, wobei die Einheit „s, m, h, d“ (Sekunden, Minuten, Stunden, Tage) sein kann. Beispiele: „30m“: 30 Minuten ab jetzt; „1d“: 1 Tag ab jetzt. |
1 Sekunde | 10 Minuten | 14 Tage |
--no-delete-max-age |
Gilt nur für den Befehl zum Aktualisieren des Clusters.
Bricht das automatische Löschen des Clusters durch die vorherige Einstellung des Flags delete-max-age oder delete-expiration-time ab. |
Nicht zutreffend | Nicht zutreffend | Nicht zutreffend |
- Sie können das Flag
delete-max-idleentweder mit dem Flagdelete-expiration-timeoderdelete-max-agein Ihrer Anfrage zum Erstellen oder Aktualisieren des Clusters übergeben. Die erste Bedingung, die erfüllt ist, wird wirksam, um den Cluster zu löschen. - Sie können entweder das Flag
delete-expiration-timeoder das Flagdelete-max-agean den Befehl zum Erstellen oder Aktualisieren des Clusters übergeben, aber nicht beide.
Beispiel für die Clustererstellung:
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --delete-max-idle=DURATION \ --delete-expiration-time=TIME \ ... other flags ...
Beispiel für ein Clusterupdate:
gcloud dataproc clusters update CLUSTER_NAME \ --region=REGION \ --delete-max-idle=DURATION \ --no-delete-max-age \ ... other flags
REST API
Sie können Werte für das geplante Löschen in einem Cluster erstellen oder aktualisieren, indem Sie die Felder und Werte der Dataproc API ClusterLifecycleConfig festlegen, die in der folgenden Tabelle als Teil einer Managed Service for Apache Spark-API-Anfrage cluster.create oder cluster.patch aufgeführt sind.
| API-Feld | Beschreibung | Detaillierungsgrad der Werte | Mindestwert | Höchstwert |
|---|---|---|---|---|
idleDeleteTtl1 |
Gilt für Befehle zum Erstellen und Aktualisieren von Clustern.
Die Dauer von dem Zeitpunkt, an dem der Cluster inaktiv wird, nachdem er erstellt oder aktualisiert wurde und einsatzbereit ist, bis zu dem Zeitpunkt, an dem der Cluster gelöscht wird. Wenn Sie einen Cluster mit einem neuen Wert aktualisieren, muss der neue Wert größer als der zuvor festgelegte Wert sein.
Geben Sie eine Dauer in Sekunden mit bis zu neun Nachkommastellen an, die mit „s“ endet. Beispiel: "3.5s".
Senden Sie eine leere Dauer, um einen zuvor festgelegten idleDeleteTtl-Wert zu löschen. |
1 Sekunde | 5 Minuten | 14 Tage |
autoDeleteTime2 |
Gilt für Befehle zum Erstellen und Aktualisieren von Clustern.
Die Zeit, zu der der Löschvorgang des Clusters startet. Wenn Sie einen Cluster mit einer neuen Zeit aktualisieren, muss die neue Zeit nach der zuvor festgelegten Zeit liegen. Wenn beim Aktualisieren ein leerer Wert für autoDeleteTime festgelegt wird, wird das vorhandene automatische Löschen abgebrochen.Geben Sie einen Zeitstempel im Format RFC 3339 UTC „Zulu“ in Nanosekunden an. Beispiel: "2014-10-02T15:01:23.045123456Z". |
1 Sekunde | 10 Minuten ab der aktuellen Uhrzeit | 14 Tage ab der aktuellen Uhrzeit |
autoDeleteTtl2 |
Die Dauer vom Senden der Anfrage zum Erstellen oder Aktualisieren des Clusters bis zum Beginn des Löschens des Clusters. Beim Aktualisieren eines Clusters muss die neue geplante Löschzeit (Zeitpunkt der Aktualisierungsanfrage plus die neue Dauer) nach der zuvor festgelegten Clusterlöschzeit liegen. Reichen Sie einen leeren Wert ein, um einen zuvor festgelegten autoDeleteTtl-Wert zu löschen.
Geben Sie eine Dauer in Sekunden mit bis zu neun Nachkommastellen und einem 's' an letzter Stelle an.
Beispiel: "3.5s". |
1 Sekunde | 10 Minuten | 14 Tage |
- Sie können sowohl
idleDeleteTtlals auch entwederautoDeleteTimeoderautoDeleteTtlin Ihrer Anfrage zum Erstellen oder Aktualisieren des Clusters festlegen oder aktualisieren. Die erste Bedingung, die erfüllt ist, wird zum Löschen des Clusters verwendet. - Sie können in Ihrer Anfrage entweder
autoDeleteTimeoderautoDeleteTtlfestlegen oder aktualisieren, aber nicht beides.
Clustereinstellungen für geplantes Löschen aufrufen
Cloud de Confiance Console
- Sie können die Einstellungen für das geplante Löschen von Clustern aufrufen, indem Sie auf der Seite „Cluster“ für Managed Service for Apache Spark in der Cloud de Confiance Console den Clusternamen auswählen.
- Wählen Sie auf der Detailseite des Clusters den Tab Konfiguration aus. Rufen Sie die Liste der Clusterkonfigurationen auf, um die Einstellungen für das geplante Löschen aufzurufen.
gcloud-CLI
Mit dem Befehl gcloud dataproc clusters list können Sie prüfen, ob für einen Cluster das geplante Löschen aktiviert ist.
gcloud dataproc clusters list \ --region=REGION
... NAME WORKER_COUNT ... SCHEDULED_DELETE CLUSTER_ID NUMBER ... enabled ...
Mit dem Befehl gcloud dataproc clusters describe können Sie die Einstellungen für das geplante Löschen des Clusters LifecycleConfig prüfen.
gcloud dataproc clusters describe CLUSTER_NAME \ --region=REGION
... lifecycleConfig: autoDeleteTime: '2018-11-28T19:33:48.146Z' idleDeleteTtl: 1800s idleStartTime: '2018-11-28T18:33:48.146Z' ...
autoDeleteTime und idleDeleteTtl sind die Konfigurationswerte für das geplante Löschen, die für den Cluster festgelegt sind.
Managed Service for Apache Spark generiert den Wert idleStartTime, der die letzte Startzeit des inaktiven Clusters ist. Managed Service for Apache Spark löscht den Cluster, wenn er bei idleStartTime + idleDeleteTtl inaktiv bleibt.
REST API
Sie können eine cluster.list-Anfrage senden, um zu bestätigen, dass die Funktion zum planmäßigen Löschen eines Clusters aktiviert ist.