In diesem Dokument werden Tools und Techniken beschrieben, mit denen Sie den Zustand und die Leistung von Managed Spark-Clustern und ‑Jobs überwachen können.
Open-Source-Weboberflächen
Viele Open-Source-Komponenten von Managed Service for Apache Spark-Clustern, z. B. Apache Hadoop und Apache Spark, bieten Weboberflächen. Diese Schnittstellen können verwendet werden, um Clusterressourcen und die Jobleistung zu überwachen. Sie können beispielsweise die YARN Resource Manager-Benutzeroberfläche verwenden, um die Ressourcenzuweisung für YARN-Anwendungen in einem Managed Service for Apache Spark-Cluster aufzurufen.
Persistent History Server
Open-Source-Weboberflächen, die auf einem Cluster ausgeführt werden, sind verfügbar, wenn der Cluster ausgeführt wird. Sie werden jedoch beendet, wenn Sie den Cluster löschen. Wenn Sie Cluster- und Jobdaten nach dem Löschen eines Clusters aufrufen möchten, können Sie einen Persistent History Server (PHS) erstellen.
Beispiel: Sie stoßen auf einen Jobfehler oder eine Verlangsamung, die Sie analysieren möchten. Sie beenden oder löschen den Jobcluster und rufen dann die Jobverlaufsdaten mit Ihrem PHS auf und analysieren sie.
Nachdem Sie einen PHS erstellt haben, aktivieren Sie ihn in einem Managed Service for Apache Spark-Cluster oder einer Managed Service for Apache Spark-Batcharbeitslast, wenn Sie den Cluster erstellen oder die Batcharbeitslast senden. Ein PHS kann auf Verlaufsdaten für Jobs zugreifen, die auf mehreren Clustern ausgeführt werden. So können Sie Jobs projektübergreifend überwachen, anstatt separate Benutzeroberflächen zu überwachen, die auf verschiedenen Clustern ausgeführt werden.
Managed Service for Apache Spark-Logs
Managed Service for Apache Spark erfasst die Logs, die von Apache Hadoop, Spark, Hive, ZooKeeper und anderen Open-Source-Systemen generiert werden, die in Ihren Clustern ausgeführt werden, und sendet sie an Logging. Diese Logs werden nach der Quelle der Logs gruppiert. So können Sie die für Sie interessanten Logs auswählen und ansehen. Beispielsweise werden YARN NodeManager- und Spark Executor-Logs, die in einem Cluster generiert werden, separat gekennzeichnet. Weitere Informationen zu den Inhalten und Optionen von Managed Service for Apache Spark-Logs finden Sie unter Managed Service for Apache Spark-Logs.
Cloud Logging
Logging ist ein vollständig verwaltetes Echtzeit-Logverwaltungssystem. Er bietet Speicher für Logs, die von Cloud de Confiance -Diensten aufgenommen wurden, sowie Tools zum Suchen, Filtern und Analysieren von Logs in großem Umfang. Managed Service for Apache Spark-Cluster generieren mehrere Logs, darunter Managed Service for Apache Spark-Dienst-Agent-Logs, Cluster-Startlogs und OSS-Komponentenlogs, z. B. YARN NodeManager-Logs.
Logging ist in Managed Service for Apache Spark-Clustern und Managed Service for Apache Spark-Batcharbeitslasten standardmäßig aktiviert. Logs werden regelmäßig nach Logging exportiert, wo sie auch nach dem Löschen des Clusters oder dem Abschluss der Arbeitslast erhalten bleiben.
Managed Service for Apache Spark-Messwerte
Managed Service for Apache Spark-Cluster- und Jobmesswerte mit dem Präfix dataproc.googleapis.com/ bestehen aus Zeitreihendaten, die Einblicke in die Leistung eines Clusters bieten, z. B. CPU-Auslastung oder Jobstatus. Benutzerdefinierte Messwerte für Managed Service for Apache Spark mit dem Präfix custom.googleapis.com/ umfassen Messwerte, die von Open-Source-Systemen ausgegeben werden, die im Cluster ausgeführt werden, z. B. der YARN-Messwert running applications. Wenn Sie sich einen Überblick über die Messwerte von Managed Service for Apache Spark verschaffen, können Sie Ihre Cluster effizient konfigurieren. Wenn Sie messwertbasierte Benachrichtigungen einrichten, können Sie Probleme schnell erkennen und darauf reagieren.
Cluster- und Jobmesswerte für Managed Service for Apache Spark werden standardmäßig kostenlos erfasst. Die Erfassung benutzerdefinierter Messwerte wird Kunden in Rechnung gestellt. Sie können die Erfassung benutzerdefinierter Messwerte aktivieren, wenn Sie einen Cluster erstellen. Die Erfassung von Spark-Messwerten für Managed Service for Apache Spark ist standardmäßig für Spark-Batcharbeitslasten aktiviert.
Cloud Monitoring
Monitoring verwendet Cluster-Metadaten und -Messwerte, einschließlich HDFS-, YARN-, Job- und Vorgangsmesswerten, um Einblick in den Zustand, die Leistung und die Verfügbarkeit von Managed Service for Apache Spark-Clustern und -Jobs zu bieten. Mit Monitoring können Sie Messwerte untersuchen, Diagramme hinzufügen, Dashboards erstellen und Benachrichtigungen einrichten.
Metrics Explorer
Mit dem Metrics Explorer können Sie Managed Service for Apache Spark-Messwerte aufrufen. Cluster-, Job- und Managed Service for Apache Spark-Batchmesswerte werden unter den Ressourcen Cloud Managed Service for Apache Spark Cluster, Cloud
Managed Service for Apache Spark Job und Cloud Managed Service for Apache Spark
Batch aufgeführt. Benutzerdefinierte Messwerte für Managed Service for Apache Spark sind unter der Ressource VM Instances, Kategorie Custom, aufgeführt.
Diagramme
Mit dem Metrics Explorer können Sie Diagramme erstellen, in denen Managed Service for Apache Spark-Messwerte visualisiert werden.
Beispiel: Sie erstellen ein Diagramm, um die Anzahl der aktiven Yarn-Anwendungen zu sehen, die auf Ihren Clustern ausgeführt werden. Anschließend fügen Sie einen Filter hinzu, um visualisierte Messwerte nach Clustername oder Region auszuwählen.
Dashboards
Sie können Dashboards erstellen, um Managed Service for Apache Spark-Cluster und -Jobs mithilfe von Messwerten aus mehreren Projekten und verschiedenen Cloud de Confiance -Produkten zu überwachen. Sie können Dashboards in der Cloud de Confiance Console auf der Seite Dashboard-Übersicht erstellen. Klicken Sie dazu auf der Seite Metrics Explorer auf ein Diagramm, erstellen Sie es und speichern Sie es dann.
Benachrichtigungen
Sie können Messwertbenachrichtigungen für Managed Service for Apache Spark erstellen, um rechtzeitig über Cluster- oder Jobprobleme informiert zu werden.