In diesem Dokument werden Tools und Techniken beschrieben, mit denen Sie den Zustand und die Leistung von Managed Spark-Clustern und -Jobs überwachen können.
Open-Source-Webschnittstellen
Viele Open-Source-Komponenten von Managed Service for Apache Spark-Clustern, z. B. Apache Hadoop und Apache Spark, bieten Weboberflächen. Mit diesen Schnittstellen können Sie Clusterressourcen und die Jobleistung überwachen. Sie können beispielsweise die YARN Resource Manager-UI verwenden, um die Ressourcenzuweisung für YARN-Anwendungen in einem Managed Service for Apache Spark-Cluster anzusehen.
Persistent History Server
Open-Source-Weboberflächen, die auf einem Cluster ausgeführt werden, sind verfügbar, solange der Cluster ausgeführt wird. Sie werden jedoch beendet, wenn Sie den Cluster löschen. Wenn Sie Cluster- und Jobdaten nach dem Löschen eines Clusters ansehen möchten, können Sie einen Persistent History Server (PHS) erstellen.
Beispiel: Sie stellen einen Jobfehler oder eine Verlangsamung fest, die Sie analysieren möchten. Sie beenden oder löschen den Jobcluster und rufen dann Jobverlaufsdaten über Ihren PHS auf und analysieren sie.
Nachdem Sie ein PHS erstellt haben, aktivieren Sie es in einem Managed Service for Apache Spark-Cluster oder einer Managed Service for Apache Spark-Batcharbeitslast, wenn Sie den Cluster erstellen oder die Batcharbeitslast senden. Ein PHS kann auf Verlaufsdaten für Jobs zugreifen, die in mehreren Clustern ausgeführt werden. So können Sie Jobs in einem Projekt überwachen, anstatt separate Benutzeroberflächen zu überwachen, die in verschiedenen Clustern ausgeführt werden.
Logs für Managed Service for Apache Spark
Managed Service for Apache Spark erfasst die Logs, die von Apache Hadoop, Spark, Hive, ZooKeeper und anderen Open-Source-Systemen generiert werden, die in Ihren Clustern ausgeführt werden, und sendet sie an Logging. Diese Logs werden nach der Quelle gruppiert. So können Sie die für Sie interessanten Logs auswählen und ansehen. YARN NodeManager- und Spark Executor-Logs, die in einem Cluster generiert werden, sind beispielsweise separat gekennzeichnet. Weitere Informationen zu den Log-Inhalten und ‑Optionen von Managed Service for Apache Spark finden Sie unter Managed Service for Apache Spark-Logs.
Cloud Logging
Logging ist ein vollständig verwaltetes System zur Logverwaltung in Echtzeit. Es bietet Speicher für Logs, die aus Cloud de Confiance Diensten aufgenommen werden, sowie Tools zum Suchen, Filtern und Analysieren von Logs im großen Maßstab. Für Managed Service for Apache Spark-Cluster werden mehrere Logs generiert, darunter Managed Service for Apache Spark-Dienst-Agent-Logs, Cluster-Start-Logs und OSS-Komponenten-Logs wie YARN NodeManager-Logs.
Die Protokollierung ist standardmäßig für Managed Service for Apache Spark-Cluster und Managed Service for Apache Spark-Batcharbeitslasten aktiviert. Logs werden regelmäßig in Logging exportiert, wo sie auch nach dem Löschen des Clusters oder dem Abschluss der Arbeitslast erhalten bleiben.
Messwerte für Managed Service for Apache Spark
Messwerte für Managed Service for Apache Spark-Cluster und ‑Jobs mit dem Präfix dataproc.googleapis.com/ bestehen aus Zeitreihendaten, die Aufschluss über die Leistung eines Clusters geben, z. B. die CPU-Auslastung oder den Jobstatus. Managed Service for Apache Spark-benutzerdefinierte Messwerte mit dem Präfix custom.googleapis.com/ umfassen Messwerte, die von Open-Source-Systemen ausgegeben werden, die im Cluster ausgeführt werden, z. B. der YARN-Messwert running applications. Wenn Sie sich einen Überblick über die Messwerte von Managed Service for Apache Spark verschaffen, können Sie Ihre Cluster effizient konfigurieren. Wenn Sie metrikbasierte Benachrichtigungen einrichten, können Sie Probleme schnell erkennen und darauf reagieren.
Messwerte für Managed Service for Apache Spark-Cluster und ‑Jobs werden standardmäßig kostenlos erfasst. Die Erfassung von benutzerdefinierten Messwerten wird Kunden in Rechnung gestellt. Sie können die Erfassung benutzerdefinierter Messwerte aktivieren, wenn Sie einen Cluster erstellen. Die Erfassung von Spark-Messwerten für Managed Service for Apache Spark ist für Spark-Batcharbeitslasten standardmäßig aktiviert.
Cloud Monitoring
Monitoring verwendet Clustermetadaten und -messwerte, einschließlich HDFS-, YARN-, Job- und Vorgangsmesswerten, um Einblick in den Zustand, die Leistung und die Verfügbarkeit von Managed Service for Apache Spark-Clustern und -Jobs zu geben. Mit Monitoring können Sie Messwerte untersuchen, Diagramme hinzufügen, Dashboards erstellen und Benachrichtigungen einrichten.
Metrics Explorer
Mit dem Metrics Explorer können Sie Messwerte für Managed Service for Apache Spark aufrufen. Messwerte für Managed Service for Apache Spark-Cluster, -Jobs und -Batches sind unter den Ressourcen Cloud Managed Service for Apache Spark Cluster, Cloud
Managed Service for Apache Spark Job und Cloud Managed Service for Apache Spark
Batch aufgeführt. Benutzerdefinierte Messwerte für Managed Service for Apache Spark werden unter der Ressource VM Instances, Kategorie Custom aufgeführt.
Diagramme
Mit dem Metrics Explorer können Sie Diagramme erstellen, in denen Messwerte für Managed Service for Apache Spark visualisiert werden.
Beispiel: Sie erstellen ein Diagramm, um die Anzahl der aktiven Yarn-Anwendungen zu sehen, die auf Ihren Clustern ausgeführt werden, und fügen dann einen Filter hinzu, um visualisierte Messwerte nach Clusternamen oder Region auszuwählen.
Dashboards
Sie können Dashboards erstellen, um Managed Service for Apache Spark-Cluster und -Jobs mithilfe von Messwerten aus mehreren Projekten und verschiedenen Cloud de Confiance Produkten zu überwachen. Sie können Dashboards in der Cloud de Confiance -Konsole auf der Seite Dashboard-Übersicht erstellen, indem Sie ein Diagramm auf der Seite Metrics Explorer anklicken, erstellen und dann speichern.
Benachrichtigungen
Sie können Benachrichtigungen für Managed Service for Apache Spark-Messwerte erstellen, um rechtzeitig über Cluster- oder Jobprobleme informiert zu werden.