Häufig gestellte Fragen zu Managed Service for Apache Spark in Clustern

Allgemein

Was ist Managed Service for Apache Spark?

Managed Service for Apache Spark ist ein schneller, nutzerfreundlicher, kostengünstiger und vollständig verwalteter Dienst, mit dem Sie das Apache Spark- und Apache Hadoop-Ökosystem in der Google Cloud Platform ausführen können. Managed Service for Apache Spark stellt große oder kleine Cluster schnell bereit, unterstützt viele gängige Jobtypen und ist in andere Google Cloud Platform-Dienste wie Cloud Storage und Cloud Logging eingebunden. So können Sie die Gesamtbetriebskosten senken.

Wie unterscheidet sich Managed Service for Apache Spark von herkömmlichen Hadoop-Clustern?

Managed Service for Apache Spark ist ein verwalteter Spark-/Hadoop-Dienst, der Spark und Hadoop einfach, schnell und leistungsstark machen soll. In einer herkömmlichen Hadoop-Bereitstellung, selbst in solchen, die Cloud-basiert sind, muss die Arbeit im Cluster installiert, konfiguriert, verwaltet und organisiert werden. Im Gegensatz dazu übernimmt Managed Service for Apache Spark die Clustererstellung, ‑verwaltung, ‑überwachung und Joborchestrierung für Sie.

Wie kann ich Managed Service for Apache Spark verwenden?

Es gibt verschiedene Möglichkeiten, einen Managed Service for Apache Spark-Cluster zu verwenden, je nach Ihren Anforderungen und Fähigkeiten. Sie können die browserbasierteCloud de Confiance console verwenden, um mit Managed Service for Apache Spark zu interagieren. Da Managed Service for Apache Spark in die Google Cloud CLI eingebunden ist, können Sie auch die Google Cloud CLI verwenden. Für den programmatischen Zugriff auf Cluster verwenden Sie die Managed Service for Apache Spark REST API. Sie können auch SSH-Verbindungen zu Master- oder Worker-Knoten im Cluster herstellen.

Wie funktioniert Managed Service for Apache Spark?

Managed Service for Apache Spark ist ein verwaltetes Framework, das auf der Google Cloud Platform ausgeführt wird und mehrere gängige Tools zur Datenverarbeitung miteinander verbindet, darunter Apache Hadoop, Spark, Hive und Pig. Managed Service for Apache Spark bietet eine Reihe von Steuerungs- und Integrationsmechanismen, die den Lebenszyklus, die Verwaltung und die Koordination von Clustern koordinieren. Managed Service for Apache Spark ist in den YARN-Anwendungsmanager eingebunden, um die Verwaltung und Verwendung Ihrer Cluster zu vereinfachen.

Welche Arten von Jobs kann ich ausführen?

Managed Service for Apache Spark bietet sofort einsatzbereite und umfassende Unterstützung für viele der gängigsten Jobtypen, darunter Spark-, Spark SQL-, PySpark-, MapReduce-, Hive- und Pig-Jobs.

Welchen Cluster-Manager verwendet Managed Service for Apache Spark mit Spark?

Managed Service for Apache Spark führt Spark auf YARN aus.

Wie oft werden die Komponenten in Managed Service for Apache Spark aktualisiert?

Managed Service for Apache Spark wird aktualisiert, wenn wichtige Releases in den zugrunde liegenden Komponenten (Hadoop, Spark, Hive, Pig) veröffentlicht werden. Jeder Managed Service for Apache Spark-Hauptrelease unterstützt bestimmte Versionen der einzelnen Komponenten (siehe Unterstützte Managed Service for Apache Spark-Versionen).

Ist Managed Service for Apache Spark in andere Google Cloud Platform-Produkte eingebunden?

Ja, Managed Service for Apache Spark bietet native und automatische Integrationen in Compute Engine, Cloud Storage, Bigtable, BigQuery, Logging und Cloud Monitoring. Darüber hinaus ist Managed Service for Apache Spark in Tools eingebunden, die mit der Cloud Platform interagieren, einschließlich der gcloud CLI und der Cloud de Confiance console.

Kann ich einen persistenten Cluster ausführen?

Managed Service for Apache Spark-Cluster werden nach dem Start so lange ausgeführt, bis sie heruntergefahren werden. Sie können einen Managed Service for Apache Spark-Cluster so lange ausführen, wie Sie ihn benötigen.

Clusterverwaltung

Kann ich mehrere Cluster gleichzeitig ausführen?

Ja, Sie können mehrere Managed Service for Apache Spark-Cluster pro Projekt gleichzeitig ausführen. Standardmäßig unterliegen alle Projekte Google Cloud-Ressourcenkontingenten. Sie können aber auf einfache Weise die Nutzung Ihres Kontingents prüfen und eine Erhöhung anfordern. Weitere Informationen finden Sie unter Ressourcenkontingente für Managed Service for Apache Spark.

Wie kann ich einen Cluster erstellen oder löschen?

Es gibt verschiedene Möglichkeiten, um Cluster zu erstellen und zu löschen. In den Managed Service for Apache Spark-Abschnitten in der Cloud de Confiance console können Sie Cluster ganz einfach über Ihren Browser verwalten. Cluster können auch über die Befehlszeile mit der gcloud CLI verwaltet werden. Für komplexere oder erweiterte Anwendungsfälle kann die REST API von Cloud Managed Service for Apache Spark verwendet werden, um Cluster programmatisch zu verwalten.

Kann ich beim Erstellen eines Clusters benutzerdefinierte Einstellungen vornehmen?

Managed Service for Apache Spark unterstützt Initialisierungsaktionen, die beim Erstellen eines Clusters ausgeführt werden. Diese Initialisierungsaktionen können Skripts oder ausführbare Dateien sein, die Managed Service for Apache Spark bei der Bereitstellung des Clusters ausführt, um Einstellungen anzupassen, Anwendungen zu installieren oder sonstige Änderungen am Cluster vorzunehmen.

Wie kann ich die Größe des Clusters an meine Anforderungen anpassen?

Entscheidungen bezüglich der Clustergröße hängen von verschiedenen Faktoren wie auszuführende Aufgaben, Kostenbeschränkungen, Geschwindigkeitsanforderungen und Ressourcenkontingente ab. Da Managed Service for Apache Spark auf einer Vielzahl von Maschinentypen bereitgestellt werden kann, haben Sie die Flexibilität, die benötigten Ressourcen genau dann auszuwählen, wenn Sie sie benötigen.

Kann ich die Größe des Clusters anpassen?

Ja, die Größe des Clusters lässt sich auch während der Jobverarbeitung mühelos anpassen. Sie können die Größe Ihres Clusters über die Cloud de Confiance console oder über die Befehlszeile ändern. Durch die Anpassung der Größe erhöht bzw. verringert sich die Anzahl der Worker im Cluster möglicherweise. Einem Cluster hinzugefügte Worker haben den gleichen Typ und die gleiche Größe wie bestehende Worker. Die Anpassung der Clustergröße wird bis auf Ausnahmen wie die Folgenden akzeptiert und unterstützt: Reduzieren der Anzahl der Worker auf "1" oder Reduzieren der HDFS-Kapazität auf einen Wert, der unterhalb des für den Abschluss des Jobs erforderlichen Betrags liegt.

Job- und Workflow-Verwaltung

Wie kann ich Jobs im Cluster senden?

Es gibt mehrere Möglichkeiten, Jobs in einem Managed Service for Apache Spark-Cluster einzureichen. Am einfachsten ist es, die Seite Job senden von Managed Service for Apache Spark in der Cloud de Confiance Console oder den gcloud CLI-Befehl gcloud dataproc jobs submit zu verwenden. Informationen zur programmatischen Jobübermittlung finden Sie in der Dataproc API-Referenz.

Kann ich mehrere Jobs gleichzeitig ausführen?

Ja, Sie können mehrere Jobs gleichzeitig in einem Managed Service for Apache Spark-Cluster ausführen. Cloud Managed Service for Apache Spark verwendet einen Ressourcenmanager (YARN) und anwendungsspezifische Konfigurationen, z. B. die Skalierung mit Spark, um die Ressourcennutzung in einem Cluster zu optimieren. Die Skalierung der Jobleistung erfolgt entsprechend der Clustergröße und Anzahl aktiver Jobs.

Kann ich im Cluster ausgeführte Jobs abbrechen?

Auf jeden Fall. Jobs können über die Cloud de Confiance console-Weboberfläche oder die Befehlszeile abgebrochen werden. Managed Service for Apache Spark verwendet den Abbruch von YARN-Anwendungen, um Jobs auf Anfrage zu beenden.

Kann ich Jobs im Cluster automatisieren?

Es gibt verschiedene Möglichkeiten, um Jobs so einzustellen, dass sie automatisch auf dem Cluster ausgeführt werden. Sie können die gcloud CLI Google Cloud CLI oder die REST APIs von Managed Service for Apache Spark verwenden, um die Verwaltung und den Workflow von Clustern und Jobs zu automatisieren.

Entwicklung

Welche Entwicklungssprachen werden unterstützt?

Sie können die von Spark/Hadoop unterstützten Sprachen wie Java, Scala, Python und R verwenden.

Hat Managed Service for Apache Spark eine API?

Ja, Managed Service for Apache Spark bietet eine Reihe von RESTful APIs, mit denen Sie programmatisch mit Clustern und Jobs interagieren können.

Kann ich eine SSH-Verbindung zum Cluster herstellen?

Ja, Sie können eine SSH-Verbindung zu jeder Maschine (Master- oder Worker-Knoten) in einem Cluster herstellen. Sie können eine SSH-Verbindung über einen Browser oder die Befehlszeile herstellen.

Habe ich Zugriff auf die Webbenutzeroberflächen von Hadoop/Spark?

Ja, die Hadoop- und Spark-Benutzeroberflächen (Spark, Hadoop, YARN) können über einen Cluster aufgerufen werden. Statt Ports für die Weboberflächen zu öffnen, empfehlen wir die Verwendung eines SSH-Tunnels, der den Traffic sicher vom Cluster über die SSH-Verbindung weiterleitet.

Kann ich Software auf dem Cluster installieren oder verwenden?

Ja, wie bei einem Hadoop-Cluster oder -Server können Sie Software auf einem Managed Service for Apache Spark-Cluster installieren und verwalten.

Wie lautet der Standard-Replikationsfaktor?

Aus Leistungsgründen und aufgrund der hohen Zuverlässigkeit des Speichers, der an Managed Service for Apache Spark-Cluster angehängt ist, ist der Standardreplikationsfaktor auf 2 festgelegt.

Welches Betriebssystem wird für Managed Service for Apache Spark verwendet?

Managed Service for Apache Spark basiert auf Debian und Ubuntu. Die neuesten Images basieren auf Debian 10 Buster und Ubuntu 18.04 LTS.

Wo erhalte ich Informationen über Hadoop-Streaming?

Lesen Sie die Projektdokumentation zu Apache (nur auf Englisch verfübar).

Wie installiere ich den Befehl "gcloud dataproc"?

Wenn Sie die gcloud CLI installieren, wird das Standard-gcloud-Befehlszeilentool installiert, einschließlich der gcloud dataproc-Befehle.

Datenzugriff und -verfügbarkeit

Wie kann ich Daten einem Cluster hinzufügen und daraus entfernen?

Managed Service for Apache Spark verwendet das Hadoop Distributed File System (HDFS) für die Speicherung. Außerdem installiert Managed Service for Apache Spark automatisch den HDFS-kompatiblen Google Cloud Storage-Connector, mit dem Cloud Storage parallel zu HDFS verwendet werden kann. Daten können dem Cluster über die Upload-/Download-Funktion in HDFS oder Cloud Storage hinzugefügt bzw. daraus entfernt werden.

Kann ich Cloud Storage mit Dataproc verwenden?

Ja, Managed Service for Apache Spark-Cluster installieren den Cloud Storage-Connector automatisch. Die Verwendung von Cloud Storage statt des herkömmlichen HDFS bietet eine Vielzahl von Vorteilen, u. a. erhöhte Datenpersistenz, Zuverlässigkeit und Leistung.

Gibt es einen Support für den Cloud Storage-Connector?

Ja, wenn der Cloud Storage-Connector mit Managed Service for Apache Spark verwendet wird, wird er auf derselben Ebene wie Managed Service for Apache Spark unterstützt (siehe Support erhalten). Alle Connector-Nutzer können das Tag google-cloud-dataproc auf Stack Overflow für Fragen und Antworten zum Connector verwenden.

Was ist die ideale Dateigröße für Datasets in HDFS und Cloud Storage?

Zur Verbesserung der Leistung sollten Sie Daten in größeren Dateien speichern, z. B. in Dateien mit einer Größe von 256 MB bis 512 MB.

Wie zuverlässig ist Managed Service for Apache Spark?

Da Managed Service for Apache Spark auf zuverlässigen und bewährten Google Cloud Platform-Technologien wie Compute Engine, Cloud Storage und Monitoring basiert, ist es auf Hochverfügbarkeit und Zuverlässigkeit ausgelegt. Da es sich um ein allgemein verfügbares Produkt handelt, können Sie das SLA für Managed Service for Apache Spark einsehen.

Was geschieht mit meinen Daten, wenn ein Cluster heruntergefahren wird?

Alle in Cloud Storage gespeicherten Daten werden beibehalten, nachdem der Cluster heruntergefahren wurde. Dies ist einer der Gründe, die für Cloud Storage gegenüber HDFS sprechen, da HDFS-Daten beim Herunterfahren des Clusters entfernt werden. (Es sei denn, der Cluster wird vor dem Herunterfahren an einen nichtflüchtigen Speicherort übertragen.)

Logging, Monitoring und Fehlerbehebung

Welche Arten von Logging und Monitoring sind verfügbar?

Managed Service for Apache Spark-Cluster sind standardmäßig in Monitoring und Logging eingebunden. Mit Monitoring und Logging erhalten Sie ganz einfach detaillierte Informationen zum Zustand, zur Leistung und zum Status Ihrer Managed Service for Apache Spark-Cluster. Sowohl Anwendungs- (YARN, Spark usw.) als auch Systemprotokolle werden an Logging weitergeleitet.

Wie kann ich Logs von Managed Service for Apache Spark ansehen?

Sie können Logs von Managed Service for Apache Spark auf verschiedene Weise aufrufen. Wechseln Sie zu Logging, um zusammengefasste Clusterlogs in einem Webbrowser anzuzeigen. Darüber hinaus können Sie die Befehlszeile (SSH) verwenden, um Logs manuell anzuzeigen oder die Ausgabe der Anwendungen zu überwachen. Schließlich sind Details auch über die Web-UIs der Hadoop-Anwendung verfügbar, z. B. über die YARN-Weboberfläche.

Wie können Cluster überwacht werden?

Cluster können ganz einfach über Monitoring oder den Abschnitt „Cloud Managed Service for Apache Spark“ der Cloud de Confiance consoleüberwacht werden. Sie können Ihre Cluster auch über den Befehlszeilenzugriff (SSH) oder die Weboberflächen der Anwendungen (Spark, YARN usw.) überwachen.

Sicherheit und Zugriff

Wie werden meine Daten gesichert?

Die Google Cloud Platform verwendet ein umfassendes Sicherheitsmodell, das auch für Cloud Managed Service for Apache Spark gilt. Managed Service for Apache Spark bietet Authentifizierungs-, Autorisierungs- und Verschlüsselungsmechanismen wie SSL, um Daten zu schützen. Daten können vom Nutzer bei der Clustererstellung und Jobübermittlung auf dem Weg zum und vom Cluster verschlüsselt werden.

Wie kann ich den Zugriff auf meinen Managed Service for Apache Spark-Cluster steuern?

Google Cloud Platform bietet Authentifizierungsmechanismen, die mit Managed Service for Apache Spark verwendet werden können. Der Zugriff auf Managed Service for Apache Spark-Cluster und -Jobs kann Nutzern auf Projektebene gewährt werden.

Abrechnung

Wie wird Managed Service for Apache Spark abgerechnet?

Managed Service for Apache Spark wird sekundengenau abgerechnet und basiert auf der Größe eines Clusters und der Dauer, für die der Cluster betriebsbereit ist. Bei der Berechnung der Clusterkomponente der Gebühr berechnet Managed Service for Apache Spark eine Pauschalgebühr, die auf der Anzahl der virtuellen CPUs (vCPUs) in einem Cluster basiert. Diese Pauschalgebühr ist unabhängig vom verwendeten Maschinentyp oder der Größe der Compute Engine-Ressourcen immer gleich.

Wird die Nutzung anderer Google Cloud-Ressourcen berechnet?

Ja, für die Ausführung eines Managed Service for Apache Spark-Clusters fallen Gebühren für andere im Cluster verwendete Google Cloud-Ressourcen wie Compute Engine und Cloud Storage an. Jedes Element wird in der Rechnung einzeln aufgeführt, sodass Sie genau nachvollziehen können, wie die Kosten berechnet und zugeordnet wurden.

Gibt es einen Mindest- oder Höchstzeitraum für die Abrechnung?

Google Cloud-Gebühren werden pro Sekunde, nicht pro Stunde berechnet. Derzeit besteht für Compute Engine eine Mindestabrechnungseinheit von einer Minute. Daher gilt für Managed Service for Apache Spark auch eine Mindestabrechnungseinheit von 1 Minute.

Verfügbarkeit

Wer kann einen Managed Service for Apache Spark-Cluster erstellen?

Managed Service for Apache Spark ist allgemein verfügbar, d. h. alle Google Cloud Platform-Kunden können ihn verwenden.

In welchen Regionen ist Managed Service for Apache Spark verfügbar?

Managed Service for Apache Spark ist in allen Regionen und Zonen der Google Cloud Platform verfügbar.