Hadoop-Datenspeicher

Mit Managed Service for Apache Spark können Sie Arbeitslastdaten mithilfe des Hadoop Distributed File System (HDFS) und Cloud Storage parallel speichern und verarbeiten. Mit dem vorinstallierten Cloud Storage-Connector können Sie Daten in Ihre Cluster und aus Ihren Clustern übertragen und gleichzeitig den zugrunde liegenden VM-Laufwerkspeicher an die Leistungsanforderungen Ihrer Jobs anpassen.

Speicheroptionen und Überlegungen

Die folgenden Features und Überlegungen können bei der Auswahl von Compute- und Datenspeicheroptionen für Managed Service for Apache Spark-Cluster und -Jobs wichtig sein:

  • HDFS mit Cloud Storage: Managed Service for Apache Spark verwendet das Hadoop Distributed File System (HDFS) für die Speicherung. Außerdem wird in Managed Service for Apache Spark automatisch der HDFS-kompatible Cloud Storage-Connector installiert, mit dem Cloud Storage parallel zu HDFS verwendet werden kann. Daten können durch Upload und Download in HDFS oder Cloud Storage in einen Cluster und aus einem Cluster verschoben werden.
  • VM-Laufwerke:
    • Wenn keine lokalen SSDs bereitgestellt werden, werden HDFS-Daten und Zwischen-Shuffle-Daten standardmäßig auf VM-Bootlaufwerken gespeichert. Dies sind nichtflüchtige Speicher.
    • Wenn Sie lokale SSDs verwenden, werden HDFS-Daten und Zwischen-Shuffle-Daten auf den SSDs gespeichert.
    • Die Größe und der Typ des nichtflüchtigen Speichers (Persistent Disk, PD) wirken sich auf die Leistung und die VM-Größe aus, unabhängig davon, ob HDFS oder Cloud Storage für die Datenspeicherung verwendet wird.
    • VM-Bootlaufwerke werden gelöscht, wenn der Cluster gelöscht wird.