Hyperdisks an Managed Service for Apache Spark-VMs anhängen

Auf dieser Seite wird beschrieben, wie Sie Hyperdisks an virtuelle Maschinen (VMs) in einem Managed Service for Apache Spark-Cluster anhängen. Sie können die Laufwerke für Master-, primäre Worker- und sekundäre Worker-Knotengruppen unabhängig voneinander konfigurieren. Diese Laufwerke werden zusätzlich zum Bootlaufwerk und allen lokalen SSDs, die an Clusterknoten angehängt sind, an Clusterknoten angehängt.

Hinweis

  1. In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Verify that you have the permissions required to complete this guide.

  3. Verify that billing is enabled for your Cloud de Confiance project.

  4. Enable the Managed Service for Apache Spark API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

Erforderliche Rollen

Für die Beispiele auf dieser Seite sind bestimmte IAM-Rollen erforderlich. Je nach Organisationsrichtlinien wurden diese Rollen möglicherweise bereits gewährt. Informationen zum Prüfen von Rollenzuweisungen finden Sie unter Müssen Sie Rollen zuweisen?.

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Nutzerrollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen eines Managed Service for Apache Spark-Clusters benötigen:

Dienstkontorolle

Bitten Sie Ihren Administrator, dem Compute Engine-Standarddienstkonto die IAM-Rolle Dataproc-Worker (roles/dataproc.worker) für das Projekt zuzuweisen, damit das Compute Engine-Standarddienstkonto die erforderlichen Berechtigungen zum Erstellen eines Managed Service for Apache Spark-Clusters hat.

Laufwerksmerkmale

Angehängte Laufwerke haben die folgenden Eigenschaften:

  • Lebenszyklus: Die Lebensdauer eines angehängten Laufwerks entspricht der Lebensdauer der VM, an die es angehängt ist. Managed Service for Apache Spark erstellt das Laufwerk, wenn die VM erstellt wird, und löscht das Laufwerk, wenn die VM gelöscht wird.
  • Unveränderlichkeit: Sie können die Attribute eines angehängten Laufwerks wie Größe, IOPS oder Durchsatz nach dem Erstellen des Clusters nicht mehr aktualisieren.
  • Bereitstellung und Verwendung: Managed Service for Apache Spark stellt Laufwerke unter /mnt/N bereit, wobei N eine positive Ganzzahl ist (z. B. /mnt/1, /mnt/2). HDFS- und Scratch-Daten wie Shuffle-Ausgaben verwenden die angehängten Laufwerke anstelle des nichtflüchtigen Bootlaufwerks.

Laufwerkkonfiguration

Sie können die folgenden Laufwerkskonfigurationsparameter angeben, wenn Sie Laufwerke an Managed Service for Apache Spark-Clusterknoten anhängen:

  • Laufwerkstyp (erforderlich): Der Typ des Laufwerks, das an VM-Instanzen angehängt werden soll. Die folgenden Hyperdisks werden unterstützt:

    • hyperdisk-balanced
    • hyperdisk-extreme
    • hyperdisk-ml
    • hyperdisk-throughput

    Der Typ hyperdisk balanced high availability und nichtflüchtige Speicher können nicht an Clusterknoten angehängt werden.

  • Größe (optional): Die Größe des Laufwerks. Der Wert muss eine ganze Zahl sein, gefolgt von GB für Gigabyte oder TB für Terabyte. Mit 10GB wird beispielsweise ein 10-Gigabyte-Laufwerk angehängt. Weitere Informationen finden Sie unter Größenbeschränkungen für Hyperdisks.

  • IOPs (optional): Gibt die IOPS an, die für das angehängte Laufwerk bereitgestellt werden sollen. Mit diesem Parameter wird das Limit für Laufwerks-E/A-Vorgänge pro Sekunde festgelegt. Weitere Informationen finden Sie unter Standardleistungsstufen.

  • Durchsatz (optional): Gibt den Durchsatz an, der für das angehängte Laufwerk bereitgestellt werden soll. Mit diesem Parameter wird das Limit für den Durchsatz in MiB pro Sekunde festgelegt. Weitere Informationen finden Sie unter Standardleistungsstufen.

Laufwerke an einen Cluster anhängen

Sie können Laufwerke anhängen, wenn Sie einen Managed Service for Apache Spark-Cluster erstellen. Verwenden Sie dazu die gcloud CLI oder die Dataproc API, um die Laufwerkskonfigurationen anzugeben.

gcloud-CLI

  • Wenn Sie beim Erstellen eines Clusters Laufwerke anhängen möchten, verwenden Sie das Flag --master-attached-disks, --worker-attached-disks oder --secondary-worker-attached-disks mit dem Befehl gcloud dataproc clusters create.

  • Jedes Flag akzeptiert eine Liste von Laufwerkskonfigurationen, die durch Semikolons getrennt sind. Jede Laufwerkskonfiguration ist eine durch Kommas getrennte Liste von Schlüssel/Wert-Paaren für type, size, iops und throughput (siehe Laufwerkskonfiguration).

Beispiel: Mit dem folgenden Befehl wird ein Cluster erstellt und jedem primären Worker-Knoten werden zwei Hyperdisks angehängt.

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --worker-attached-disks='type=hyperdisk-balanced,size=100GB,iops=5000,throughput=200;type=hyperdisk-throughput,size=9000GB'

API

  • Wenn Sie Laufwerke anhängen möchten, fügen Sie ein attachedDiskConfigs-Array in das diskConfig-Objekt für die Instanzgruppe masterConfig, workerConfig oder secondaryWorkerConfig ein.

  • Geben Sie die Konfiguration im Text einer clusters.create-API-Anfrage an.

Beispiel: Das folgende JSON-Snippet zeigt ein attachedDiskConfigs-Array, das zwei Hyperdisks anhängt.

[
  {
    "type": "hyperdisk-balanced",
    "diskSizeGb": 100,
    "provisionedIops": 5000,
    "provisionedThroughput": 200
  },
  {
    "type": "hyperdisk-throughput",
    "diskSizeGb": 9000
  }
]