Auf dieser Seite wird beschrieben, wie Sie Hyperdisks an virtuelle Maschinen (VMs) in einem Managed Service for Apache Spark-Cluster anhängen. Sie können die Laufwerke für Master-, primäre Worker- und sekundäre Worker-Knotengruppen unabhängig voneinander konfigurieren. Diese Laufwerke werden zusätzlich zum Bootlaufwerk und allen lokalen SSDs, die an Clusterknoten angehängt sind, an Clusterknoten angehängt.
Hinweis
-
In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that you have the permissions required to complete this guide.
-
Verify that billing is enabled for your Cloud de Confiance project.
Enable the Managed Service for Apache Spark API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.
Erforderliche Rollen
Für die Beispiele auf dieser Seite sind bestimmte IAM-Rollen erforderlich. Je nach Organisationsrichtlinien wurden diese Rollen möglicherweise bereits gewährt. Informationen zum Prüfen von Rollenzuweisungen finden Sie unter Müssen Sie Rollen zuweisen?.
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Nutzerrollen
Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen eines Managed Service for Apache Spark-Clusters benötigen:
- Dataproc-Bearbeiter (
roles/dataproc.editor) für das Projekt - Dienstkontonutzer (
roles/iam.serviceAccountUser) für das Compute Engine-Standarddienstkonto
Dienstkontorolle
Bitten Sie Ihren Administrator, dem Compute Engine-Standarddienstkonto die IAM-Rolle Dataproc-Worker (roles/dataproc.worker) für das Projekt zuzuweisen, damit das Compute Engine-Standarddienstkonto die erforderlichen Berechtigungen zum Erstellen eines Managed Service for Apache Spark-Clusters hat.
Laufwerksmerkmale
Angehängte Laufwerke haben die folgenden Eigenschaften:
- Lebenszyklus: Die Lebensdauer eines angehängten Laufwerks entspricht der Lebensdauer der VM, an die es angehängt ist. Managed Service for Apache Spark erstellt das Laufwerk, wenn die VM erstellt wird, und löscht das Laufwerk, wenn die VM gelöscht wird.
- Unveränderlichkeit: Sie können die Attribute eines angehängten Laufwerks wie Größe, IOPS oder Durchsatz nach dem Erstellen des Clusters nicht mehr aktualisieren.
- Bereitstellung und Verwendung: Managed Service for Apache Spark stellt Laufwerke unter
/mnt/Nbereit, wobeiNeine positive Ganzzahl ist (z. B./mnt/1,/mnt/2). HDFS- und Scratch-Daten wie Shuffle-Ausgaben verwenden die angehängten Laufwerke anstelle des nichtflüchtigen Bootlaufwerks.
Laufwerkkonfiguration
Sie können die folgenden Laufwerkskonfigurationsparameter angeben, wenn Sie Laufwerke an Managed Service for Apache Spark-Clusterknoten anhängen:
Laufwerkstyp (erforderlich): Der Typ des Laufwerks, das an VM-Instanzen angehängt werden soll. Die folgenden Hyperdisks werden unterstützt:
hyperdisk-balancedhyperdisk-extremehyperdisk-mlhyperdisk-throughput
Der Typ
hyperdisk balanced high availabilityund nichtflüchtige Speicher können nicht an Clusterknoten angehängt werden.Größe (optional): Die Größe des Laufwerks. Der Wert muss eine ganze Zahl sein, gefolgt von
GBfür Gigabyte oderTBfür Terabyte. Mit10GBwird beispielsweise ein 10-Gigabyte-Laufwerk angehängt. Weitere Informationen finden Sie unter Größenbeschränkungen für Hyperdisks.IOPs (optional): Gibt die IOPS an, die für das angehängte Laufwerk bereitgestellt werden sollen. Mit diesem Parameter wird das Limit für Laufwerks-E/A-Vorgänge pro Sekunde festgelegt. Weitere Informationen finden Sie unter Standardleistungsstufen.
Durchsatz (optional): Gibt den Durchsatz an, der für das angehängte Laufwerk bereitgestellt werden soll. Mit diesem Parameter wird das Limit für den Durchsatz in
MiBpro Sekunde festgelegt. Weitere Informationen finden Sie unter Standardleistungsstufen.
Laufwerke an einen Cluster anhängen
Sie können Laufwerke anhängen, wenn Sie einen Managed Service for Apache Spark-Cluster erstellen. Verwenden Sie dazu die gcloud CLI oder die Dataproc API, um die Laufwerkskonfigurationen anzugeben.
gcloud-CLI
Wenn Sie beim Erstellen eines Clusters Laufwerke anhängen möchten, verwenden Sie das Flag
--master-attached-disks,--worker-attached-disksoder--secondary-worker-attached-disksmit dem Befehlgcloud dataproc clusters create.Jedes Flag akzeptiert eine Liste von Laufwerkskonfigurationen, die durch Semikolons getrennt sind. Jede Laufwerkskonfiguration ist eine durch Kommas getrennte Liste von Schlüssel/Wert-Paaren für
type,size,iopsundthroughput(siehe Laufwerkskonfiguration).
Beispiel: Mit dem folgenden Befehl wird ein Cluster erstellt und jedem primären Worker-Knoten werden zwei Hyperdisks angehängt.
gcloud dataproc clusters create CLUSTER_NAME \
--region=REGION \
--worker-attached-disks='type=hyperdisk-balanced,size=100GB,iops=5000,throughput=200;type=hyperdisk-throughput,size=9000GB'
API
Wenn Sie Laufwerke anhängen möchten, fügen Sie ein
attachedDiskConfigs-Array in dasdiskConfig-Objekt für die InstanzgruppemasterConfig,workerConfigodersecondaryWorkerConfigein.Geben Sie die Konfiguration im Text einer
clusters.create-API-Anfrage an.
Beispiel: Das folgende JSON-Snippet zeigt ein attachedDiskConfigs-Array, das zwei Hyperdisks anhängt.
[
{
"type": "hyperdisk-balanced",
"diskSizeGb": 100,
"provisionedIops": 5000,
"provisionedThroughput": 200
},
{
"type": "hyperdisk-throughput",
"diskSizeGb": 9000
}
]