Managed Service for Apache Spark in Clustern verwendet Images, um nützliche Cloud de Confiance by S3NS-Connectors und Apache Spark- und Apache Hadoop-Komponenten in einem Paket zusammenzufassen, das in einem Managed Service for Apache Spark-Cluster bereitgestellt werden kann. Diese Images enthalten das Basisbetriebssystem (Debian oder Ubuntu) für den Cluster sowie Kern- und optionale Komponenten, die zum Ausführen von Jobs wie Spark, Hadoop und Hive erforderlich sind. Diese Images werden regelmäßig aktualisiert, um neue Verbesserungen und Funktionen zu enthalten. Mit der Versionsverwaltung von Managed Service for Apache Spark können Sie beim Erstellen von Clustern Softwareversionsgruppen auswählen.
So funktioniert die Versionsverwaltung
Wenn ein Image erstellt wird, erhält es eine Image-Versionsnummer im folgenden Format:
version_major.version_minor.version_sub_minor-os_distribution
Die folgenden Betriebssystemdistributionen werden verwaltet:
| Betriebssystem-Distributionscode | Betriebssystem-Distribution |
|---|---|
| debian12 | Debian 12 |
| debian10 | Debian 10 |
| debian11 | Debian 11 |
| rocky8 | Rocky Linux 8 |
| rocky9 | Rocky Linux 9 |
| ubuntu18 | Ubuntu 18.04 LTS |
| ubuntu20 | Ubuntu 20.04 LTS |
| ubuntu22 | Ubuntu 22.04 LTS |
Weitere Informationen zu zuvor unterstützten Betriebssystem-Distributionen finden Sie unter Alte Image-Versionen.
Die empfohlene Vorgehensweise besteht darin, die Image-Version major.minor für Produktionsumgebungen oder in dem Fall anzugeben, dass die Kompatibilität mit bestimmten Komponentenversionen wichtig ist. Die Subminor- und Betriebssystemdistributionen werden automatisch auf den neuesten wöchentlichen Release festgelegt.
Versionen auswählen
Wenn Sie einen neuen Managed Service for Apache Spark-Cluster erstellen, wird standardmäßig die neueste verfügbare Debian-Image-Version verwendet. Sie können beim Erstellen eines Clusters eine Debian-, Rocky Linux- oder Ubuntu-Image-Version auswählen (siehe Liste der Image-Versionen für Managed Service for Apache Spark).
Bei der Angabe von Debian-basierten Images können Sie das Suffix für den Betriebssystem-Distributionscode weglassen, indem Sie beispielsweise 2.0 angeben, um das Image 2.0-debian10 auszuwählen.
Das Betriebssystem-Suffix muss verwendet werden, um ein Rocky Linux- oder Ubuntu-basiertes Image auszuwählen, z. B. durch Angabe von 2.0-ubuntu18.
Cloud de Confiance Console
Öffnen Sie die Seite Cluster erstellen. Im Abschnitt Cluster definieren wird im Drop-down-Feld Image-Typ und -Version das Image angezeigt, das beim Erstellen des Clusters verwendet wird. Anfangs ist das Standard-Image, die neueste verfügbare Debian-Version, ausgewählt. Klicken Sie auf das Feld, um ein Standard-Image aus einer Liste verfügbarer Images oder ein benutzerdefiniertes Image auszuwählen.
gcloud CLI-Befehl
Wenn Sie den Befehl gcloud dataproc clusters create verwenden, können Sie mit dem Argument --image-version eine Image-Version für den neuen Cluster angeben.
Beispiel für ein Debian-Image:
gcloud dataproc clusters create CLUSTER_NAME \ --image-version=2.0 \ --region=REGION
Beispiel für ein Ubuntu-Image:
gcloud dataproc clusters create CLUSTER_NAME \ --image-version=2.0-ubuntu18 \ --region=REGION
Es empfiehlt sich, die Subminor-Version wegzulassen, damit die neueste Subminor-Version verwendet wird. Bei Bedarf kann jedoch die Subminor-Version angegeben werden, z. B. 2.0.20.
Sie können die aktuelle Version mit der Google Cloud CLI prüfen.
gcloud dataproc clusters describe CLUSTER_NAME \ --region=REGION
REST API
Sie können das imageVersion-Feld SoftwareConfig als Teil einer cluster.create-API-Anfrage angeben.
Beispiel
POST /v1/projects/project-id/regions/us-central1/clusters/
{
"projectId": "project-id",
"clusterName": "example-cluster",
"config": {
"configBucket": "",
"gceClusterConfig": {
"subnetworkUri": "default",
"zoneUri": "us-central1-b"
},
"masterConfig": {
...
}
},
"workerConfig": {
...
}
},
"softwareConfig": {
"imageVersion": "2.0"
}
}
}
Wann neue Versionen erstellt werden
Neue Hauptversionen werden regelmäßig erstellt, um einen oder mehrere der folgenden Punkte zu berücksichtigen:
- Hauptversionen für:
- Spark, Hadoop und andere Big Data-Komponenten
- Cloud de Confiance by S3NS -Connectors
- Wichtige Änderungen oder Aktualisierungen der Funktionen von Managed Service for Apache Spark
Neue Vorabversionen (mit dem Suffix -RC) werden vor der Veröffentlichung einer neuen Hauptversion veröffentlicht:
- Vorschau-Images sind nicht für die Verwendung in Produktionsarbeitslasten vorgesehen.
- Komponentenversionen von Vorabversionen von Images werden möglicherweise auf die neueste verfügbare Komponentenversion in der GA-Image-Version nach der Vorabversion aktualisiert.
Neue Nebenversionen werden regelmäßig erstellt, um mindestens einen der folgenden Punkte zu berücksichtigen:
- Nebenversionen und Aktualisierungen für:
- Spark, Hadoop und andere Big Data-Komponenten
- Cloud de Confiance by S3NS -Connectors
- Kleinere Änderungen oder Aktualisierungen der Funktionen von Managed Service for Apache Spark
Wenn eine Nebenversion neu erstellt wird, wird deren Debian-Image zum Standard der Hauptversion und stellt den neuesten Release der Hauptversion dar.
Neue Subminor-Versionen werden regelmäßig erstellt, um einen oder mehrere der folgenden Punkte zu berücksichtigen:
- Patches oder Korrekturen für eine Komponente im Image
- Upgrades von Komponenten-Subminor-Versionen
Image-Version und Unterstützung für Managed Service for Apache Spark
Nebenversionen des Image werden nach dem ersten GA-Release (General Availability, allgemeine Verfügbarkeit) für 24 Monate unterstützt. Während dieses Zeitraums sind Cluster, die diese Image-Versionen verwenden, für den Support berechtigt. Wenn Sie Fehlerkorrekturen erhalten möchten, erstellen Sie Ihren Cluster mit der neuesten unterstützten Subminor-Image-Version neu. Nach Ablauf des Supportzeitraums sind Cluster, die die Image-Versionen verwenden, nicht mehr für den Support berechtigt.
Alte Image-Versionen
Zuvor unterstützte Betriebssystem-Distributionen
Die folgenden Betriebssystem-Distributionen wurden zuvor unterstützt:
| Betriebssystem-Distributionscode | Betriebssystem-Distribution | Letzter Patch (Ende des Supports) |
|---|---|---|
| debian9 | Debian 9 | 10. Juli 2020 |
| deb8 | Debian 8 | 26. Oktober 2018 |
Image-Versionen ohne explizite Betriebssystemverteilung
Vor dem 16. August 2018 wurden Image-Versionen mit Debian 8 erstellt und der Betriebssystem-Distributionscode wurde weggelassen. Sie werden in folgendem Format angegeben:
version_major.version_minor.version_sub_minor
Versionen 0.1 und 0.2
Image-Versionen, die vor der allgemeinen Verfügbarkeit von Managed Service for Apache Spark-Version 1.0 als Alpha- oder Betaversionen veröffentlicht wurden, unterliegen nicht der Supportrichtlinie für Managed Service for Apache Spark.
Wichtige Hinweise zu Versionen
- Image-Versionen enthalten die folgenden Komponenten:
- Kernkomponenten, die auf allen Clustern installiert sind, z. B. Spark, Hadoop und Hive
- Optionale Komponenten, die Sie beim Erstellen eines Clusters angeben
- Ihre Managed Service for Apache Spark-Cluster werden nicht automatisch aktualisiert, wenn neue Image-Versionen veröffentlicht werden.
- Empfehlungen:
- Führen Sie Cluster mit der neuesten Subminor-Image-Version aus.
Die Image-Metadaten enthalten das Label
previous-subminor, das auftruegesetzt ist, wenn der Cluster nicht die neueste Subminor-Image-Version verwendet.- So rufen Sie Bildmetadaten auf:
- Führen Sie den folgenden
gcloud compute images list --filter-Befehl aus, um den Ressourcennamen eines Managed Service for Apache Spark-Images aufzulisten.gcloud compute images list --project=PROJECT_NAME --filter="labels.goog-dataproc-version ~ ^IMAGE_VERSION (such as
2.2.16-debian12)" - Führen Sie den folgenden
gcloud compute images describe-Befehl aus, um Image-Metadaten aufzurufen.gcloud compute images describe --project=PROJECT_NAME IMAGE_NAME"
- Führen Sie den folgenden
- So rufen Sie Bildmetadaten auf:
- Testen und validieren Sie, ob Ihre Anwendungen auf Clustern, die mit neuen Image-Versionen erstellt wurden, erfolgreich ausgeführt werden, insbesondere wenn Sie neue Hauptversionen von Images verwenden.