Spark-Anwendungen sind häufig von Java- oder Scala-Bibliotheken von Drittanbietern abhängig. Hier sind empfohlene Ansätze, um diese Abhängigkeiten einzubeziehen, wenn Sie einen Spark-Job an einen Managed Service for Apache Spark-Cluster senden:
Wenn Sie einen Job von Ihrem lokalen Computer mit dem Befehl
gcloud dataproc jobs submitsenden, verwenden Sie das Flag--properties spark.jars.packages=[DEPENDENCIES].
Beispiel:gcloud dataproc jobs submit spark \ --cluster=my-cluster \ --region=region \ --properties=spark.jars.packages='com.google.cloud:google-cloud-translate:1.35.0,org.apache.bahir:spark-streaming-pubsub_2.11:2.2.0'
Wenn Sie einen Job direkt in Ihrem Cluster einreichen, verwenden Sie den Befehl
spark-submitmit dem Parameter--packages=[DEPENDENCIES].
Beispiel:spark-submit --packages='com.google.cloud:google-cloud-translate:1.35.0,org.apache.bahir:spark-streaming-pubsub_2.11:2.2.0'
Wenn Sie benutzerdefinierte JAR-Dateien oder Bundles einbinden:
- Jobspezifische Abhängigkeiten: Geben Sie den Cloud Storage-Pfad zu Ihrer JAR-Datei mit dem Flag
--jars, dem Feld JAR-Dateien in der Cloud de Confiance Console oder dem API-FeldjarFileUrisan, wenn Sie einen Job einreichen. - Clusterweite Abhängigkeiten: Verwenden Sie bei der Clustererstellung (
--properties="spark:spark.jars=gs://<var>your-bucket</var>/<var>your-jarfile</var>.jar") dasspark:spark.jars-Clusterattribut.
- Jobspezifische Abhängigkeiten: Geben Sie den Cloud Storage-Pfad zu Ihrer JAR-Datei mit dem Flag
Abhängigkeitskonflikte vermeiden
Die früheren Ansätze können fehlschlagen, wenn die Abhängigkeiten der Spark-Anwendung mit den Abhängigkeiten von Hadoop in Konflikt stehen. Dieser Konflikt kann auftreten, weil Hadoop seine Abhängigkeiten in den Klassenpfad der Anwendung einfügt, sodass seine Abhängigkeiten Vorrang vor den Abhängigkeiten der Anwendung haben. Wenn ein Konflikt auftritt, können NoSuchMethodError- oder andere Fehler generiert werden.
Beispiel:
Guava ist die Google-Kernbibliothek für Java, die von vielen Bibliotheken und Frameworks, einschließlich Hadoop, verwendet wird. Ein Abhängigkeitskonflikt kann auftreten, wenn ein Job oder seine Abhängigkeiten eine neuere Version von Guava erfordern als die von Hadoop verwendete.
Hadoop v3.0 behoben
Dieses Problem wurde in Hadoop 3.3.1 behoben. Für Anwendungen, die auf früheren Hadoop-Versionen basieren, ist jedoch die folgende zweiteilige Problemumgehung erforderlich, um mögliche Abhängigkeitskonflikte zu vermeiden.
- Erstellen Sie eine einzelne JAR-Datei, die das Paket der Anwendung und alle zugehörigen Abhängigkeiten enthält.
- Verschieben Sie die in Konflikt stehenden Abhängigkeitspakete innerhalb der Uber-JAR-Datei. So wird verhindert, dass ihre Pfadnamen mit den Pfadnamen der Hadoop-Abhängigkeitspakete in Konflikt geraten. Statt hierfür Ihren Code zu ändern, verwenden Sie ein Plug-in (siehe unten), um diese Verschiebung (auch als "Shading" bezeichnet) automatisch im Rahmen der Paketerstellung durchzuführen.
Shading-Uber-JAR-Datei mit Maven erstellen
Maven ist ein Paketverwaltungstool zum Erstellen von Java-Anwendungen. Mit dem Maven-Scala-Plug-in können Sie Anwendungen erstellen, die in Scala geschrieben sind, der Sprache, die von Spark-Anwendungen verwendet wird. Das Maven-Shade-Plug-in
-Plug-in kann verwendet werden, um eine Shaded-JAR-Datei zu erstellen.
Das folgende Beispiel zeigt eine pom.xml-Konfigurationsdatei, die die Guava-Mediathek, die sich im Paket com.google.common befindet, schattiert. Diese Konfiguration weist Maven an, das Paket com.google.common in repackaged.com.google.common umzubenennen und alle Verweise auf die Klassen aus dem ursprünglichen Paket zu aktualisieren.
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <properties> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven.compiler.target> </properties> <groupId><!-- YOUR_GROUP_ID --></groupId> <artifactId><!-- YOUR_ARTIFACT_ID --></artifactId> <version><!-- YOUR_PACKAGE_VERSION --></version> <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <version><!-- YOUR_SPARK_VERSION --></version> <scope>provided</scope> </dependency> <!-- YOUR_DEPENDENCIES --> </dependencies> <build> <plugins> <plugin> <groupId>net.alchim31.maven</groupId> <artifactId>scala-maven-plugin</artifactId> <executions> <execution> <goals> <goal>compile</goal> <goal>testCompile</goal> </goals> </execution> </executions> <configuration> <scalaVersion><!-- YOUR_SCALA_VERSION --></scalaVersion> </configuration> </plugin> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId> <executions> <execution> <phase>package</phase> <goals> <goal>shade</goal> </goals> <configuration> <transformers> <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer"> <mainClass><!-- YOUR_APPLICATION_MAIN_CLASS --></mainClass> </transformer> <!-- This is needed if you have dependencies that use Service Loader. Most Google Cloud client libraries do. --> <transformer implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer"/> </transformers> <filters> <filter> <artifact>*:*</artifact> <excludes> <exclude>META-INF/maven/**</exclude> <exclude>META-INF/*.SF</exclude> <exclude>META-INF/*.DSA</exclude> <exclude>META-INF/*.RSA</exclude> </excludes> </filter> </filters> <relocations> <relocation> <pattern>com</pattern> <shadedPattern>repackaged.com.google.common</shadedPattern> <includes> <include>com.google.common.**</include> </includes> </relocation> </relocations> </configuration> </execution> </executions> </plugin> </plugins> </build> </project>
So führen Sie den Build aus:
mvn package
Hinweise zu pom.xml:
- ManifestResourceTransformer verarbeitet Attribute in der Manifestdatei (
MANIFEST.MF) des Uber-JARs. Im Manifest kann auch der Einstiegspunkt für Ihre Anwendung angegeben werden. - Der Bereich von Spark ist
provided, da Spark auf Managed Service for Apache Spark installiert ist. - Geben Sie die Version von Spark an, die auf Ihrem Managed Service for Apache Spark-Cluster installiert ist (siehe Versionsliste für Managed Service for Apache Spark). Wenn Ihre Anwendung eine Spark-Version erfordert, die sich von der auf Ihrem Managed Service for Apache Spark-Cluster installierten Version unterscheidet, können Sie eine Initialisierungsaktion schreiben oder ein benutzerdefiniertes Image erstellen, das die von Ihrer Anwendung verwendete Spark-Version installiert.
- Der Eintrag
<filters>schließt Signaturdateien aus denMETA-INF-Verzeichnissen Ihrer Abhängigkeiten aus. Ohne diesen Eintrag kann einejava.lang.SecurityException: Invalid signature file digest for Manifest main attributes-Laufzeitausnahme auftreten, da die Signaturdateien im Kontext Ihres Uber-JAR ungültig sind. - Es kann sein, dass mehrere Bibliotheken umbenannt werden müssen. Fügen Sie dazu mehrere Pfade ein.
Im nächsten Beispiel werden die Bibliotheken Guava und Protobuf umbenannt.
<relocation> <pattern>com</pattern> <shadedPattern>repackaged.com</shadedPattern> <includes> <include>com.google.protobuf.**</include> <include>com.google.common.**</include> </includes> </relocation>
Shaded Uber-JAR-Datei mit SBT erstellen
SBT ist ein Tool zum Erstellen von Scala-Anwendungen. Wenn Sie eine Shading-JAR-Datei mit SBT erstellen möchten, fügen Sie das sbt-assembly hinzu.
-Plug-in zu Ihrer Build-Definition hinzu. Erstellen Sie dazu zuerst eine Datei mit dem Namen assembly.sbt im Verzeichnis project/:
├── src/
└── build.sbt
└── project/
└── assembly.sbt
... und fügen Sie dann die folgende Zeile in assembly.sbt hinzu:
addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.14.6")Das folgende Beispiel zeigt die Konfigurationsdatei build.sbt, mit der die Guava-Mediathek, die sich im com.google.common package befindet, umbenannt wird (Shading).
lazy val commonSettings = Seq( organization := "YOUR_GROUP_ID", name := "YOUR_ARTIFACT_ID", version := "YOUR_PACKAGE_VERSION", scalaVersion := "YOUR_SCALA_VERSION", ) lazy val shaded = (project in file(".")) .settings(commonSettings) mainClass in (Compile, packageBin) := Some("YOUR_APPLICATION_MAIN_CLASS") libraryDependencies ++= Seq( "org.apache.spark" % "spark-sql_2.11" % "YOUR_SPARK_VERSION" % "provided", // YOUR_DEPENDENCIES ) assemblyShadeRules in assembly := Seq( ShadeRule.rename("com.google.common.**" -> "repackaged.com.google.common.@1").inAll )
So führen Sie den Build aus:
sbt assembly
Hinweise zu build.sbt:
- Die Shade-Regel im vorherigen Beispiel löst möglicherweise nicht alle Abhängigkeitskonflikte, da SBT strenge Konfliktlösungsstrategien verwendet. Daher kann es sein, dass Sie detailliertere Regeln angeben müssen, durch die bestimmte Arten von in Konflikt stehenden Dateien ausdrücklich zusammengeführt werden. Verwenden Sie hierbei die Strategie
MergeStrategy.first,last,concat,filterDistinctLines,renameoderdiscard. Weitere Informationen finden Sie in der Zusammenführungsstrategie vonsbt-assembly. - Es kann sein, dass mehrere Bibliotheken umbenannt werden müssen. Fügen Sie dazu mehrere Pfade ein.
Im nächsten Beispiel werden die Bibliotheken Guava und Protobuf umbenannt.
assemblyShadeRules in assembly := Seq( ShadeRule.rename("com.google.common.**" -> "repackaged.com.google.common.@1").inAll, ShadeRule.rename("com.google.protobuf.**" -> "repackaged.com.google.protobuf.@1").inAll )
Uber-JAR an Managed Service for Apache Spark senden
Nachdem Sie ein Shaded Uber-JAR erstellt haben, das Ihre Spark-Anwendung und ihre Abhängigkeiten enthält, laden Sie das JAR in Cloud Storage hoch und senden einen Job an Managed Service for Apache Spark. Verwenden Sie dazu das Flag --jars in der Google Cloud CLI, das Feld JAR-Dateien in der Cloud de Confiance Console, das API-Feld jarFileUris oder geben Sie Ihr Shaded JAR als Hauptanwendungs-JAR an.
Nächste Schritte
- Unter spark-translate finden Sie eine Spark-Beispielanwendung, die Konfigurationsdateien für Maven und SBT enthält.
- Spark Scala-Jobs in Managed Service for Apache Spark schreiben und ausführen: In dieser Kurzanleitung erfahren Sie, wie Sie Spark Scala-Jobs in einem Managed Service for Apache Spark-Cluster schreiben und ausführen.