אפליקציות Spark תלויות לעיתים קרובות בספריות Java או Scala של צד שלישי. הנה כמה גישות מומלצות להכללת יחסי התלות האלה כששולחים משימת Spark לאשכול של Managed Service for Apache Spark:
כששולחים משימה מהמכונה המקומית באמצעות הפקודה
gcloud dataproc jobs submit, משתמשים בדגל--properties spark.jars.packages=[DEPENDENCIES].
לדוגמה:gcloud dataproc jobs submit spark \ --cluster=my-cluster \ --region=region \ --properties=spark.jars.packages='com.google.cloud:google-cloud-translate:1.35.0,org.apache.bahir:spark-streaming-pubsub_2.11:2.2.0'
כששולחים משימה ישירות באשכול, משתמשים בפקודה
spark-submitעם הפרמטר--packages=[DEPENDENCIES].
לדוגמה:spark-submit --packages='com.google.cloud:google-cloud-translate:1.35.0,org.apache.bahir:spark-streaming-pubsub_2.11:2.2.0'
כשכוללים קובצי JAR או חבילות בהתאמה אישית:
- יחסי תלות ספציפיים למשימה: מציינים את הנתיב של קובץ ה-JAR ב-Cloud Storage באמצעות הדגל
--jars, השדה Jar files במסוף Cloud de Confiance או השדהjarFileUrisב-API כששולחים משימה. - יחסי תלות ברמת האשכול: משתמשים במאפיין האשכול
spark:spark.jarsבמהלך יצירת האשכול (--properties="spark:spark.jars=gs://<var>your-bucket</var>/<var>your-jarfile</var>.jar").
- יחסי תלות ספציפיים למשימה: מציינים את הנתיב של קובץ ה-JAR ב-Cloud Storage באמצעות הדגל
הימנעות מהתנגשויות בין יחסי תלות
הגישות הקודמות עלולות להיכשל אם יחסי התלות של אפליקציית Spark מתנגשים עם יחסי התלות של Hadoop. ההתנגשות הזו יכולה לקרות כי Hadoop מוסיף את יחסי התלות שלו ל-classpath של האפליקציה, ולכן יחסי התלות שלו מקבלים קדימות על פני יחסי התלות של האפליקציה. כשיש התנגשות, יכולות להיווצר שגיאות כמו NoSuchMethodError או שגיאות אחרות.
דוגמה:
Guava היא ספריית הליבה של Google ל-Java, שמשמשת ספריות וסביבות עבודה רבות, כולל Hadoop. התנגשות בין יחסי תלות יכולה להתרחש אם משימה או יחסי התלות שלה דורשים גרסה של Guava שהיא חדשה יותר מזו שבה משתמש Hadoop.
Hadoop בגרסה 3.0 נפתרה
אבל באפליקציות שמסתמכות על גרסאות קודמות של Hadoop, צריך להשתמש בפתרון העקיף הבא שמורכב משני חלקים כדי למנוע התנגשויות אפשריות בין יחסי תלות.
- יוצרים קובץ JAR אחד שמכיל את החבילה של האפליקציה ואת כל יחסי התלות שלה.
- כדי למנוע התנגשות בין שמות הנתיבים של חבילות התלות של Hadoop לבין אלה של ה-uber JAR, צריך להעביר את חבילות התלות של ה-uber JAR. במקום לשנות את הקוד, השתמשו בפלאגין (ראו בהמשך) כדי לבצע את ההעברה הזו (שנקראת גם "הצללה") באופן אוטומטי כחלק מתהליך האריזה.
יצירת קובץ JAR מוצלל עם Maven
Maven הוא כלי לניהול חבילות שמשמש לפיתוח אפליקציות ב-Java. אפשר להשתמש בפלאגין Maven scala כדי ליצור אפליקציות שכתובות ב-Scala, השפה שבה משתמשים באפליקציות Spark. התוסף Maven shade
ניתן להשתמש בפלאגין כדי ליצור קובץ JAR מוצלל.
הקוד הבא הוא קובץ תצורה לדוגמה של pom.xml, שמסתיר את ספריית Guava שנמצאת בחבילה com.google.common. ההגדרה הזו מורה ל-Maven לשנות את השם של החבילה com.google.common ל-repackaged.com.google.common ולעדכן את כל ההפניות למחלקות מהחבילה המקורית.
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <properties> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven.compiler.target> </properties> <groupId><!-- YOUR_GROUP_ID --></groupId> <artifactId><!-- YOUR_ARTIFACT_ID --></artifactId> <version><!-- YOUR_PACKAGE_VERSION --></version> <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <version><!-- YOUR_SPARK_VERSION --></version> <scope>provided</scope> </dependency> <!-- YOUR_DEPENDENCIES --> </dependencies> <build> <plugins> <plugin> <groupId>net.alchim31.maven</groupId> <artifactId>scala-maven-plugin</artifactId> <executions> <execution> <goals> <goal>compile</goal> <goal>testCompile</goal> </goals> </execution> </executions> <configuration> <scalaVersion><!-- YOUR_SCALA_VERSION --></scalaVersion> </configuration> </plugin> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId> <executions> <execution> <phase>package</phase> <goals> <goal>shade</goal> </goals> <configuration> <transformers> <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer"> <mainClass><!-- YOUR_APPLICATION_MAIN_CLASS --></mainClass> </transformer> <!-- This is needed if you have dependencies that use Service Loader. Most Google Cloud client libraries do. --> <transformer implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer"/> </transformers> <filters> <filter> <artifact>*:*</artifact> <excludes> <exclude>META-INF/maven/**</exclude> <exclude>META-INF/*.SF</exclude> <exclude>META-INF/*.DSA</exclude> <exclude>META-INF/*.RSA</exclude> </excludes> </filter> </filters> <relocations> <relocation> <pattern>com</pattern> <shadedPattern>repackaged.com.google.common</shadedPattern> <includes> <include>com.google.common.**</include> </includes> </relocation> </relocations> </configuration> </execution> </executions> </plugin> </plugins> </build> </project>
כדי להריץ את ה-build:
mvn package
הערות לגבי pom.xml:
- ManifestResourceTransformer מעבד מאפיינים בקובץ המניפסט של ה-uber JAR (
MANIFEST.MF). המניפסט יכול גם לציין את נקודת הכניסה לאפליקציה. - ההיקף של Spark הוא
provided, כי Spark מותקן ב-Managed Service for Apache Spark. - מציינים את גרסת Spark שמותקנת באשכול של Managed Service for Apache Spark (ראו רשימת הגרסאות של Managed Service for Apache Spark). אם האפליקציה שלכם דורשת גרסת Spark שונה מהגרסה שמותקנת באשכול Managed Service for Apache Spark, אתם יכולים לכתוב פעולת אתחול או ליצור תמונה מותאמת אישית שמתקינה את גרסת Spark שבה האפליקציה משתמשת.
- הרשומה
<filters>מחריגה קובצי חתימה מהספריותMETA-INFשל יחסי התלות. בלי הרשומה הזו, יכול להיות שתתרחש חריגה בזמן הריצה שלjava.lang.SecurityException: Invalid signature file digest for Manifest main attributesכי קובצי החתימה לא תקינים בהקשר של ה-uber JAR. - יכול להיות שתצטרכו להסתיר כמה ספריות. כדי לעשות את זה, צריך לכלול כמה נתיבים.
בדוגמה הבאה, הספריות Guava ו-Protobuf מוצללות.
<relocation> <pattern>com</pattern> <shadedPattern>repackaged.com</shadedPattern> <includes> <include>com.google.protobuf.**</include> <include>com.google.common.**</include> </includes> </relocation>
יצירת קובץ JAR מוצלל עם SBT
SBT הוא כלי לבניית אפליקציות Scala. כדי ליצור קובץ JAR מוצלל באמצעות SBT, מוסיפים את הפלאגין sbt-assembly
להגדרת ה-build, קודם צריך ליצור קובץ בשם assembly.sbt בספרייה project/:
├── src/
└── build.sbt
└── project/
└── assembly.sbt
... ואז מוסיפים את השורה הבאה ב-assembly.sbt:
addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.14.6")הקוד הבא הוא קובץ תצורה לדוגמה של build.sbt, שמסתיר את ספריית Guava שנמצאת ב-com.google.common package:
lazy val commonSettings = Seq( organization := "YOUR_GROUP_ID", name := "YOUR_ARTIFACT_ID", version := "YOUR_PACKAGE_VERSION", scalaVersion := "YOUR_SCALA_VERSION", ) lazy val shaded = (project in file(".")) .settings(commonSettings) mainClass in (Compile, packageBin) := Some("YOUR_APPLICATION_MAIN_CLASS") libraryDependencies ++= Seq( "org.apache.spark" % "spark-sql_2.11" % "YOUR_SPARK_VERSION" % "provided", // YOUR_DEPENDENCIES ) assemblyShadeRules in assembly := Seq( ShadeRule.rename("com.google.common.**" -> "repackaged.com.google.common.@1").inAll )
כדי להריץ את ה-build:
sbt assembly
הערות לגבי build.sbt:
- יכול להיות שכלל ההצללה בדוגמה הקודמת לא יפתור את כל ההתנגשויות בין יחסי התלות, כי SBT משתמש באסטרטגיות קפדניות לפתרון התנגשויות. לכן, יכול להיות שתצטרכו לספק כללים מפורטים יותר שממזגים באופן מפורש סוגים ספציפיים של קבצים מתנגשים באמצעות האסטרטגיות
MergeStrategy.first,last,concat,filterDistinctLines,renameאוdiscard. פרטים נוספים זמינים באסטרטגיית המיזוג שלsbt-assembly. - יכול להיות שתצטרכו להסתיר כמה ספריות. כדי לעשות את זה, צריך לכלול כמה נתיבים.
בדוגמה הבאה, הספריות Guava ו-Protobuf מוצללות.
assemblyShadeRules in assembly := Seq( ShadeRule.rename("com.google.common.**" -> "repackaged.com.google.common.@1").inAll, ShadeRule.rename("com.google.protobuf.**" -> "repackaged.com.google.protobuf.@1").inAll )
שליחת קובץ ה-JAR של Uber אל Managed Service for Apache Spark
אחרי שיוצרים קובץ JAR מוצלל מסוג uber שמכיל את אפליקציית Spark ואת יחסי התלות שלה, מעלים את קובץ ה-JAR ל-Cloud Storage ושולחים משימה ל-Managed Service for Apache Spark (באמצעות הדגל --jars ב-Google Cloud CLI, השדה Jar files במסוף Cloud de Confiance , השדה jarFileUris ב-API או על ידי ציון קובץ ה-JAR המוצלל כקובץ ה-JAR הראשי של האפליקציה).
המאמרים הבאים
- אפליקציית Spark לדוגמה, spark-translate, מכילה קובצי תצורה גם ל-Maven וגם ל-SBT.
- כתיבה והרצה של משימות Spark Scala ב-Managed Service for Apache Spark. מדריך למתחילים שמסביר איך כותבים ומריצים משימות Spark Scala באשכול Managed Service for Apache Spark.