סקירה כללית
כשיוצרים אשכול Managed Service for Apache Spark, אפליקציית Apache Hive והרכיבים שלה, כולל Hive metastore, מותקנים באשכול, וסיסמת ברירת מחדל מוגדרת בקובץ hive-site.xml שנמצא בצומת הראשי של האשכול.
מומלץ לציין סיסמה משלכם למטא-נתונים של Hive כדי להשיג את המטרות הבאות:
כאמצעי אבטחה מומלץ, כדי לוודא שאתם שולטים בגישה למטא-נתונים המקומיים של Hive, אתם צריכים לספק סיסמה משלכם.
כדי לציין סיסמה ידועה ששולטת בגישה למאגרי מטא-נתונים חיצוניים של Hive, שמשמשים עם מסדי נתונים חיצוניים שמשותפים בין אשכולות שונים.
הגדרת הסיסמה של Hive metastore
מריצים את הפקודה הבאה של Google Cloud CLI Managed Service for Apache Spark clusters create כדי ליצור אשכול Managed Service for Apache Spark ולציין סיסמה למטא-נתונים של Hive.
gcloud dataproc clusters create cluster-name --properties="hive:javax.jdo.option.ConnectionPassword=HIVE_METASTORE_PASSWORD"
הערות:
- כדי ליצור מפתח ב-Cloud Key Management Service, קראו את המאמר יצירת מפתח.
- הסיסמה של מאגר המטא-נתונים של Hive מאוחסנת רק בצומתי המאסטר של האשכול, ולא בצמתים העובדים.
מידע נוסף על אבטחת אשכולות של Managed Service for Apache Spark זמין במאמר שיטות מומלצות לאבטחה של Managed Service for Apache Spark.
תרחישים לא נתמכים
Managed Service for Apache Spark לא תומך בתרחישים הבאים של Hive metastore, גם אם אתם משתמשים בסיסמת ברירת המחדל של Hive metastore וגם אם אתם משתמשים בסיסמה שאתם סיפקתם:
אתם משתמשים בלקוח מוטמע של מאגר מטא-נתונים במנהל ההתקן של Spark שפועל במצב אשכול, כך שצומתי העובדים דורשים סיסמאות Hive. התרחיש הזה יכול לגרום לבעיות קישוריות למסד הנתונים של המטא-נתונים, כי החיבור לא מתבצע דרך התהליך
HiveMetaStoreשפועל בצומת הראשי של Managed Service for Apache Spark.אתם משביתים את המטא-נתונים של Hive ואת
hive-server2כדי להשתמש במסד נתונים משלכם ב-MySQL. במקרה כזה, למאפייןspark.hadoop.javax.jdo.option.ConnectionURL=jdbc:mysql://CLUSTER_NAME-m/metastoreאין השפעה.