אתם יכולים להשתמש ב-Secret Manager כדי להגן על מידע רגיש, כמו מפתחות API, סיסמאות ואישורים. אתם יכולים להשתמש בו כדי לנהל את הסודות, לגשת אליהם ולבצע בהם ביקורת ב-Cloud de Confiance by S3NS.
אתם יכולים להגדיר אשכול או משימה ב-Managed Service for Apache Spark כך שישתמשו בסוד של Secret Manager באמצעות ספק פרטי הכניסה של Secret Manager.
זמינות
התכונה הזו זמינה לשימוש עם אשכולות של Managed Service for Apache Spark שנוצרו עם גרסאות אימג' 2.0.97 ואילך, 2.1.41 ואילך, 2.2.6 ואילך, או גרסאות אימג' של Managed Service for Apache Spark בגרסאות ראשיות מאוחרות יותר.
הסברים על המונחים
בטבלה הבאה מתוארים המונחים שמופיעים במסמך הזה.
| מונח | תיאור |
|---|---|
Secret |
סוד ב-Secret Manager הוא אובייקט גלובלי של פרויקט שמכיל אוסף של מטא-נתונים וגרסאות של סודות. אתם יכולים לאחסן סודות, לנהל אותם ולגשת אליהם כ-BLOB בינאריים או כמחרוזות טקסט. |
Credential |
ב-Hadoop ובאפליקציות אחרות שמתארחות ב-Managed Service for Apache Spark, פרטי הכניסה מורכבים משם פרטי הכניסה (מזהה) ומערך פרטי הכניסה (סיסמה). מזהה וערך של פרטי כניסה ממופים למזהה סוד ולערך סוד (גרסת סוד) ב-Secret Manager. |
שימוש
כדי להגדיר את Hadoop ורכיבי OSS אחרים כך שיעבדו עם Secret Manager, צריך להגדיר את המאפיינים הבאים כשיוצרים אשכול Managed Service for Apache Spark או שולחים משימה.
נתיב הספק: המאפיין של נתיב הספק,
hadoop.security.credential.provider.path, הוא רשימה מופרדת בפסיקים של כתובת URI אחת או יותר של ספק פרטי הכניסה, שצריך לעבור דרכה כדי לפתור פרטי כניסה.--properties=hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID
- הערך
schemeבנתיב של הספק מציין את הסוג של ספק פרטי הכניסה. סכימות של Hadoop כוללות אתjceks://,user://,localjceks://. משתמשים בסכימהgsm://כדי לחפש פרטי כניסה ב-Secret Manager.
- הערך
אופרטור חלופי לנקודה: שירות Secret Manager לא מאפשר נקודות (
.) בשמות של סודות. עם זאת, בחלק מרכיבי התוכנה בקוד פתוח (OSS) יש נקודות במפתחות של פרטי הכניסה. כדי לפתור את הבעיה, צריך להפעיל את המאפיין הזה כדי להחליף נקודות (.) במקפים (-) בשמות של פרטי הכניסה. כך אפשר לוודא שפרטי כניסה של OSS עם נקודות בשמות שלהם יכולים להישמר ולהישלף בצורה נכונה מ-Secret Manager.לדוגמה, אם מפתח פרטי הכניסה של OSS הוא
a.b.c, צריך לשנות אותו ל-a-b-cכשמאחסנים אותו ב-Secret Manager.--properties=hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true
המאפיין הזה הוא אופציונלי. כברירת מחדל, הערך הוא
false. אם במפתחות של פרטי הכניסה אין אופרטור נקודה (.) בשם של פרטי הכניסה, אפשר להתעלם מהמאפיין הזה.גרסת סוד: לסודות ב-Secret Manager יכולות להיות כמה גרסאות (ערכים). המאפיין הזה מאפשר לגשת לגרסה ספציפית של סוד כדי לקבל גישה יציבה בסביבות ייצור.
--properties=hadoop.security.credstore.google-secret-manager.secret-version=1
המאפיין הזה הוא אופציונלי. כברירת מחדל, Secret Manager ניגש לגרסה
LATEST, שמתייחסת לערך האחרון של הסוד בזמן הריצה. אם תרצו לגשת תמיד לגרסהLATESTשל סוד, תוכלו להתעלם מהמאפיין הזה.
יצירת אשכול Managed Service for Apache Spark עם ספק פרטי הכניסה של Secret Manager
- מריצים את הפקודה הבאה באופן מקומי או ב-Cloud Shell כדי ליצור אשכול Managed Service for Apache Spark עם המאפיינים הנדרשים.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --properties="hadoop:hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID,hadoop:hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true" \ ...other flags as needed...
הערות:
- CLUSTER_NAME: השם של האשכול החדש.
- REGION: אזור ב-Compute Engine שבו יפעל עומס העבודה.
- PROJECT_ID: מזהה הפרויקט מופיע בקטע Project info בלוח הבקרה של מסוףCloud de Confiance .
שליחת Managed Service for Apache Spark עם ספק פרטי הכניסה של Secret Manager
מריצים את הפקודה הבאה באופן מקומי או ב-Cloud Shell כדי לשלוח משימה של Managed Service for Apache Spark עם המאפיינים הנדרשים.
gcloud dataproc jobs submit CLUSTER_NAME \ --region=REGION \ --properties="hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID,hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true" \ ...other flags as needed... \ -- job-args
הערות:
- CLUSTER_NAME: שם האשכול שיריץ את המשימה.
- REGION: אזור ב-Compute Engine שבו יפעל עומס העבודה.
- PROJECT_ID: מזהה הפרויקט מופיע בקטע Project info בלוח הבקרה של מסוףCloud de Confiance .
שימוש ב-Secret Manager עם Hive Metastore
המאפיין javax.jdo.option.ConnectionPassword של Hive Metastore מכיל את הסיסמה שמשמשת לאימות הגישה למסד הנתונים של ה-metastore. הסיסמה נשמרת בפורמט טקסט ב-hive-site.xml, וזה סיכון אבטחה. שיטה מומלצת בסביבת ייצור היא לאחסן את הסיסמה ב-Secret Manager, ואז לעדכן את קובץ התצורה hive-site.xml כדי לאפשר לשירות המטא-נתונים של Hive לקרוא את הסיסמה מ-Secret Manager.
בדוגמאות הבאות מוסבר איך להשתמש ב-Secret Manager בתרחישים שונים של Hive Metastore.
יצירת אשכול עם מטא-נתונים מקומיים
- מריצים את הפקודה הבאה באופן מקומי או ב-Cloud Shell כדי ליצור אשכול של Managed Service for Apache Spark.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ ...other flags as needed... \
הערות:
- CLUSTER_NAME: השם של האשכול החדש.
- REGION: אזור ב-Compute Engine שבו יפעל עומס העבודה.
יוצרים סוד באמצעות Secret Manager או הפקודה
hadoop credential.אפשרות 1: שימוש ב-Secret Manager כדי ליצור סוד.
- שם הסוד:
/projects/PROJECT_ID/secrets/javax-jdo-option-ConnectionPassword/versions/1 - ערך הסוד:
METASTORE_PASSWORD.
- שם הסוד:
אפשרות 2: משתמשים בפקודה
hadoop credentialכדי ליצור סוד.sudo hadoop credential create javax-jdo-option-ConnectionPassword -provider gsm://projects/PROJECT_ID -v METASTORE_PASSWORD
- METASTORE_PASSWORD: מכיוון ש-Secret Manager לא תומך באופרטור הנקודה (
.), צריך להחליף את כל הנקודות (.) בסיסמה במקפים (-).
- METASTORE_PASSWORD: מכיוון ש-Secret Manager לא תומך באופרטור הנקודה (
מוודאים שהסוד קיים.
sudo hadoop credential list -provider gsm://projects/PROJECT_ID
משתמשים בכלי לעריכת טקסט כדי להסיר את המאפיין
javax.jdo.option.ConnectionPasswordמהקובץhive-site.xml, ואז מוסיפים לקובץ את המאפייניםhadoop.security.credential.provider.pathו-hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator.מאפיינים לדוגמה:
hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true
מפעילים מחדש את Hive Metastore.
sudo systemctl restart hive-metastore
יצירת אשכול עם Hive Metastore חיצוני
מריצים את הפקודה הבאה באופן מקומי או ב-Cloud Shell כדי ליצור אשכול Managed Service for Apache Spark עם מאפייני האשכול הבאים. אפשר להשתמש באשכול הזה בתור Hive metastore חיצוני למשימות Hive שפועלות מאשכולות אחרים של Managed Service for Apache Spark לעומסי עבודה של Spark Hive.
gcloud dataproc clusters create METASTORE_CLUSTER_NAME \ --region=REGION \ --properties=core:fs.defaultFS=gs://METASTORE_CLUSTER_PROXY_BUCKET,dataproc:dataproc.components.deactivate="hdfs hive-server2 hive-metastore" \ ...other flags as needed...
יוצרים סוד באמצעות Secret Manager או הפקודה
hadoop credential.- אפשרות 1: שימוש ב-Secret Manager כדי ליצור סוד.
- שם הסוד:
/projects/PROJECT_ID/secrets/javax-jdo-option-ConnectionPassword/versions/1 - ערך הסוד:
METASTORE_PASSWORD.
- שם הסוד:
- אפשרות 2: משתמשים בפקודה
hadoop credentialכדי ליצור סוד.sudo hadoop credential create javax-jdo-option-ConnectionPassword -provider gsm://projects/PROJECT_ID -v METASTORE_PASSWORD
- METASTORE_PASSWORD: מכיוון ש-Secret Manager לא תומך באופרטור הנקודה (
.), צריך להחליף את הנקודות (.) בסיסמה במקפים (-).
- METASTORE_PASSWORD: מכיוון ש-Secret Manager לא תומך באופרטור הנקודה (
- אפשרות 1: שימוש ב-Secret Manager כדי ליצור סוד.
מוודאים שהסוד קיים.
sudo hadoop credential list -provider gsm://projects/PROJECT_ID
יצירת אשכול להרצת משימות Hive שמתחברות למאגר מטא-נתונים חיצוני
- מריצים את הפקודה הבאה באופן מקומי או ב-Cloud Shell כדי ליצור אשכול Managed Service for Apache Spark עם מאפייני האשכול הבאים.
משתמשים באשכול הזה כדי להריץ משימות Hive שמתחברות למאגר המטא-נתונים החיצוני באשכול אחר של Managed Service for Apache Spark.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --properties="hive:javax.jdo.option.ConnectionURL=jdbc:mysql://METASTORE_CLUSTER_NAME-m/metastore,hive:hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID,hive:hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true" \ ...other flags as needed...
פקודות של פרטי כניסה ל-Hadoop
אתם יכולים להשתמש ב-SSH כדי להתחבר לצומת הראשי של Managed Service for Apache Spark, ולהשתמש בפקודה hadoop credential כדי ליצור, להציג ולנהל סודות.
הפקודות של hadoop credential בנויות בפורמט הבא:
hadoop credential SUBCOMMAND OPTIONS.
בדוגמאות הבאות, הדגל -provider נוסף כדי לציין את סוג הספק והמיקום (חנות הספק). הסכימה gsm:// מציינת את Secret Manager.
יוצרים סוד עם מזהה הסוד שצוין. הפקודה לא יוצרת את הסוד אם מזהה הסוד שצוין כבר קיים. ההתנהגות הזו תואמת ל-API של Hadoop
CredentialProvider.hadoop credential create SECRET_ID -provider gsm://projects/PROJECT_ID -v VALUE
הצגת רשימה של סודות ששמורים בפרויקט.
hadoop credential list -provider gsm://projects/PROJECT_ID
בדיקה אם קיים סוד בפרויקט עם ערך מסוים.
hadoop credential check SECRET_ID -provider gsm://projects/PROJECT_ID -v VALUE
בודקים אם יש גרסה ספציפית של סוד בקובץ תצורה.
hadoop credential conf CONFIG_FILE check SECRET_ID -provider gsm://projects/PROJECT_ID -v VALUE
CONFIG_FILE: קובץ ה-XML שמגדיר את
hadoop.security.credstore.google-secret-manager.secret-version.מחיקת כל הגרסאות של סוד בפרויקט.
hadoop credential delete SECRET_ID -provider gsm://projects/ PROJECT_ID
מידע נוסף זמין במדריך לפקודות Hadoop.