שימוש בספק פרטי הכניסה של Secret Manager

אתם יכולים להשתמש ב-Secret Manager כדי להגן על מידע רגיש, כמו מפתחות API, סיסמאות ואישורים. אתם יכולים להשתמש בו כדי לנהל את הסודות, לגשת אליהם ולבצע בהם ביקורת ב-Cloud de Confiance by S3NS.

אתם יכולים להגדיר אשכול או משימה ב-Managed Service for Apache Spark כך שישתמשו בסוד של Secret Manager באמצעות ספק פרטי הכניסה של Secret Manager.

זמינות

התכונה הזו זמינה לשימוש עם אשכולות של Managed Service for Apache Spark שנוצרו עם גרסאות אימג' 2.0.97 ואילך, 2.1.41 ואילך, 2.2.6 ואילך, או גרסאות אימג' של Managed Service for Apache Spark בגרסאות ראשיות מאוחרות יותר.

הסברים על המונחים

בטבלה הבאה מתוארים המונחים שמופיעים במסמך הזה.

מונח תיאור
Secret סוד ב-Secret Manager הוא אובייקט גלובלי של פרויקט שמכיל אוסף של מטא-נתונים וגרסאות של סודות. אתם יכולים לאחסן סודות, לנהל אותם ולגשת אליהם כ-BLOB בינאריים או כמחרוזות טקסט.
Credential ב-Hadoop ובאפליקציות אחרות שמתארחות ב-Managed Service for Apache Spark, פרטי הכניסה מורכבים משם פרטי הכניסה (מזהה) ומערך פרטי הכניסה (סיסמה). מזהה וערך של פרטי כניסה ממופים למזהה סוד ולערך סוד (גרסת סוד) ב-Secret Manager.

שימוש

כדי להגדיר את Hadoop ורכיבי OSS אחרים כך שיעבדו עם Secret Manager, צריך להגדיר את המאפיינים הבאים כשיוצרים אשכול Managed Service for Apache Spark או שולחים משימה.

  • נתיב הספק: המאפיין של נתיב הספק, hadoop.security.credential.provider.path, הוא רשימה מופרדת בפסיקים של כתובת URI אחת או יותר של ספק פרטי הכניסה, שצריך לעבור דרכה כדי לפתור פרטי כניסה.

    --properties=hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID
    
    • הערך scheme בנתיב של הספק מציין את הסוג של ספק פרטי הכניסה. סכימות של Hadoop כוללות את jceks://, user://,localjceks://. משתמשים בסכימה gsm:// כדי לחפש פרטי כניסה ב-Secret Manager.
  • אופרטור חלופי לנקודה: שירות Secret Manager לא מאפשר נקודות (.) בשמות של סודות. עם זאת, בחלק מרכיבי התוכנה בקוד פתוח (OSS) יש נקודות במפתחות של פרטי הכניסה. כדי לפתור את הבעיה, צריך להפעיל את המאפיין הזה כדי להחליף נקודות (.) במקפים (-) בשמות של פרטי הכניסה. כך אפשר לוודא שפרטי כניסה של OSS עם נקודות בשמות שלהם יכולים להישמר ולהישלף בצורה נכונה מ-Secret Manager.

    לדוגמה, אם מפתח פרטי הכניסה של OSS הוא a.b.c, צריך לשנות אותו ל-a-b-c כשמאחסנים אותו ב-Secret Manager.

    --properties=hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true
    

    המאפיין הזה הוא אופציונלי. כברירת מחדל, הערך הוא false. אם במפתחות של פרטי הכניסה אין אופרטור נקודה (.) בשם של פרטי הכניסה, אפשר להתעלם מהמאפיין הזה.

  • גרסת סוד: לסודות ב-Secret Manager יכולות להיות כמה גרסאות (ערכים). המאפיין הזה מאפשר לגשת לגרסה ספציפית של סוד כדי לקבל גישה יציבה בסביבות ייצור.

    --properties=hadoop.security.credstore.google-secret-manager.secret-version=1
    

    המאפיין הזה הוא אופציונלי. כברירת מחדל, Secret Manager ניגש לגרסה LATEST, שמתייחסת לערך האחרון של הסוד בזמן הריצה. אם תרצו לגשת תמיד לגרסה LATEST של סוד, תוכלו להתעלם מהמאפיין הזה.

יצירת אשכול Managed Service for Apache Spark עם ספק פרטי הכניסה של Secret Manager

  1. מריצים את הפקודה הבאה באופן מקומי או ב-Cloud Shell כדי ליצור אשכול Managed Service for Apache Spark עם המאפיינים הנדרשים.
    gcloud dataproc clusters create CLUSTER_NAME \
        --region=REGION \
        --properties="hadoop:hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID,hadoop:hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true" \
        ...other flags as needed...
    

הערות:

שליחת Managed Service for Apache Spark עם ספק פרטי הכניסה של Secret Manager

  1. מריצים את הפקודה הבאה באופן מקומי או ב-Cloud Shell כדי לשלוח משימה של Managed Service for Apache Spark עם המאפיינים הנדרשים.

    gcloud dataproc jobs submit CLUSTER_NAME \
        --region=REGION \
        --properties="hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID,hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true" \
        ...other flags as needed... \
        -- job-args
    

הערות:

שימוש ב-Secret Manager עם Hive Metastore

המאפיין javax.jdo.option.ConnectionPassword של Hive Metastore מכיל את הסיסמה שמשמשת לאימות הגישה למסד הנתונים של ה-metastore. הסיסמה נשמרת בפורמט טקסט ב-hive-site.xml, וזה סיכון אבטחה. שיטה מומלצת בסביבת ייצור היא לאחסן את הסיסמה ב-Secret Manager, ואז לעדכן את קובץ התצורה hive-site.xml כדי לאפשר לשירות המטא-נתונים של Hive לקרוא את הסיסמה מ-Secret Manager.

בדוגמאות הבאות מוסבר איך להשתמש ב-Secret Manager בתרחישים שונים של Hive Metastore.

יצירת אשכול עם מטא-נתונים מקומיים

  1. מריצים את הפקודה הבאה באופן מקומי או ב-Cloud Shell כדי ליצור אשכול של Managed Service for Apache Spark.
    gcloud dataproc clusters create CLUSTER_NAME \
        --region=REGION \
        ...other flags as needed... \
    

הערות:

  • ‫CLUSTER_NAME: השם של האשכול החדש.
  • ‫REGION: אזור ב-Compute Engine שבו יפעל עומס העבודה.
  1. יוצרים סוד באמצעות Secret Manager או הפקודה hadoop credential.

    • אפשרות 1: שימוש ב-Secret Manager כדי ליצור סוד.

      • שם הסוד: /projects/PROJECT_ID/secrets/javax-jdo-option-ConnectionPassword/versions/1
      • ערך הסוד: METASTORE_PASSWORD.
    • אפשרות 2: משתמשים בפקודה hadoop credential כדי ליצור סוד.

      sudo hadoop credential create javax-jdo-option-ConnectionPassword -provider gsm://projects/PROJECT_ID -v METASTORE_PASSWORD
      

      • METASTORE_PASSWORD: מכיוון ש-Secret Manager לא תומך באופרטור הנקודה (.), צריך להחליף את כל הנקודות (.) בסיסמה במקפים (-).
  2. מוודאים שהסוד קיים.

    sudo hadoop credential list -provider gsm://projects/PROJECT_ID
    

  3. משתמשים בכלי לעריכת טקסט כדי להסיר את המאפיין javax.jdo.option.ConnectionPassword מהקובץ hive-site.xml, ואז מוסיפים לקובץ את המאפיינים hadoop.security.credential.provider.path ו-hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator.

    מאפיינים לדוגמה:

    hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID
    hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true
    

  4. מפעילים מחדש את Hive Metastore.

    sudo systemctl restart hive-metastore
    

יצירת אשכול עם Hive Metastore חיצוני

  1. מריצים את הפקודה הבאה באופן מקומי או ב-Cloud Shell כדי ליצור אשכול Managed Service for Apache Spark עם מאפייני האשכול הבאים. אפשר להשתמש באשכול הזה בתור Hive metastore חיצוני למשימות Hive שפועלות מאשכולות אחרים של Managed Service for Apache Spark לעומסי עבודה של Spark Hive.

    gcloud dataproc clusters create METASTORE_CLUSTER_NAME \
        --region=REGION \
        --properties=core:fs.defaultFS=gs://METASTORE_CLUSTER_PROXY_BUCKET,dataproc:dataproc.components.deactivate="hdfs hive-server2 hive-metastore" \
        ...other flags as needed...
    
  2. יוצרים סוד באמצעות Secret Manager או הפקודה hadoop credential.

    • אפשרות 1: שימוש ב-Secret Manager כדי ליצור סוד.
      • שם הסוד: /projects/PROJECT_ID/secrets/javax-jdo-option-ConnectionPassword/versions/1
      • ערך הסוד: METASTORE_PASSWORD.
    • אפשרות 2: משתמשים בפקודה hadoop credential כדי ליצור סוד.
      sudo hadoop credential create javax-jdo-option-ConnectionPassword -provider gsm://projects/PROJECT_ID -v METASTORE_PASSWORD
      
      • ‫METASTORE_PASSWORD: מכיוון ש-Secret Manager לא תומך באופרטור הנקודה (.), צריך להחליף את הנקודות (.) בסיסמה במקפים (-).
  3. מוודאים שהסוד קיים.

    sudo hadoop credential list -provider gsm://projects/PROJECT_ID
      

יצירת אשכול להרצת משימות Hive שמתחברות למאגר מטא-נתונים חיצוני

  1. מריצים את הפקודה הבאה באופן מקומי או ב-Cloud Shell כדי ליצור אשכול Managed Service for Apache Spark עם מאפייני האשכול הבאים. משתמשים באשכול הזה כדי להריץ משימות Hive שמתחברות למאגר המטא-נתונים החיצוני באשכול אחר של Managed Service for Apache Spark.
    gcloud dataproc clusters create CLUSTER_NAME \
        --region=REGION \
        --properties="hive:javax.jdo.option.ConnectionURL=jdbc:mysql://METASTORE_CLUSTER_NAME-m/metastore,hive:hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID,hive:hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true" \
        ...other flags as needed...
    

פקודות של פרטי כניסה ל-Hadoop

אתם יכולים להשתמש ב-SSH כדי להתחבר לצומת הראשי של Managed Service for Apache Spark, ולהשתמש בפקודה hadoop credential כדי ליצור, להציג ולנהל סודות.

הפקודות של hadoop credential בנויות בפורמט הבא: hadoop credential SUBCOMMAND OPTIONS. בדוגמאות הבאות, הדגל -provider נוסף כדי לציין את סוג הספק והמיקום (חנות הספק). הסכימה gsm:// מציינת את Secret Manager.

  • יוצרים סוד עם מזהה הסוד שצוין. הפקודה לא יוצרת את הסוד אם מזהה הסוד שצוין כבר קיים. ההתנהגות הזו תואמת ל-API של Hadoop CredentialProvider.

    hadoop credential create SECRET_ID -provider gsm://projects/PROJECT_ID -v VALUE
    

  • הצגת רשימה של סודות ששמורים בפרויקט.

    hadoop credential list -provider gsm://projects/PROJECT_ID
    

  • בדיקה אם קיים סוד בפרויקט עם ערך מסוים.

    hadoop credential check SECRET_ID -provider gsm://projects/PROJECT_ID -v VALUE
    

  • בודקים אם יש גרסה ספציפית של סוד בקובץ תצורה.

    hadoop credential conf CONFIG_FILE check SECRET_ID -provider gsm://projects/PROJECT_ID -v VALUE
    
  • ‫CONFIG_FILE: קובץ ה-XML שמגדיר את hadoop.security.credstore.google-secret-manager.secret-version.

  • מחיקת כל הגרסאות של סוד בפרויקט.

    hadoop credential delete SECRET_ID -provider gsm://projects/ PROJECT_ID
    

מידע נוסף זמין במדריך לפקודות Hadoop.

המאמרים הבאים