חשבונות שירות של Managed Service for Apache Spark

בדף הזה מוסבר על חשבונות שירות ועל היקפי הגישה של מכונות וירטואליות, ואיך משתמשים בהם ב-Managed Service for Apache Spark.

דרישת אבטחה החל מ-3 באוגוסט 2020: משתמשי Managed Service for Apache Spark נדרשים להחזיק בהרשאת ActAs של חשבון שירות כדי לפרוס משאבים של Managed Service for Apache Spark, כמו יצירת אשכולות ושליחת משימות. התפקיד משתמש בחשבון שירות כולל את ההרשאה הזו. במאמר תפקידים לאימות של חשבונות שירות מוסבר על התפקידים הנדרשים ב-Managed Service for Apache Spark.

הצטרפות למשתמשים קיימים של Managed Service for Apache Spark: משתמשים קיימים של Managed Service for Apache Spark, נכון ל-3 באוגוסט 2020, יכולים להצטרף לדרישת האבטחה הזו (ראו אבטחת Managed Service for Apache Spark, ‏ Dataflow ו-Cloud Data Fusion).

מהם חשבונות שירות?

חשבון שירות הוא חשבון מיוחד ששירותים ואפליקציות שפועלים במכונה וירטואלית (VM) של Compute Engine יכולים להשתמש בו כדי לקיים אינטראקציה עם ממשקי API אחרים של Cloud de Confiance . אפליקציות יכולות להשתמש בפרטי כניסה לחשבון שירות כדי לאשר את עצמן לקבוצה של ממשקי API, ולבצע פעולות ב-VM במסגרת ההרשאות שניתנו לחשבון השירות.

חשבונות שירות של אשכולות Managed Service for Apache Spark

לחשבונות השירות הבאים צריכות להיות ההרשאות הנדרשות כדי לבצע פעולות של Managed Service for Apache Spark בפרויקט שבו נמצא האשכול.

חשבון שירות של מכונה וירטואלית ב-Managed Service for Apache Spark

המכונות הווירטואליות באשכול של Managed Service for Apache Spark משתמשות בחשבון שירות בשביל פעולות במישור הנתונים של Managed Service for Apache Spark. חשבון השירות שמוגדר כברירת מחדל ב-Compute Engine, ‏project_number-compute@developer.s3ns-system.iam.gserviceaccount.com, משמש כחשבון השירות של המכונה הווירטואלית, אלא אם מציינים חשבון שירות בהתאמה אישית כשיוצרים אשכול. לחשבון השירות של ה-VM צריך להיות התפקיד Managed Service for Apache Spark Worker, שכולל את ההרשאות שנדרשות לפעולות במישור הנתונים של Managed Service for Apache Spark. מידע נוסף מופיע במאמר תפקידים ב-Managed Service for Apache Spark.

הצגת התפקידים של חשבון השירות של המכונה הווירטואלית

כדי לראות את התפקידים שניתנו לחשבון השירות של Managed Service for Apache Spark VM:

  1. נכנסים לדף IAM במסוף Cloud de Confiance .

    כניסה לדף IAM

  2. לוחצים על Include Google-provided role grants.

  3. בודקים את התפקידים שמופיעים ברשימה של חשבון השירות של ה-VM. בתמונה הבאה מוצג התפקיד הנדרש Dataproc Worker שמופיע בחשבון השירות שמשמש כברירת המחדל של Compute Engine‏ (project_number-compute@developer.s3ns-system.iam.gserviceaccount.com), שבו Managed Service for Apache Spark משתמש כברירת מחדל כחשבון השירות של ה-VM.

  4. אתם יכולים ללחוץ על סמל העיפרון שמוצג בשורה של חשבון השירות כדי להקצות או להסיר תפקידים של חשבון שירות.

חשבון השירות של סוכן השירות של Managed Service for Apache Spark

‫Managed Service for Apache Spark יוצר את חשבון השירות של סוכן השירות, service-project_number@dataproc-accounts.s3ns-system.iam.gserviceaccount.com, ומקצה לחשבון השירות את התפקיד Managed Service for Apache Spark Service Agent בפרויקט Cloud de Confiance . חשבון השירות הזה מבצע פעולות במישור הבקרה של Managed Service for Apache Spark, כמו יצירה, עדכון ומחיקה של מכונות וירטואליות באשכול. כשיוצרים אשכול, אי אפשר להחליף את חשבון השירות הזה בחשבון שירות של מכונה וירטואלית בהתאמה אישית.

הקצאת תפקיד לחשבון השירות של סוכן השירות ברשת VPC משותפת

אם באשכול של Managed Service for Apache Spark משתמשים ברשת VPC משותפת, אדמין של VPC משותף צריך להקצות לחשבון השירות של סוכן השירות של Managed Service for Apache Spark את התפקיד משתמש ברשת בפרויקט המארח של ה-VPC המשותף. למידע נוסף, קראו את המאמרים הבאים:

יצירת אשכול עם חשבון שירות של מכונה וירטואלית בהתאמה אישית

כשיוצרים אשכול, אפשר לציין חשבון שירות מותאם אישית של VM שהאשכול ישתמש בו לפעולות במישור הנתונים של Managed Service for Apache Spark, במקום חשבון השירות שמוגדר כברירת מחדל של ה-VM (אי אפשר לשנות את חשבון השירות של ה-VM אחרי שיוצרים את האשכול). שימוש בחשבון שירות של מכונה וירטואלית עם תפקידי IAM שהוקצו לו מאפשר לכם לתת לאשכול גישה מפורטת למשאבי הפרויקט.

שלבים מקדימים

  1. יוצרים את חשבון השירות של המכונה הווירטואלית בהתאמה אישית בפרויקט שבו ייווצר האשכול.

  2. מקצים לחשבון השירות של המכונה הווירטואלית בהתאמה אישית את התפקיד Managed Service for Apache Spark Worker בפרויקט, וכל תפקיד נוסף שנדרש למשימות, כמו התפקידים Reader ו-Writer ב-BigQuery (ראו התפקידים ב-Managed Service for Apache Spark).

    דוגמה ל-CLI של gcloud:

    • הפקודה לדוגמה הבאה מקצה לחשבון השירות של ה-VM בהתאמה אישית בפרויקט של האשכול את התפקיד Dataproc Worker ברמת הפרויקט:
    gcloud projects add-iam-policy-binding CLUSTER_PROJECT_ID \
        --member=serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.s3ns.iam.gserviceaccount.com \
        --role="roles/dataproc.worker"
     
    • שימוש בתפקיד בהתאמה אישית: במקום להקצות לחשבון השירות את התפקיד המוגדר מראש Dataproc Worker ‏(roles/dataproc.worker), אתם יכולים להקצות לו תפקיד בהתאמה אישית שכולל את ההרשאות של התפקיד Worker, אבל מגביל את ההרשאות של storage.objects.*.

יצירת האשכול

  • יוצרים את האשכול בפרויקט.

מסוףCloud de Confiance

אי אפשר להגדיר במסוף חשבון שירות של מכונה וירטואלית ב-Managed Service for Apache Spark. כדי להגדיר את היקף הגישה cloud-platform במכונות הווירטואליות של האשכול כשיוצרים את האשכול:

  1. פותחים את הדף Create cluster.
  2. לוחצים על הגדרות נוספות כדי להרחיב את הקטע.
  3. עורכים את האבטחה.
  4. בחלונית שנפתחת, בקטע Project access, מסמנים את התיבה Enables the cloud-platform scope for this cluster.

‫CLI של gcloud

משתמשים בפקודה gcloud dataproc clusters create כדי ליצור אשכול עם חשבון השירות של המכונה הווירטואלית בהתאמה אישית.

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.s3ns.iam.gserviceaccount.com \
    --scopes=SCOPE

מחליפים את מה שכתוב בשדות הבאים:

  • ‫CLUSTER_NAME: שם האשכול, שחייב להיות ייחודי בפרויקט. השם צריך להתחיל באות קטנה באנגלית, ויכול להכיל עד 51 אותיות קטנות, מספרים ומקפים. הוא לא יכול להסתיים במקף. אפשר להשתמש שוב בשם של אשכול שנמחק.
  • ‫REGION: האזור שבו יהיה האשכול.
  • ‫SERVICE_ACCOUNT_NAME: השם של חשבון השירות.
  • ‫PROJECT_ID: מזהה הפרויקט ב- Cloud de Confiance שמכיל את חשבון השירות של ה-VM. זה יהיה מזהה הפרויקט שבו ייווצר האשכול, או מזהה של פרויקט אחר אם אתם יוצרים אשכול עם חשבון שירות של VM בהתאמה אישית בפרויקט אחר.
  • ‫SCOPE: היקפי גישה למכונות וירטואליות באשכול (לדוגמה, https://www.googleapis.com/auth/cloud-platform).

‫API בארכיטקטורת REST

כשממלאים את GceClusterConfig כחלק מבקשת ה-API של clusters.create, צריך להגדיר את השדות הבאים:

יצירת אשכול עם חשבון שירות של מכונה וירטואלית בהתאמה אישית מפרויקט אחר

כשיוצרים אשכול, אפשר לציין חשבון שירות מותאם אישית של VM שהאשכול ישתמש בו לפעולות במישור הנתונים של Managed Service for Apache Spark, במקום להשתמש בחשבון השירות שמוגדר כברירת מחדל של ה-VM (אי אפשר לציין חשבון שירות מותאם אישית של VM אחרי שיוצרים את האשכול). שימוש בחשבון שירות של מכונה וירטואלית בהתאמה אישית עם תפקידי IAM שהוקצו מאפשר לכם לספק לאשכול גישה מפורטת למשאבי הפרויקט.

שלבים מקדימים

  1. בפרויקט של חשבון השירות (הפרויקט שבו נמצא חשבון השירות של המכונה הווירטואלית בהתאמה אישית):

    1. הפעלה של צירוף חשבונות שירות בין פרויקטים.

    2. מפעילים את Dataproc API, אם הוא עדיין לא מופעל.

      התפקידים שנדרשים כדי להפעיל ממשקי API

      כדי להפעיל ממשקי API, צריך את ההרשאה serviceusage.services.enable. אם אתם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, אתם יכולים לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

      להפעלת ה-API

  2. מקצים לחשבון האימייל שלכם (המשתמש שיוצר את האשכול) את התפקיד משתמש בחשבון שירות בפרויקט של חשבון השירות, או את התפקיד של חשבון השירות של המכונה הווירטואלית בהתאמה אישית בפרויקט של חשבון השירות, כדי לקבל שליטה מדויקת יותר.

    מידע נוסף: במאמר ניהול הגישה לפרויקטים, לתיקיות ולארגונים מוסבר איך מקצים תפקידים ברמת הפרויקט, ובמאמר ניהול הגישה לחשבונות שירות מוסבר איך מקצים תפקידים ברמת חשבון השירות.

    דוגמאות ל-CLI של gcloud:

    • הפקודה לדוגמה הבאה מקצה למשתמש את התפקיד "משתמש בחשבון שירות" ברמת הפרויקט:
    gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \
        --member=USER_EMAIL \
        --role="roles/iam.serviceAccountUser"
    

    הערות: USER_EMAIL: כתובת האימייל של חשבון המשתמש, בפורמט: user:user-name@example.com.

    • הפקודה הבאה לדוגמה מקצה למשתמש את התפקיד "משתמש בחשבון שירות" ברמת חשבון השירות:
    gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \
        --member=USER_EMAIL \
        --role="roles/iam.serviceAccountUser"
    

    הערות: USER_EMAIL: כתובת האימייל של חשבון המשתמש, בפורמט: user:user-name@example.com.

  3. מקצים לחשבון השירות של ה-VM בהתאמה אישית את התפקיד Managed Service for Apache Spark Worker בפרויקט של האשכול.

    דוגמה ל-CLI של gcloud:

    gcloud projects add-iam-policy-binding CLUSTER_PROJECT_ID \
        --member=serviceAccount:SERVICE_ACCOUNT_NAME@SERVICE_ACCOUNT_PROJECT_ID.s3ns.iam.gserviceaccount.com \
        --role="roles/dataproc.worker"
     
  4. מקצים לחשבון השירות של Managed Service for Apache Spark Service Agent בפרויקט של האשכול את התפקידים משתמש בחשבון שירות ויצירת אסימונים בחשבון שירות בפרויקט של חשבון השירות, או לחשבון השירות של ה-VM בהתאמה אישית בפרויקט של חשבון השירות, כדי לקבל שליטה ברמה יותר מפורטת. כך אתם מאפשרים לחשבון השירות של סוכן השירות של Dataproc בפרויקט של האשכול ליצור אסימונים לחשבון השירות של ה-VM בהתאמה אישית של Dataproc בפרויקט של חשבון השירות.

    מידע נוסף: במאמר ניהול הגישה לפרויקטים, לתיקיות ולארגונים מוסבר איך מקצים תפקידים ברמת הפרויקט, ובמאמר ניהול הגישה לחשבונות שירות מוסבר איך מקצים תפקידים ברמת חשבון השירות.

    דוגמאות ל-CLI של gcloud:

    • הפקודות לדוגמה הבאות מקצות לחשבון השירות של Managed Service for Apache Spark Service Agent בפרויקט של האשכול את התפקידים "משתמש בחשבון שירות" ו"יצירת אסימונים בחשבון שירות" ברמת הפרויקט:
    gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \
        --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.s3ns-system.iam.gserviceaccount.com \
        --role="roles/iam.serviceAccountUser"
     
    gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \
        --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.s3ns-system.iam.gserviceaccount.com \
        --role="roles/iam.serviceAccountTokenCreator"
    
    • הפקודות הבאות הן דוגמאות להקצאת התפקידים "משתמש בחשבון שירות" ו"יצירת אסימונים בחשבון שירות" לחשבון השירות של סוכן השירות של Managed Service for Apache Spark בפרויקט של האשכול, ברמת חשבון השירות של ה-VM:
    gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \
        --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.s3ns-system.iam.gserviceaccount.com \
        --role="roles/iam.serviceAccountUser"
     
    gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \
        --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.s3ns-system.iam.gserviceaccount.com \
        --role="roles/iam.serviceAccountTokenCreator"
    
  5. מקצים לחשבון השירות של סוכן השירות של Compute Engine בפרויקט של האשכול את התפקיד יצירת אסימונים בחשבון שירות בפרויקט של חשבון השירות, או את חשבון השירות של ה-VM בהתאמה אישית בפרויקט של חשבון השירות, כדי לקבל שליטה ברזולוציה גבוהה יותר. כך אתם נותנים לחשבון השירות של סוכן השירות של Compute Agent בפרויקט של האשכול את היכולת ליצור אסימונים לחשבון השירות של ה-VM בהתאמה אישית של Dataproc בפרויקט של חשבון השירות.

    מידע נוסף: במאמר ניהול הגישה לפרויקטים, לתיקיות ולארגונים מוסבר איך מקצים תפקידים ברמת הפרויקט, ובמאמר ניהול הגישה לחשבונות שירות מוסבר איך מקצים תפקידים ברמת חשבון השירות.

    דוגמאות ל-CLI של gcloud:

    • הפקודה הבאה לדוגמה מקצה לחשבון השירות של סוכן השירות של Compute Engine בפרויקט של האשכול את התפקיד "יצירת אסימונים בחשבון שירות" ברמת הפרויקט:
    gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \
        --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@compute-system.s3ns-system.iam.gserviceaccount.com \
        --role="roles/iam.serviceAccountTokenCreator"
     
    • הפקודה הבאה לדוגמה מקצה לחשבון השירות של סוכן השירות של Compute Engine בפרויקט של האשכול את התפקיד "יצירת אסימונים בחשבון שירות" ברמת חשבון השירות של ה-VM:
    gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \
        --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@compute-system.s3ns-system.iam.gserviceaccount.com \
        --role="roles/iam.serviceAccountTokenCreator"
     

יצירת האשכול

המאמרים הבאים