מדיניות ארגון מותאמת אישית ל-BigQuery Migration Service
בדף הזה מוסבר איך להשתמש באילוצים מותאמים אישית של שירות מדיניות הארגון כדי להגביל פעולות ספציפיות במשאבים הבאים של Cloud de Confiance by S3NS :
bigquerymigration.googleapis.com/MigrationWorkflow
מידע נוסף על מדיניות הארגון זמין במאמר בנושא מדיניות ארגונית בהתאמה אישית.
מידע על מדיניות הארגון ואילוצים
Cloud de Confiance שירות מדיניות הארגון נותן לכם שליטה מרוכזת ופרוגרמטית על המשאבים של הארגון. אדמינים של מדיניות הארגון יכולים להגדיר מדיניות ארגונית, שהיא קבוצה של הגבלות שנקראות אילוצים, שחלות על משאבים ב-Cloud de Confiance ועל משאבי צאצא של המשאבים האלה בCloud de Confiance by S3NS היררכיית המשאבים. אפשר לאכוף את מדיניות הארגון ברמת הארגון, התיקייה או הפרויקט.
מדיניות הארגון מספקת אילוצים מנוהלים מובְנים לשירותים שונים של Cloud de Confiance . עם זאת, אם אתם רוצים שליטה מפורטת יותר בהתאמה אישית על השדות הספציפיים שמוגבלים במדיניות הארגון, אתם יכולים גם ליצור אילוצים בהתאמה אישית ולהשתמש בהם במדיניות הארגון.
ירושה של מדיניות
כברירת מחדל, מדיניות הארגון עוברת בירושה לצאצאים של המשאבים שעליהם אתם אוכפים את המדיניות. לדוגמה, אם אוכפים מדיניות בתיקייה, Cloud de Confiance המדיניות נאכפת בכל הפרויקטים בתיקייה. כאן אפשר לקרוא מידע נוסף על ההתנהגות הזו ועל שינוי שלה.
לפני שמתחילים
-
In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Cloud de Confiance project.
-
Install the Google Cloud CLI.
-
Configure the gcloud CLI to use your federated identity.
For more information, see Sign in to the gcloud CLI with your federated identity.
-
To initialize the gcloud CLI, run the following command:
gcloud init - מוודאים שאתם יודעים מהו מזהה הארגון.
התפקידים הנדרשים
כדי לקבל את ההרשאות שדרושות לניהול מדיניות ארגונית בהתאמה אישית, צריך לבקש מהאדמין להקצות לכם את תפקיד ה-IAM Organization Policy Administrator (אדמין של מדיניות ארגונית) (roles/orgpolicy.policyAdmin) במשאב הארגון.
כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.
משאבים נתמכים ב-BigQuery
בטבלה הבאה מפורטים משאבי BigQuery שאפשר להפנות אליהם באילוצים בהתאמה אישית.| משאב | שדה |
|---|
הגדרת אילוץ בהתאמה אישית
אילוץ בהתאמה אישית מוגדר בקובץ YAML לפי המשאבים, השיטות, התנאים והפעולות שנתמכים בשירות שבו אתם אוכפים את מדיניות הארגון. התנאים להגבלות המותאמות אישית מוגדרים באמצעות Common Expression Language (CEL). מידע נוסף על יצירת תנאים באילוצים מותאמים אישית באמצעות CEL זמין בקטע בנושא CEL במאמר יצירה וניהול של אילוצים מותאמים אישית.
המסוף
כדי ליצור אילוץ בהתאמה אישית:
- במסוף Cloud de Confiance , נכנסים לדף מדיניות הארגון.
- בתפריט לבחירת פרויקטים, בוחרים את הפרויקט שרוצים להגדיר לו את מדיניות הארגון.
- לוחצים על Custom constraint.
- בתיבה Display name, מזינים שם לאילוץ שיהיה קריא לאנשים. השם הזה מופיע בהודעות שגיאה ויכול לשמש לזיהוי ולניפוי באגים. אל תשתמשו בפרטים אישיים מזהים (PII) או בנתונים רגישים בשמות לתצוגה, כי השם הזה עלול להיחשף בהודעות שגיאה. השדה הזה יכול להכיל עד 200 תווים.
-
בתיבה Constraint ID (מזהה האילוץ), מזינים את המזהה שרוצים להגדיר לאילוץ המותאם אישית החדש. אילוץ בהתאמה אישית יכול להכיל רק אותיות (כולל אותיות רישיות וקטנות) או מספרים, לדוגמה
custom.requireAssessmentTask. השדה הזה יכול להכיל עד 70 תווים, לא כולל הקידומת (custom.), לדוגמה,organizations/123456789/customConstraints/custom. אל תכללו פרטים אישיים מזהים או מידע אישי רגיש במזהה האילוץ, כי הם עלולים להיחשף בהודעות שגיאה. - בתיבה Description, מזינים תיאור של האילוץ שקל לאנשים לקרוא. התיאור הזה משמש כהודעת שגיאה כשיש הפרה של המדיניות. צריך לכלול פרטים על הסיבה להפרת המדיניות ועל האופן שבו אפשר לפתור את הבעיה. אל תכללו פרטים אישיים מזהים או מידע אישי רגיש בתיאור, כי הם עלולים להיחשף בהודעות שגיאה. השדה הזה יכול להכיל עד 2,000 תווים.
-
בתיבה Resource type, בוחרים את השם של Cloud de Confiance משאב REST
שמכיל את האובייקט והשדה שרוצים להגביל – לדוגמה,
container.googleapis.com/NodePool. רוב סוגי המשאבים תומכים בעד 20 אילוצים בהתאמה אישית. אם תנסו ליצור עוד אילוצים בהתאמה אישית, הפעולה תיכשל. -
בקטע Enforcement method, בוחרים אם לאכוף את האילוץ על שיטת REST
CREATEאו על השיטותCREATEו-UPDATE. אם אוכפים את האילוץ באמצעות השיטהUPDATEבמשאב שמפר את האילוץ, מדיניות הארגון חוסמת את השינויים במשאב הזה, אלא אם השינוי פותר את ההפרה. - כדי להגדיר תנאי, לוחצים על עריכת התנאי.
-
בחלונית Add condition, יוצרים תנאי CEL שמתייחס למשאב שירות נתמך, לדוגמה,
resource.management.autoUpgrade == false. השדה הזה יכול להכיל עד 1,000 תווים. פרטים על השימוש ב-CEL זמינים במאמר בנושא Common Expression Language. מידע נוסף על משאבי השירות שאפשר להשתמש בהם באילוצים בהתאמה אישית זמין במאמר שירותים שתומכים באילוצים בהתאמה אישית. - לוחצים על Save.
- בקטע Action, בוחרים אם לאשר או לדחות את השיטה שנבדקה אם התנאי מתקיים.
- לוחצים על Create constraint.
כדי לראות את השיטות הנתמכות לכל שירות, מחפשים את השירות בקטע שירותים שתומכים באילוצים מותאמים אישית.
פעולת הדחייה חוסמת את הפעולה ליצירה או לעדכון של המשאב אם התנאי מתקיים.
פעולת ההרשאה מאפשרת ליצור או לעדכן את המשאב רק אם התנאי מתקיים. כל מקרה אחר, מלבד אלה שרשומים במפורש בתנאי, נחסם.
אחרי שמזינים ערך בכל שדה, הגדרת ה-YAML המקבילה לאילוץ המותאם אישית הזה מופיעה בצד שמאל.
gcloud
- כדי ליצור אילוץ בהתאמה אישית, יוצרים קובץ YAML בפורמט הבא:
-
ORGANIZATION_ID: מזהה הארגון, למשל123456789. -
CONSTRAINT_NAME: השם שרוצים לתת לאילוץ החדש בהתאמה אישית. אילוץ בהתאמה אישית יכול להכיל רק אותיות (כולל אותיות רישיות וקטנות) או מספרים, למשל,custom.requireAssessmentTask. השדה הזה יכול להכיל עד 70 תווים, לא כולל הקידומת (custom.) – לדוגמה,organizations/123456789/customConstraints/custom. אל תכללו פרטים אישיים מזהים או מידע אישי רגיש במזהה האילוץ, כי הם עלולים להיחשף בהודעות שגיאה. -
RESOURCE_NAME: השם מוגדר במלואו של המשאב Cloud de Confianceשמכיל את האובייקט והשדה שרוצים להגביל. לדוגמה,bigquerymigration.googleapis.com/MigrationWorkflow. רוב סוגי המשאבים תומכים בעד 20 אילוצים מותאמים אישית. אם תנסו ליצור יותר אילוצים בהתאמה אישית, הפעולה תיכשל. -
methodTypes: שיטות ה-REST שעליהן נאכף האילוץ. יכול להיותCREATEאו גםCREATEוגםUPDATE. אם אוכפים את האילוץ באמצעות השיטהUPDATEבמשאב שמפר את האילוץ, מדיניות הארגון חוסמת את השינויים במשאב הזה, אלא אם השינוי פותר את ההפרה. -
CONDITION: תנאי CEL שנכתב כנגד ייצוג של משאב שירות נתמך. השדה הזה יכול להכיל עד 1,000 תווים. לדוגמה,.resource.tasks.all(k, resource.tasks[k].type.startsWith('Assessment')) -
ACTION: הפעולה שצריך לבצע אם התנאיconditionמתקיים. הערכים האפשריים הםALLOWו-DENY. -
DISPLAY_NAME: שם קריא לאנשים של האילוץ. השם הזה מופיע בהודעות שגיאה ואפשר להשתמש בו לזיהוי ולניפוי באגים. אל תשתמשו בפרטים אישיים מזהים (PII) או במידע אישי רגיש בשמות המוצגים, כי השם הזה עלול להיחשף בהודעות שגיאה. השדה הזה יכול להכיל עד 200 תווים. -
DESCRIPTION: תיאור קריא של האילוץ שיוצג כהודעת שגיאה במקרה של הפרת המדיניות. השדה הזה יכול להכיל עד 2,000 תווים. -
אחרי שיוצרים את קובץ ה-YAML לאילוץ חדש בהתאמה אישית, צריך להגדיר אותו כדי שיהיה זמין למדיניות הארגון בארגון. כדי להגדיר אילוץ בהתאמה אישית, משתמשים בפקודה
gcloud org-policies set-custom-constraint: -
כדי לוודא שהאילוץ המותאם אישית קיים, משתמשים בפקודה
gcloud org-policies list-custom-constraints:
name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME resourceTypes: RESOURCE_NAME methodTypes: - CREATE
- UPDATE condition: "CONDITION" actionType: ACTION displayName: DISPLAY_NAME description: DESCRIPTION
מחליפים את מה שכתוב בשדות הבאים:
כדי לראות את השיטות הנתמכות לכל שירות, צריך לחפש את השירות בקטע שירותים שתומכים באילוצים בהתאמה אישית.
מידע נוסף על המשאבים שאפשר לכתוב תנאים לגביהם זמין במאמר משאבים נתמכים.
הפעולה allow פירושה שאם התנאי מקבל את הערך true, מותר ליצור או לעדכן את המשאב. זה גם אומר שכל מקרה אחר, מלבד המקרה שמופיע במפורש בתנאי, חסום.
פעולת הדחייה פירושה שאם התנאי מקבל את הערך True, הפעולה ליצירה או לעדכון של המשאב נחסמת.
gcloud org-policies set-custom-constraint CONSTRAINT_PATH
מחליפים את CONSTRAINT_PATH בנתיב המלא לקובץ האילוצים המותאמים אישית. לדוגמה, /home/user/customconstraint.yaml.
בסיום הפעולה, האילוצים המותאמים אישית יהיו זמינים כמדיניות ארגונית ברשימת Cloud de Confiance by S3NS המדיניות הארגונית.
gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
מחליפים את ORGANIZATION_ID במזהה של משאב הארגון.
למידע נוסף, קראו את המאמר הצגת מדיניות הארגון.
אכיפה של מדיניות ארגונית בהתאמה אישית
כדי לאכוף אילוץ, אפשר ליצור מדיניות ארגון שמפנה אליו, ואז להחיל את מדיניות הארגון על משאב ב- Cloud de Confiance by S3NS .המסוף
- במסוף Cloud de Confiance , נכנסים לדף מדיניות הארגון.
- בכלי לבחירת פרויקטים, בוחרים את הפרויקט שרוצים להגדיר לו את מדיניות הארגון.
- ברשימה שבדף מדיניות הארגון, בוחרים את האילוץ כדי להציג את הדף Policy details של אותו אילוץ.
- כדי להגדיר את מדיניות הארגון למשאב הזה, לוחצים על Manage policy.
- בדף עריכת המדיניות, בוחרים באפשרות במקום המדיניות של המשאב הראשי.
- לוחצים על Add a rule.
- בקטע Enforcement, בוחרים אם לאכוף את מדיניות הארגון או לא.
- אופציונלי: כדי להוסיף תנאי למדיניות הארגון שמבוסס על תג, לוחצים על Add condition. שימו לב: אם מוסיפים כלל מותנה למדיניות הארגון, צריך להוסיף לפחות כלל אחד לא מותנה, אחרת אי אפשר לשמור את המדיניות. למידע נוסף, קראו את המאמר הגדרת ההיקף של מדיניות הארגון באמצעות תגים.
- לוחצים על בדיקת שינויים כדי לדמות את ההשפעה של מדיניות הארגון. מידע נוסף זמין במאמר בדיקת שינויים במדיניות הארגון באמצעות סימולטור המדיניות.
- כדי לאכוף את מדיניות הארגון במצב פרימטר לבדיקות, לוחצים על הגדרת המדיניות להרצת בדיקה. מידע נוסף זמין במאמר בנושא בדיקת מדיניות הארגון.
- אחרי שמוודאים שמדיניות הארגון במצב הרצה יבשה פועלת כמו שרוצים, מגדירים את המדיניות הפעילה על ידי לחיצה על הגדרת מדיניות.
gcloud
- כדי ליצור מדיניות ארגונית עם כללים בוליאניים, יוצרים קובץ YAML של מדיניות שמפנה לאילוץ:
-
PROJECT_ID: הפרויקט שבו רוצים לאכוף את האילוץ. -
CONSTRAINT_NAME: השם שהגדרתם לאילוץ המותאם אישית. לדוגמה,custom.requireAssessmentTask. -
כדי לאכוף את מדיניות הארגון במצב פרימטר לבדיקות, מריצים את הפקודה הבאה עם הדגל
dryRunSpec: -
אחרי שמוודאים שמדיניות הארגון במצב פרימטר לבדיקות פועלת כמו שצריך, מגדירים את המדיניות הפעילה באמצעות הפקודה
org-policies set-policyוהדגלspec:
name: projects/PROJECT_ID/policies/CONSTRAINT_NAME spec: rules: - enforce: true dryRunSpec: rules: - enforce: true
מחליפים את מה שכתוב בשדות הבאים:
gcloud org-policies set-policy POLICY_PATH --update-mask=dryRunSpec
מחליפים את POLICY_PATH בנתיב המלא לקובץ ה-YAML של מדיניות הארגון. המדיניות תיכנס לתוקף תוך 15 דקות לכל היותר.
gcloud org-policies set-policy POLICY_PATH --update-mask=spec
מחליפים את POLICY_PATH בנתיב המלא לקובץ ה-YAML של מדיניות הארגון. המדיניות תיכנס לתוקף תוך 15 דקות לכל היותר.
בדיקת מדיניות הארגון בהתאמה אישית
בדוגמה הבאה נוצרים אילוץ ומדיניות בהתאמה אישית, שמחייבים שכל תהליכי העבודה החדשים להעברה בפרויקט מסוים יכללו סוג משימה שמתחיל ב-Assessment. משתמשים במדיניות הארגונית המותאמת אישית הזו אם רוצים לציין שפרויקט צריך לשמש רק להערכות של מיגרציה.
לפני שמתחילים, חשוב לוודא שיש לכם את המידע הבא:
- מזהה הארגון שלך
- מזהה הפרויקט שעליו חלה מדיניות הארגון בהתאמה אישית
יצירת האילוץ
שומרים את הקובץ הבא בשם
constraint-assessment-tasks.yaml:name: organizations/ORGANIZATION_ID/customConstraints/custom.requireAssessmentTask resourceTypes: - bigquerymigration.googleapis.com/MigrationWorkflow methodTypes: - CREATE condition:resource.tasks.all(k, resource.tasks[k].type.startsWith('Assessment'))actionType: ALLOW displayName: Only assessment tasks are allowed description: Workflows must only contain tasks of type 'Assessment'.מחילים את האילוץ:
gcloud org-policies set-custom-constraint ~/constraint-assessment-tasks.yamlמוודאים שהאילוץ קיים:
gcloud org-policies list-custom-constraints --organization=ORGANIZATION_IDהפלט אמור להיראות כך:
CUSTOM_CONSTRAINT ACTION_TYPE METHOD_TYPES RESOURCE_TYPES DISPLAY_NAME custom.requireAssessmentTask ALLOW CREATE bigquerymigration.googleapis.com/MigrationWorkflow Only assessment tasks are allowed ...
יצירת המדיניות
שומרים את הקובץ הבא בשם
policy-assessment-tasks.yaml:name: projects/PROJECT_ID/policies/custom.requireAssessmentTask spec: rules: - enforce: trueמחליפים את
PROJECT_IDבמזהה הפרויקט.מחילים את המדיניות:
gcloud org-policies set-policy ~/policy-assessment-tasks.yamlמוודאים שהמדיניות קיימת:
gcloud org-policies list --project=PROJECT_IDהפלט אמור להיראות כך:
CONSTRAINT LIST_POLICY BOOLEAN_POLICY ETAG custom.requireAssessmentTask - SET CNPA+sYGEOC88P8C-
אחרי שמחילים את המדיניות, מחכים כשתי דקות עד ש- Cloud de Confiance יתחיל לאכוף את המדיניות.
בדיקת המדיניות
כדי לבדוק את מדיניות הארגון בהתאמה אישית, אתם יכולים לנסות ליצור תהליך עבודה ללא הערכה. כדי לעשות את זה, קודם צריך ליצור קובץ workflow.json, כמו בדוגמה הבאה:
{
"tasks": {
"my_task": {
"type": "Teradata2BigQuery_Translation",
"translation_details": {
"target_base_uri": "gs://some_bucket/target",
"source_target_mapping": [
{
"source_spec": {
"base_uri": "gs://some_bucket/dataset/"
}
},
{
"source_spec": {
"literal": {
"relative_path": ".",
"literal_string": "SELECT * FROM my_table;"
}
}
}
],
"target_return_literals": "sql/."
}
}
},
"display_name": "Translation request"
}
אחרי שיוצרים את הקובץ workflow.json, מנסים ליצור את תהליך העבודה באמצעות הפקודה הבאה:
bq mk --migration_workflow --location=us --config_file=workflow.json --project_id="PROJECT_ID"
מחליפים את PROJECT_ID במזהה הפרויקט.
אם מוצגת שגיאה שמשמעותה שאין הרשאה, סימן שהמדיניות הוחלה בהצלחה.