מבוא להיררכיית המשאבים

המשאבים ב-BigQuery מאורגנים בהיררכיה, כמו בשירותים אחרים שלCloud de Confiance by S3NS . הבנת ההיררכיה הזו עוזרת לכם לבנות את המשאבים של BigQuery כדי לנהל עומסי עבודה, לשלוט בהרשאות, להקצות מכסות, להקצות הזמנות של משבצות ולעקוב אחרי החיוב.

היררכיית המשאבים

‫BigQuery יורש את Cloud de Confiance היררכיית המשאבים ומוסיף מנגנון קיבוץ נוסף שנקרא מערכי נתונים, שהוא ספציפי ל-BigQuery. בקטע הזה מתוארים הרכיבים של ההיררכיה הזו.

ארגונים

משאב הארגון מייצג ארגון (למשל חברה) והוא הצומת של הרמה הבסיסית (root) בהיררכיית המשאבים שלCloud de Confiance .

אתם לא צריכים משאב Organization כדי להתחיל להשתמש ב-BigQuery, אבל אנחנו ממליצים ליצור אחד. כשמשתמשים במשאב Organization, האדמינים יכולים לנהל את המשאבים ב-BigQuery באופן מרוכז, במקום שהמשתמשים ינהלו את המשאבים שהם יוצרים בעצמם.

תיקיות

תיקיות הן מנגנון קיבוץ נוסף מעל פרויקטים. פרויקטים ותיקיות בתוך תיקייה מקבלים באופן אוטומטי את כללי מדיניות הגישה של תיקיית ההורה שלהם. תוכלו להשתמש בתיקיות כדי להגדיר ישויות משפטיות, מחלקות וצוותים שונים בתוך החברה.

התיקיות שמוזכרות כאן הן חלק מCloud de Confiance היררכיית המשאבים. אל תתבלבלו ביניהם לבין תיקיות BigQuery, שמשמשות לארגון נכסי קוד.

פרויקטים

כל מערך נתונים ב-BigQuery משויך לפרויקט. כדי להשתמש ב- Cloud de Confiance, אתם צריכים ליצור לפחות פרויקט אחד. פרויקטים הם הבסיס ליצירה, להפעלה ולשימוש בכל שירותי Cloud de Confiance . מידע נוסף על היררכיית המשאבים פרויקט יכול להכיל כמה מערכי נתונים, ומערכי נתונים עם מיקומים שונים יכולים להתקיים באותו פרויקט.

כשמבצעים פעולות על הנתונים ב-BigQuery, כמו הרצת שאילתה או הטמעת נתונים בטבלה, נוצר ג'וב. משימה תמיד משויכת לפרויקט, אבל היא לא חייבת לפעול באותו פרויקט שמכיל את הנתונים. למעשה, משימה יכולה להפנות לטבלאות ממערכי נתונים בכמה פרויקטים. משימת שאילתה, משימת טעינה או משימת חילוץ תמיד פועלת באותו מיקום כמו הטבלאות שאליהן היא מפנה.

לכל פרויקט מצורף חשבון לחיוב ב-Cloud. העלויות שנצברות בפרויקט מחויבות בחשבון הזה. אם אתם משתמשים בתמחור על פי דרישה, השאילתות מחויבות בפרויקט שבו הן מופעלות. אם אתם משתמשים בתמחור מבוסס-קיבולת, החיוב על הזמנות המשבצות מתבצע בפרויקט הניהול ששימש לרכישת המשבצות. החיוב על האחסון מתבצע בפרויקט שבו נמצא מערך הנתונים.

מערכי נתונים

מערכי נתונים הם קונטיינרים לוגיים שמשמשים לארגון ולשליטה על הגישה למשאבים שלכם ב-BigQuery. מערכי נתונים דומים לסכימות במערכות אחרות של מסדי נתונים.

רוב המשאבים שיוצרים ב-BigQuery, כולל טבלאות, תצוגות, פונקציות ופרוצדורות, נוצרים בתוך מערך נתונים. חיבורים ומשימות הם חריגים, והם משויכים לפרויקטים ולא לקבוצות נתונים.

לכל מערך נתונים יש מיקום. כשיוצרים טבלה, נתוני הטבלה מאוחסנים במיקום של מערך הנתונים. לפני שיוצרים טבלאות לנתוני ייצור, חשוב לחשוב על דרישות לגבי מיקומים. אי אפשר לשנות את המיקום של מערך הנתונים אחרי שיוצרים אותו.

דוגמה להיררכיית משאבים

בתרשים הבא מוצגת דוגמה להיררכיית המשאבים. בדוגמה הזו, לארגון יש פרויקט בתוך תיקייה. הפרויקט משויך לחשבון לחיוב, ויש בו שלוש קבוצות נתונים.

לתשומת ליבכם

כשאתם בוחרים איך לארגן את המשאבים ב-BigQuery, כדאי להביא בחשבון את הנקודות הבאות:

• מכסות. הרבה מכסות ב-BigQuery חלות ברמת הפרויקט. חלק מההרשאות חלות ברמת מערך הנתונים. מכסות ברמת הפרויקט שכוללות משאבי מחשוב, כמו שאילתות ומשימות טעינה, נספרות בפרויקט שיוצר את המשימה ולא בפרויקט האחסון.
• חיוב. אם אתם רוצים שמחלקות שונות בארגון ישתמשו בחשבונות שונים לחיוב ב-Cloud, אתם צריכים ליצור פרויקטים שונים לכל צוות. יוצרים את החשבונות לחיוב ב-Cloud ברמת הארגון ומשייכים אליהם את הפרויקטים.
• הזמנות של יחידות קיבולת (Slot). המערכים השמורים מוגדרים ברמת משאב הארגון. אחרי שרוכשים קיבולת של משבצות שמורות, אפשר להקצות מאגר של משבצות לכל פרויקט או תיקייה בארגון, או להקצות משבצות למשאב הארגון כולו. פרויקטים יורשים את הזמנות ה-slots מהתיקייה או מהארגון שמעליהם בהיררכיה. המשבצות השמורות משויכות לפרויקט ניהול, שמשמש לניהול המשבצות. מידע נוסף זמין במאמר ניהול עומסי עבודה באמצעות Reservations.

• הרשאות. חשוב להביא בחשבון את האופן שבו היררכיית ההרשאות משפיעה על האנשים בארגון שצריכים לגשת לנתונים. לדוגמה, אם אתם רוצים לתת לצוות שלם גישה לנתונים ספציפיים, אתם יכולים לאחסן את הנתונים האלה בפרויקט אחד כדי לפשט את ניהול הרשאות הגישה.

  טבלאות וישויות אחרות יורשות את ההרשאות של מערך הנתונים הראשי שלהן. מערכי נתונים יורשים הרשאות מישויות ההורה שלהם בהיררכיית המשאבים (פרויקטים, תיקיות, ארגונים). כדי לבצע פעולה במשאב, המשתמש צריך גם את ההרשאות הרלוונטיות במשאב וגם הרשאה ליצור משימה ב-BigQuery. ההרשאה ליצור משימה משויכת לפרויקט שמשמש לאותה משימה.

דפוסים

בקטע הזה מוצגות שתי תבניות נפוצות לארגון המשאבים ב-BigQuery.

• אגם נתונים מרכזי, מאגרי נתונים מחלקתיים. הארגון יוצר פרויקט אחסון מאוחד שיכיל את הנתונים הגולמיים שלו. מחלקות בתוך הארגון יוצרות פרויקטים משלהן של data mart לצורך ניתוח.

• אגמי נתונים (data lakes) של מחלקות, מחסן נתונים (data warehouse) מרכזי. כל מחלקה יוצרת ומנהלת פרויקט אחסון משלה, שבו נשמרים הנתונים הגולמיים של המחלקה. לאחר מכן, הארגון יוצר פרויקט מרכזי של מחסן נתונים לצורך ניתוח.

לכל גישה יש יתרונות וחסרונות. ארגונים רבים משלבים אלמנטים משני הדפוסים.

אגם נתונים מרכזי, data marts מחלקתיים

בתבנית הזו, יוצרים פרויקט אחסון מאוחד שיכיל את הנתונים הגולמיים של הארגון. גם צינור הטמעת הנתונים יכול לפעול בפרויקט הזה. הפרויקט לאחסון מאוחד פועל כאגם נתונים (data lake) של הארגון.

לכל מחלקה יש פרויקט ייעודי משלה, שבו היא משתמשת כדי לשלוח שאילתות לגבי הנתונים, לשמור את תוצאות השאילתות וליצור תצוגות. הפרויקטים האלה ברמת המחלקה פועלים כ-data marts. הם משויכים לחשבון לחיוב של המחלקה.

היתרונות של המבנה הזה כוללים:

• צוות מרכזי של מהנדסי מערכות מידע יכול לנהל את צינור עיבוד הנתונים להטמעה במקום אחד.
• הנתונים הגולמיים מבודדים מהפרויקטים ברמת המחלקה.
• בתמחור על פי דרישה, החיוב על הרצת שאילתות מתבצע במחלקה שמריצה את השאילתה.
• בתמחור מבוסס-קיבולת, אתם יכולים להקצות משבצות לכל מחלקה בהתאם לדרישות המחשוב הצפויות שלה.
• כל מחלקה מבודדת מהאחרות מבחינת המכסות ברמת הפרויקט.

כשמשתמשים במבנה הזה, ההרשאות הבאות הן אופייניות:

• צוות מהנדסי מערכות המידע המרכזי מקבל את התפקידים 'עריכת נתונים ב-BigQuery' ו'משתמש במשימות ב-BigQuery' בפרויקט האחסון. התפקידים האלה מאפשרים להם להטמיע ולערוך נתונים בפרויקט האחסון.
• מנתחי נתונים במחלקות מקבלים את התפקיד "צפייה בנתונים ב-BigQuery" במערכי נתונים ספציפיים בפרויקט המרכזי של אגם הנתונים. כך הם יכולים לשלוח שאילתות לגבי הנתונים, אבל לא לעדכן או למחוק את הנתונים הגולמיים.
• למנתחי הנתונים של המחלקה מוקצים גם התפקידים BigQuery Data Editor ו-Job User בפרויקט ה-data mart של המחלקה. כך הם יכולים ליצור ולעדכן טבלאות בפרויקט שלהם ולהריץ משימות של שאילתות, כדי לשנות ולצבור את הנתונים לשימוש ספציפי במחלקה.

למידע נוסף, קראו על תפקידים והרשאות בסיסיים.

אגמי נתונים (data lakes) של מחלקות, מחסן נתונים (data warehouse) מרכזי

בתבנית הזו, כל מחלקה יוצרת ומנהלת פרויקט אחסון משלה, שבו נשמרים הנתונים הגולמיים של אותה מחלקה. פרויקט מרכזי של מחסן נתונים שבו מאוחסנים צבירות או טרנספורמציות של הנתונים הגולמיים.

אנליסטים יכולים לשלוח שאילתות ולקרוא את הנתונים הנצברים מהפרויקט של מחסן הנתונים. הפרויקט של מחסן הנתונים מספק גם שכבת גישה לכלי בינה עסקית (BI).

היתרונות של המבנה הזה כוללים:

• קל יותר לנהל את הגישה לנתונים ברמת המחלקה, באמצעות פרויקטים נפרדים לכל מחלקה.
• לצוות ניתוח נתונים מרכזי יש פרויקט אחד להרצת משימות ניתוח נתונים, וכך קל יותר לעקוב אחרי שאילתות.
• המשתמשים יכולים לגשת לנתונים מכלי BI מרכזי, שמופרד מהנתונים הגולמיים.
• אפשר להקצות משבצות לפרויקט של מחסן הנתונים כדי לטפל בכל השאילתות של מנתחי הנתונים והכלים החיצוניים.

כשמשתמשים במבנה הזה, אלה ההרשאות האופייניות:

• מהנדסי מערכות מידע מקבלים את התפקידים "עריכת נתונים ב-BigQuery" ו"משתמש במשימות ב-BigQuery" במאגר הנתונים של המחלקה שלהם. התפקידים האלה מאפשרים להם להטמיע נתונים ולהמיר אותם ל-data mart שלהם.
• למנתחי נתונים מוקצים התפקידים "עריכת נתונים ב-BigQuery" ו"משתמש במשימות ב-BigQuery" בפרויקט של מחסן הנתונים. התפקידים האלה מאפשרים להם ליצור תצוגות נתונים נצברות במחסן הנתונים ולהריץ משימות של שאילתות.
• חשבונות שירות שמקשרים את BigQuery לכלי BI מקבלים את התפקיד "צפייה בנתונים ב-BigQuery" במערכי נתונים ספציפיים, שיכולים להכיל נתונים גולמיים מאגם הנתונים או נתונים שעברו טרנספורמציה בפרויקט של מחסן הנתונים.

למידע נוסף, קראו על תפקידים והרשאות בסיסיים.

אתם יכולים גם להשתמש באמצעי אבטחה כמו תצוגות מורשות ופונקציות מורשות בהגדרת המשתמש (UDFs) כדי להפוך נתונים נצברים לזמינים למשתמשים מסוימים, בלי לתת להם הרשאה לראות את הנתונים הגולמיים בפרויקטים של ה-data mart.

מבנה הפרויקט הזה יכול לגרום להרבה שאילתות בו-זמניות בפרויקט של מחסן הנתונים. כתוצאה מכך, יכול להיות שתגיעו למגבלת השאילתות בו-זמנית. אם אתם משתמשים במבנה הזה, כדאי להגדיל את מגבלת המכסה של הפרויקט. כדאי גם להשתמש בחיוב מבוסס-קיבולת, כדי שתוכלו לרכוש מאגר של משבצות להרצת השאילתות.