מבוא לניהול BigQuery

בעזרת ניהול BigQuery אתם יכולים להגדיר, לאבטח ולנטר את משאבי הנתונים ואת עומסי העבודה של המחשוב בארגון. אתם יכולים להשתמש ביכולות האלה כדי להקצות קיבולת מחשוב, לשפר את ביצועי השאילתות, לשלוט בעלויות ולאכוף מדיניות גישה.

כדי לראות סיור בתכונות של ניהול נתונים ב-BigQuery ישירות במסוף Cloud de Confiance , לוחצים על Take the tour.

להתחלת הסיור

כלים

ב-BigQuery יש כמה ממשקים שאפשר להשתמש בהם למשימות ניהול. במקרים רבים אפשר לבצע משימה מסוימת באמצעות כמה כלים, כך שתוכלו לבחור את הכלי שהכי מתאים לכם. לדוגמה, אפשר ליצור טבלה באמצעות החלונית Explorer במסוףCloud de Confiance , פקודת bq mk --table או הצהרת SQL של CREATE TABLE.

  • Cloud de Confiance console. במסוף Cloud de Confiance יש כמה דפים שמיועדים לניהול BigQuery. איך משתמשים במסוף Cloud de Confiance ?

  • הצהרות SQL. בדף BigQuery במסוףCloud de Confiance יש עורך שאילתות שבו אפשר לבצע משימות ניהוליות באמצעות הצהרות DDL ו-DCL. למידע נוסף, קראו את המאמרים שפת הגדרת נתונים (DDL) ושפת בקרת נתונים (DCL).

    אתם יכולים להשתמש בפרוצדורות מאוחסנות כדי להפוך משימות ניהול שמשתמשות בהצהרות SQL לאוטומטיות. מידע נוסף זמין במאמר עבודה עם פרוצדורות מאוחסנות.

  • פקודות bq. כלי שורת הפקודה של BigQuery מאפשר לבצע הרבה משימות אדמיניסטרטיביות באמצעות פקודות bq. אתם יכולים להשתמש בכלי שורת הפקודה של BigQuery כדי לבצע משימות שלא נתמכות במסוף Cloud de Confiance , כדי ליצור אב טיפוס של יכולות לפני הקידוד שלהן בשאילתות או ב-methods של ה-API, או אם אתם מעדיפים לעבוד בממשק שורת הפקודה. למידע נוסף, קראו את המאמר שימוש בכלי שורת הפקודה של BigQuery.

ניהול משאבים

המשאבים של BigQuery כוללים ארגונים, תיקיות, פרויקטים, מערכי נתונים וטבלאות. בקטע הזה מוסבר איך לנהל את המשאבים של הארגון.

למידע על ארגון המשאבים של BigQuery, קראו את המאמר מבוא להיררכיית המשאבים. באופן ספציפי, אתם יכולים ליצור משאב ארגון שמאפשר לבצע משימות מסוימות, כמו הגדרת אמצעי בקרת גישה, ברמת הארגון.

ניהול מערכי נתונים

מערכי נתונים הם קונטיינרים של טבלאות. אפשר ליצור טבלאות במערך נתונים ולנהל אותן כקבוצה. לדוגמה, אפשר להגדיר את זמן התפוגה של טבלה כברירת מחדל של מערך נתונים, שחל על כל הטבלאות במערך הנתונים, אלא אם מבטלים אותו. אפשר להעתיק קבוצה של טבלאות על ידי יצירת עותק של מערך הנתונים שלהן, ולשלוט בגישה לטבלאות ברמת מערך הנתונים.

עיין במאמרי העזרה הבאים לקבלת מידע נוסף על ניהול קבוצות נתונים:

ניהול טבלאות

ב-BigQuery, הנתונים מאוחסנים בטבלאות, שבהן אפשר לשלוח שאילתות. אתם יכולים ליצור טבלאות, לטעון נתונים לטבלאות ממקורות שונים ובפורמטים שונים, לחלק טבלאות למחיצות על סמך עמודה ספציפית או לפי זמן הטמעת הנתונים, לאסוף טבלאות לאשכולות, לעדכן מאפייני טבלאות ולייצא נתוני טבלאות.

למידע נוסף על ניהול טבלאות, אפשר לעיין במסמכים הבאים:

מקורות מידע שקשורים לתוויות

כדי לארגן את המשאבים ב-BigQuery, אתם יכולים להוסיף תוויות למערכי הנתונים, לטבלאות ולתצוגות. תוויות הן צמדי מפתח/ערך שאפשר לצרף למשאב. אחרי שמוסיפים תוויות למשאבים, אפשר לחפש אותם לפי ערכי התוויות. לדוגמה, אפשר להשתמש בתוויות כדי לקבץ מערכי נתונים לפי מחלקה, על ידי הוספת תוויות כמו dept:sales,‏ dept:marketing או dept:analytics. לאחר מכן תוכלו לפרק את החיובים לפי מחלקה באמצעות התוויות.

מידע נוסף זמין במאמר מבוא לתוויות.

קבלת מידע על המשאב

כדי לקבל מידע על המשאבים שלכם ב-BigQuery, אתם יכולים לשלוח שאילתות לתצוגות של INFORMATION_SCHEMA. ב-BigQuery יש תצוגות לכל סוג משאב. לדוגמה, התצוגה INFORMATION_SCHEMA.TABLES מכילה מידע על הטבלאות.

הנה כמה דוגמאות למידע שאפשר לקבל באמצעות שאילתות בתצוגות של INFORMATION_SCHEMA:

  • לראות מתי הטבלה נוצרה.
  • קבלת השמות וסוגי הנתונים של כל עמודה בטבלה.
  • למצוא את כל המשימות שפועלות בפרויקט.
  • קבלת רשימה של תמונות המצב של הטבלאות שנוצרו ממסד נתונים טבלאי.
  • לקבלת הצהרת ה-DDL שאפשר להשתמש בה כדי ליצור את המשאב, עבור מערך נתונים, טבלה, תצוגה או שגרה.
  • קבלת האפשרויות ששימשו ליצירת טבלה (לדוגמה, תפוגת תוקף של טבלה).
  • למצוא את עמודות החלוקה למחיצות והקיבוץ לאשכולות בטבלה.
  • קבלת המקום השמור שהוקצה לפרויקט וקיבולת ה-slots שלו.

למידע נוסף, קראו את המאמר מבוא ל-BigQuery INFORMATION_SCHEMA.

העתקת הנתונים

יכול להיות שתרצו ליצור עותקים של הנתונים מסיבות שונות, כמו הגנה מפני טעויות אנוש או שמירת נתונים להשוואה בעתיד. ב-BigQuery יש כמה אפשרויות להעתקת נתונים של טבלה מנקודת זמן מסוימת.

  • מסע בזמן. יכול להיות שתצטרכו לגשת למצב של טבלה כפי שהיה בשבוע האחרון, למשל אם הנתונים נפגמו בגלל טעות אנוש. ב-BigQuery, הנתונים ההיסטוריים של הטבלאות נשמרים למשך שבעה ימים. אפשר לגשת לנתונים ההיסטוריים האחרונים של טבלה באמצעות התכונה "מסע בזמן".

    למידע נוסף, קראו את המאמר גישה לנתונים היסטוריים באמצעות Time Travel.

  • תמונות מצב של טבלאות. אם אתם רוצים שתהיה לכם גישה למצב של טבלה מלפני יותר משבוע, כדאי ליצור תמונות מצב של הטבלה מדי פעם. תמונות מצב של טבלאות הן עותקים קלים לקריאה בלבד, שמאפשרים לשמור את מצב הטבלאות ללא הגבלת זמן. לדוגמה, באמצעות קובצי snapshot של טבלאות אתם יכולים להשוות בין הנתונים הנוכחיים של הטבלה לבין הנתונים מתחילת השנה, דבר שלא ניתן לעשות באמצעות Time Travel. אתם מחויבים רק על אחסון הנתונים ששונים בין מסד הנתונים הטבלאי לבין תמונת המצב של הטבלה.

    מידע נוסף זמין במאמר מבוא לתמונות מצב של טבלאות.

  • שכפולי טבלאות. אם אתם רוצים ליצור עותק קל משקל של טבלה שניתן לכתוב בו, אתם יכולים להשתמש בשכפולי טבלאות. אתם משלמים רק על אחסון הנתונים ששונים בין מסד נתונים טבלאי לבין שכפול הטבלה שלו. לדוגמה, אתם יכולים ליצור שכפולי טבלאות בסביבת בדיקה כדי להתנסות בעותקים של נתוני ייצור בלי להשפיע על נתוני הייצור ובלי לשלם על אחסון של עותקים מלאים של הטבלאות.

    מידע נוסף זמין במאמר מבוא לשכפולי טבלאות.

מעקב אחרי שושלת הנתונים

שושלת נתונים היא תכונה של Knowledge Catalog שמאפשרת לעקוב אחרי האופן שבו הנתונים עוברים במערכות: מאיפה הם מגיעים, לאן הם מועברים ואילו טרנספורמציות מוחלות עליהם. למידע נוסף על האופן שבו שושלת נתונים יכולה לעזור לכם לעקוב אחרי תנועת הנתונים בפרויקט, קראו את המאמר מידע על שושלת נתונים ב-Knowledge Catalog.

משאבים מאובטחים

האבטחה ב-BigQuery מבוססת על Cloud de Confiance by S3NS ניהול זהויות והרשאות גישה (IAM). ב-BigQuery אפשר לשלוט בגישה למשאבים ברמות רבות, כולל גישה לארגון, לתיקיות, לפרויקטים, למערכי נתונים, לטבלאות, לעמודות בטבלאות ולשורות בטבלאות.

למידע על בקרת הגישה למשאבים של BigQuery, קראו את המאמר סקירה כללית על אבטחת מידע ומשילות.

ניהול עומסי עבודה

ב-BigQuery מתבצעות הרבה משימות בשביל המשתמשים, כולל הטמעה, שליחת שאילתות וייצוא של נתונים. כל משימה מבוצעת על ידי משימה ב-BigQuery. בקטע הזה מוסבר איך לעקוב אחרי המשימות של הארגון ולנהל אותן.

ניהול משרות

משימות הן פעולות ש-BigQuery מריץ בשביל המשתמש כדי לטעון, לייצא, להעתיק או להריץ שאילתות על נתונים. כשמשתמש מתחיל אחת מהמשימות האלה באמצעות מסוףCloud de Confiance , כלי שורת הפקודה של BigQuery, הצהרת SQL או קריאה ל-API, המערכת של BigQuery יוצרת באופן אוטומטי משימה לביצוע המשימה.

אדמינים ב-BigQuery יכולים לעקוב אחרי המשימות של הארגון, לנהל אותן ולפתור בהן בעיות כדי לוודא שהן פועלות בצורה חלקה.

מידע נוסף זמין במאמר ניהול משימות.

ניהול ההזמנות

כש-BigQuery מריץ שאילתות, הוא משתמש ביחידות מחשוב שנקראות מערכים. ‫BigQuery מחשב כמה משבצות נדרשות כדי להריץ כל שאילתה, בהתאם לגודל ולמורכבות של השאילתה.

ב-BigQuery יש שני מודלים לתמחור החיוב על המשבצות שמריצות את השאילתות:

  • חיוב על פי דרישה. השאילתות שלכם משתמשות במאגר משותף של משבצות, ואתם מחויבים על מספר הבייטים שהשאילתות מעבדות. למידע נוסף על מגבלות החיוב על פי דרישה, קראו את המאמר משימות של שאילתות.
  • חיוב לפי קיבולת. אתם מקצים הזמנה או התחייבות לקיבולת למהדורה, שלכל אחת מהן יש קבוצת תכונות ומחיר משלה, כדי לספק לכם את סביבת העבודה הטובה ביותר.

מודלי התמחור האלה חלים על כל פרויקט בנפרד, כך שחלק מהפרויקטים יכולים להשתמש בחיוב על פי דרישה וחלק מהפרויקטים יכולים להשתמש בחיוב מבוסס-קיבולת.

בחיוב על פי דרישה, אחרי שמנצלים את השימוש החינמי החודשי, משלמים על מספר הבייטים שמעובדים בכל שאילתה. התפוקה מוגבלת למכסת משבצות מוגדרת מראש, שמשותפת בין השאילתות שפועלות בפרויקט.

בחיוב לפי מהדורות BigQuery, אתם מקצים יחידות קיבולת מיועדות לארגון באמצעות הזמנות עם התאמה אוטומטית לעומס, וגם התחייבויות אופציונליות (אבל זולות יותר) לקיבולת. לכל מהדורה יש מחיר משלה, והיא מציעה קבוצה משלה של תכונות. למידע נוסף על מהדורות BigQuery והתכונות שמשויכות אליהן, קראו את המאמר מבוא למהדורות BigQuery.

במסמכים הבאים מוסבר איך לנהל את קיבולת המחשוב לעיבוד השאילתות:

מעקב אחרי משאבים

ב-Cloud de Confiance by S3NS אפשר לעקוב אחרי המשאבים שלכם, כולל משאבי BigQuery. בקטע הזה מתוארותCloud de Confiance יכולות המעקב והביקורת שרלוונטיות ל-BigQuery.

למידע נוסף, קראו את המאמר מבוא למעקב ב-BigQuery.

לוח הבקרה של Cloud Monitoring

ב-Cloud Monitoring יש לוח בקרה למעקב אחרי BigQuery. אתם יכולים להשתמש במרכז הבקרה הזה כדי לראות מידע על אירועים, מערכי נתונים, טבלאות, פרויקטים, זמני שאילתות וניצול משבצות ב-BigQuery.

איך פותחים את לוח הבקרה של Monitoring?

תרשימים והתראות של ניהול

אתם יכולים להשתמש ב-Cloud Monitoring כדי ליצור תרשימים בהתאמה אישית על סמך המשאבים, המדדים וכל צבירה שתציינו.

למידע נוסף, ראו מרכזי בקרה ותרשימים.

אתם יכולים גם ליצור מדיניות התראות כדי לקבל התראה אם ההתראה שהגדרתם מופעלת. לדוגמה, אתם יכולים ליצור התראה ששולחת אימייל לכתובת אימייל מסוימת אם זמן הביצוע של שאילתה חורג ממגבלה מסוימת.

למידע נוסף, קראו את המאמר יצירת התראה.

מעקב אחרי הזמנות

אפשר לעקוב אחרי השימוש ב-slots בדף Workload management במסוףCloud de Confiance . אתם יכולים לראות את ההתחייבויות לקיבולת ואת המקומות שבהם הוקצו הזמנות ה-slots. אתם יכולים גם להשתמש בכלי להערכת יחידות הקיבולת (גרסת טרום-השקה (Preview)) כדי להעריך את דרישות הקיבולת של הארגון על סמך מדדי ביצועים היסטוריים.

למידע נוסף, קראו את המאמר מעקב אחרי המערכים שהוקצו ב-BigQuery.

מכסות

ב-Cloud de Confiance by S3NS יש מגבלות על השימוש במשאבים, כולל משאבי BigQuery, כדי להבטיח שימוש הוגן במשאבים משותפים ולהגן עליכם מפני עלויות בלתי נשלטות. אתם יכולים להציג את השימוש במשאבי BigQuery שיש להם מכסות, ולבקש מכסה גבוהה יותר, אם צריך, באמצעות מסוף Cloud de Confiance .

למידע נוסף, קראו את המאמר מכסות ומגבלות ב-BigQuery.

יומני ביקורת

ביומני הביקורת של Cloud נשמר תיעוד של אירועי Cloud de Confiance , כולל אירועים ב-BigQuery. אתם יכולים להשתמש בLogs Explorer כדי לשלוח שאילתות על היומנים לגבי אירועים שקשורים למשימות, למערכי נתונים, להעברות ועוד ב-BigQuery. בלוח הבקרה של היומנים מוצג מידע על שגיאות שהתרחשו לאחרונה, ואפשר להשתמש במדדים מבוססי-יומנים כדי לספור את הרשומות ביומן שתואמות למסנן נתון.

מידע נוסף מופיע במאמרי העזרה בנושא רישום ביומן ב-Cloud de Confiance by S3NS .

אופטימיזציה של עומסי העבודה (workloads)

אתם יכולים לבצע אופטימיזציה של הגדרות BigQuery כדי לשלוט בעלויות האחסון ובעלויות של עיבוד השאילתות.

הנחיות בנושא אמינות

במסמך הזה מוסבר על האמינות של BigQuery, כולל תובנות לגבי זמינות, עמידות, עקביות של נתונים, עקביות של ביצועים ושחזור נתונים ב-BigQuery, וגם סקירה של שיקולים לטיפול בשגיאות. מידע נוסף על אמינות ותכנון התאוששות מאסון זמין במאמר הסבר על אמינות.

פתרון בעיות

בנוסף לתכונות שמתוארות במאמר הזה למעקב ולניהול של מערכת BigQuery בארגון, המשאבים הבאים זמינים לפתרון בעיות שעלולות לצוץ:

אם אתם צריכים עזרה נוספת, תוכלו לפנות לתמיכה.

המאמרים הבאים