מעקב אחרי משימות

אדמינים ב-BigQuery יכולים לעקוב אחרי משימות בכל הארגון באמצעות כלי לניהול משימות ב Cloud de Confiance מסוף. בכלי לבדיקת משרות יש אפשרויות סינון ומיון שיעזרו לכם לזהות משרות בעייתיות, להשוות ביניהן ולפתור בעיות שקשורות אליהן. לא צריך לכתוב שאילתות כדי לראות את פרטי העבודה, כמו הבעלים, הפרויקט, השימוש במשבצות, משך הזמן ועוד.INFORMATION_SCHEMA

באמצעות הכלי לחיפוש עבודות, אפשר:

‫BigQuery מספק את פרטי המשימות ותובנות מהתצוגות הבאות של INFORMATION_SCHEMA:

לפני שמתחילים

כדי להשתמש ב-Gemini Code Assist כדי לפתור בעיות בעבודות ב-BigQuery (גרסת Preview), צריך להגדיר את Gemini Code Assist כדי להפעיל את ה-API ולתת לו את התפקידים הנדרשים.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לשימוש בכלי לבדיקת משימות כדי לעקוב אחרי משימות, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

  • הצגת משימות ברמת הפרויקט: BigQuery Resource Viewer (roles/bigquery.resourceViewer) בפרויקט
  • הצגת משימות ברמת הארגון: BigQuery Resource Viewer (roles/bigquery.resourceViewer) בארגון
  • סינון לפי מקומות שמורים בארגון: BigQuery Resource Viewer (roles/bigquery.resourceViewer) באמצעות הארגון
  • צפייה בפרטי העבודה: BigQuery Resource Viewer (roles/bigquery.resourceViewer) בפרויקט שבו הופעלו השאילתות
  • הצגת פרטים ברמת המערכת: BigQuery Resource Viewer (roles/bigquery.resourceViewer) בפרויקט האדמין

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות כדי להשתמש בכלי לבדיקת סטטוס העבודות למעקב אחרי עבודות. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי להשתמש בכלי לבדיקת משרות כדי לעקוב אחרי משרות, נדרשות ההרשאות הבאות:

  • להצגת משרות ברמת הפרויקט: bigquery.jobs.listAll בפרויקט
  • צפייה במשרות ברמת הארגון: bigquery.jobs.listAll בארגון
  • סינון לפי הזמנות בארגון: bigquery.reservations.list בארגון

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

כדי להשתמש ב-Gemini Code Assist כדי לפתור בעיות בעבודות, אפשר לעיין בדרישות נוספות של IAM לשימוש ב-Gemini Code Assist.

סינון משימות

כדי לסנן משימות לפי שאילתות שכלולות בתצוגות INFORMATION_SCHEMA.JOBS*:

  1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בתפריט הניווט, לוחצים על Jobs explorer (סייר המשרות).

  3. ברשימה מיקום, בוחרים את המיקום שרוצים לראות את המשרות שלו.

  4. מפעילים מסננים לפי הצורך:

    • היקף המשרה: מסנן את המשרות לפי רמת החשיפה שלהן – למשל, הפרויקט הנוכחי, הארגון והמשרות שלכם. אתם יכולים לבחור להציג משימות מהפרויקט הנוכחי, מכל הארגון או רק משימות שיצרתם.
    • סטטוס: מסנן את העבודות לפי מצב ההפעלה הנוכחי שלהן – למשל, הושלם, שגיאה, פעיל ובהמתנה. כך תוכלו לזהות משימות פעילות או משימות שנכשלו.
    • קטגוריית משימה: מסננת משימות לפי סוג הפעולה שבוצעה, כמו שאילתות SQL סטנדרטיות או שאילתות מתמשכות שמשמשות לעיבוד נתונים בזמן אמת.
    • הסיבה ליצירת המשימה: מסנן משימות לפי הסיבה ליצירה שלהן ב-BigQuery, למשל כששאילתה חורגת מהזמן הקצוב לתפוגה או מפיקה תוצאות גדולות מדי לתגובה אחת.
    • עדיפות המשימה: סינון המשימות לפי עדיפות הביצוע שלהן, כמו משימות אינטראקטיביות או משימות אצווה.
    • מזהה המשימה: סינון משימה ספציפית לפי המזהה האלפאנומרי הייחודי שלה.
    • בעלים: סינון משימות לפי כתובת האימייל של המשתמש או חשבון השירות שהפעילו את המשימה.
    • מזהה פרויקט: מסנן משימות שהופעלו בפרויקט ספציפי. המסנן הזה זמין רק כשההגדרה היקף המשרה מוגדרת כארגון.
    • מזהה הזמנה: מסנן משרות שהשתמשו במשבצות מתוך הזמנה ספציפית. המידע הזה עוזר לכם לעקוב אחרי האופן שבו עומסי עבודה שונים צורכים קיבולת מוזמנת.
    • זמן משבצת גדול מ: סינון משימות שצרכו יותר מכמות מסוימת של מילי-שניות של משבצת. זהו מדד חשוב לזיהוי שאילתות שצורכות הרבה משאבים.
    • משך הזמן יותר מ: מסנן למשרות שהשלמתן נמשך יותר מזמן מסוים. אפשר להשתמש במידע הזה כדי למצוא שאילתות שפועלות לאט מהצפוי.
    • בייטים שעברו עיבוד יותר מ-: סינון משימות שסרקו יותר מכמות נתונים שצוינה. כך תוכלו לזהות שאילתות שעשויות לתרום לעלויות גבוהות של עיבוד נתונים.
    • תובנות לגבי שאילתות: סינון משימות שזוהו ב-BigQuery כבעיות ביצועים ספציפיות, כמו תחרות על משבצות, חריגה מקיבולת ערבול הזיכרון ושינוי קנה מידה של קלט הנתונים.
    • גיבוב (hash) של שאילתה: סינון לפי משרות עם גיבוב (hash) ספציפי של שאילתה. גיבוב של שאילתה מזהה את הלוגיקה של שאילתה, תוך התעלמות מהבדלים בתגובות, בערכי פרמטרים, בפונקציות מוגדרות על ידי המשתמש ובליטרלים. כך אפשר למצוא את כל ההפעלות של אותה לוגיקת שאילתה. השדה הזה מופיע בשאילתות GoogleSQL שבוצעו בהצלחה ולא נמצאו במטמון.
    • תוויות: סינון משרות לפי תוויות מטא-נתונים מותאמות אישית שאתם או הארגון שלכם צירפתם למשרות. כך תוכלו לסווג משרות ולעקוב אחריהן לפי מחלקה או אפליקציה.

פתרון בעיות בביצועים של משימות

כדי לאבחן ולפתור בעיות בשאילתות, אפשר לראות את מדדי ההרצה, את טקסט ה-SQL ואת היסטוריית הביצועים בדף פרטי העבודה.

צפייה בפרטי המשרה

כדי לראות את הפרטים של משימה ולנתח את הביצוע של השאילתה שלה:

  1. עוברים לדף Jobs explorer (הכלי לבדיקת משרות).

    כניסה לדף Jobs Explorer

  2. אופציונלי: כדי לצמצם את המשרות שמוצגות, מסננים את המשרות.

  3. לוחצים על מזהה המשימה שרוצים לבדוק. בשביל שאילתות שלא יוצרות משימה, מזהה השאילתה מופיע והקישור מושבת. לחיצה על מזהה משרה תקין פותחת את הדף Job details עם הכרטיסייה Performance שמוצגת כברירת מחדל.

מידע זמין על שאילתות

כדי לעזור לכם לאבחן את ביצועי השאילתות, בכרטיסייה ביצועים בפרטי העבודה מרוכזים הנתונים והמדדים הבאים, כשזה רלוונטי:

  • פרטי העבודה: מידע על העבודה, כולל מזהה העבודה, זמן היצירה, בייטים שעברו עיבוד ושימוש במשבצות. מידע נוסף זמין במאמר בנושא צפייה בפרטי המשרה.
  • היסטוריית הביצוע: רשימה של ביצועים היסטוריים של השאילתה, שמקובצים לפי גיבוב השאילתה. אפשר לבחור מתוך הרשימה הזו משרה להשוואה ישירה למשרה הנוכחית. מידע נוסף זמין במאמר השוואה בין משרות.

  • תרשים הביצוע: ייצוג חזותי של שלבי הביצוע של השאילתה. מרחיבים את הקטע Execution graph כדי לבדוק את התחרות על משבצות, את קיבולת הערבוב ואת קנה המידה של קלט הנתונים. מידע נוסף זמין במאמר בנושא קבלת תובנות לגבי ביצועי שאילתות.

    בדוגמה הבאה מוצג גרף ביצוע עם מיפוי של טקסט SQL מופעל:

    תרשים הביצוע של המשימות.

  • עומס המערכת במהלך ההרצה: סיכום של משאבי החישוב והגדרות ההזמנה שהוקצו במהלך הרצת העבודה.

אבחון רגרסיות בביצועים על ידי השוואה בין משימות ומערכות

הכלי להשוואת ביצועים מאפשר לכם לנתח את ההבדלים בביצועים בין שני ג'ובים של שאילתות או בין שני מרווחי זמן במערכת. בניתוח מוצגים פרטי שאילתות, שינויים בניצול המשאבים והגדרות סביבת המערכת ששונים באופן משמעותי בין סביבת הבסיס לסביבת היעד.

הסבר על ניתוח השוואתי

כלי ההשוואה מעריך את הביצועים על סמך מדדים ברמת השאילתה וגורמים ברמת המערכת. אפשר להפעיל את המתג הצגת הבדלים משמעותיים בלבד כדי להגביל את התצוגה למדדים עם שונות של יותר מ-20%.

ההבדלים המשמעותיים מקודדים בצבעים כדי לעזור לכם לסרוק את הבעיות:

  • ירוק: המדד השתפר (לדוגמה, משך שאילתה קצר יותר בהרצת היעד).
  • צהוב: המדד ירד ב-20% או פחות.
  • אדום: חלה ירידה של יותר מ-20% בערך המדד.

השוואה בין שני תפקידים

כדי להשוות בין ביצוע של עבודת בסיס לבין ביצוע של עבודת יעד:

  1. פותחים את הדף Jobs explorer.

    כניסה לדף Jobs Explorer

  2. אופציונלי: כדי לצמצם את המשרות שמוצגות, מסננים את המשרות.

  3. לוחצים על מזהה העבודה של עבודת הבסיס כדי לפתוח את הדף פרטי העבודה, ובוחרים בכרטיסייה ביצועים.

  4. בתפריט פעולות, לוחצים על השוואת משימות.

  5. בשדה Job one (baseline job) (משרה ראשונה (משרת בסיס)), לוחצים על Browse (עיון) כדי לפתוח את החלונית Similar comparable jobs (משרות דומות להשוואה).

  6. בוחרים את משרת היעד שרוצים להשוות לנתוני הבסיס ולוחצים על השוואה.

  7. אופציונלי: כדי להתמקד בירידות משמעותיות בביצועים, מפעילים את האפשרות הצגת הבדלים משמעותיים בלבד. כך התצוגה מוגבלת למדדים עם שונות של יותר מ-20%.

כדי לשנות את המשרות שמושוות בכל שלב, לוחצים על עיון בשדות של משרת הבסיס או משרת היעד ובוחרים משרה חדשה מתוך רשימת המשרות להשוואה.

ניתוח ברמת השאילתה

אחרי השוואה בין שני ג'ובים, אפשר לראות את הקטע ניתוח ברמת השאילתה, שבו מוצגת השוואה בין שני ביצועים של ג'ובים בשלוש כרטיסיות:

  • מדדים: השוואה בין מדדי שאילתות מרכזיים, כמו משך העבודה, זמן המשבצת, בייטים שעברו עיבוד ומאיצים שלא נעשה בהם שימוש.
  • טקסט SQL: מציג את הצהרות ה-SQL של שתי המשימות ומדגיש את ההבדלים בטקסט.
  • תרשים ביצוע: משווה בין תרשימי הביצוע של שני הג&#39ובים שלב אחר שלב כדי לזהות איפה נוצרו צווארי בקבוק.

השוואה בין שני מרווחי זמן של המערכת

מנהלים ואנליסטים יכולים לנתח מדדים של סביבה רחבה יותר על ידי השוואת ביצועי המערכת. הכלי הזה מאפשר להשוות בין מרווחי זמן היסטוריים בפרויקטים ובהזמנות ספציפיות, כדי להבין את השינויים בשימוש ולבודד את הגורם לירידה בביצועים – פנימי או חיצוני לעומס העבודה.

אפשר לעבור לתצוגת ההשוואה של ביצועי המערכת באחת מהדרכים הבאות:

  • בדף פרטי המשרה, אחרי השוואה בין שתי משרות, לוחצים על הצגת פרטים נוספים בקטע תוצאות ברמת המערכת כדי לראות פרטים על ההשוואה בין המערכות.
  • אם משתמשים ב-Gemini Cloud Assist כדי לבצע השוואה בין מערכות, Gemini Cloud Assist יוצר קישור שפותח את תוצאות ההשוואה בין המערכות.

כדי לבצע השוואה ברמת המערכת בין תקופות זמן נפרדות, פועלים לפי השלבים הבאים:

  1. בתצוגה השוואת ביצועים של המערכת, לוחצים על מערכת.
  2. כדי לבחור את המערכת שבה רוצים לנתח את הביצועים, לוחצים על עיון ובוחרים היקף של הזמנה או פרויקט.
  3. הגדרת מסגרות הזמן להשוואה:
    • מרווח היעד: בוחרים את חלון התאריכים והשעות של התקופה שבה נתקלתם בבעיות בביצועים, ולוחצים על אישור.
    • מרווח בסיסי: בוחרים את תאריך ההתייחסות ואת חלון הזמן שישמשו כנקודת השוואה לביצועים, ולוחצים על אישור.

ניתוח ברמת המערכת

אחרי השוואה בין מרווחי זמן, בתצוגה מוצגים שינויים בשימוש, שינויים בו-זמניים והבדלים בהגדרות בסביבה שנבחרה בהשוואה לקבוצת האב שלה. כך תוכלו לקבוע אם יש השפעה על עומס העבודה שלכם בגלל תחרות על משבצות זמן או בגלל רגרסיות בהגדרות. הנתונים נוצרים בשלושה בלוקים:

  • פרויקט: השוואה בין בו-זמניות משימות, בו-זמניות בתור והשימוש הכולל ביחידות קיבולת ברמת הפרויקט.
  • הזמנה: השוואה בין ניצול ההזמנה, שיתוף של יחידות קיבולת לא פעילות ושימוש בו-זמני בפרויקט בהזמנות משותפות.
  • ניתוח הגדרות: השוואה בין הגדרות ניהול עומסי העבודה בשתי ההרצות, כמו מכסות מקסימליות של גודל המקום השמור וכללים להשאלת יחידות קיבולת פנויות.

שימוש בתובנות לפתרון בעיות שקשורות לביצועים של סוכנים

כדי לשלוח משוב על התכונה הזו או לבקש תמיכה, אפשר לשלוח אימייל לכתובת bq-performance-troubleshooting+feedback@google.com.

כשעוקבים אחרי משימות ניהול או מעריכים השוואות ביצועים, Gemini Cloud Assist משתלב עם אבחון הבסיס של יכולת הצפייה ב-BigQuery כדי להפוך את חלונית הצ'אט לעוזר פעיל לפתרון בעיות. כך אפשר לפתור חריגות ברמת המשימה וברמת המערכת.

הגישה לתובנות מוגבלת. אם אין לכם הרשאות מספיקות, יכול להיות שהתובנות שתקבלו יהיו מוגבלות. מידע נוסף על הרשאות זמין במאמר שליטה בגישה למשאבים באמצעות IAM.

פתרון בעיות בביצועים ב-Chat

כדי לאתחל את פתרון הבעיות מבוסס-הקשר ולפעול לפי תובנות לגבי הביצועים, צריך לבצע את הפעולות הבאות:

  1. כדי לפתוח את חלונית הצ'אט עם Gemini Cloud Assist ולטעון באופן אוטומטי את ההקשר הרלוונטי של העבודה או המערכת, מבצעים אחת מהפעולות הבאות:
    • בדפים Jobs explorer או Job history, מעבירים את העכבר מעל משימה ולוחצים על spark Gemini בשורה של המשימה בטבלה.
    • בדף ניהול הקיבולת, מעבירים את העכבר מעל הזמנה ולוחצים על spark Gemini בשורה של הטבלה.
    • ב-Studio, ב-Monitoring או ב-Jobs explorer, לוחצים על spark Gemini.
  2. שולחים הנחיה בשפה טבעית. לדוגמה, יש לך שאלה ל-Gemini? אפשר לבקש מ-Gemini להסביר למה עבודה מסוימת פועלת לאט, לנתח נתונים סטטיסטיים ספציפיים של עבודה, לנתח ביצועים ספציפיים של מקום שמור, לפתור בעיות בביצועי המערכת או להשוות בין הבדלים בשונות בביצועים בין שתי עבודות היסטוריות דומות.
  3. אם חורגים מסף ברמת הארגון או ברמת ההזמנה, למשל תורים ארוכים מאוד של משבצות בגלל עלייה לא צפויה במספר הפרויקטים הפעילים בו-זמנית, כדאי לעיין בדוח תובנות לגבי הביצועים שנוצר. בדוח הזה מפורטים צווארי בקבוק קריטיים, כמו:
    • Increased Queued Concurrency: עליות חדות בביקוש לשאילתות מקבילות שחורגות ממגבלות מקבילות רכות או ממכסות של משבצות שמורות.
    • Increased Project Concurrency: מעקב אחרי פרויקטים מדויקים עם רמת מקביליות גבוהה או אחרי חשבונות משתמשים מובילים שגורמים לעומס על המערכת בקרב הזמנות משותפות או מכסות לפי דרישה.
  4. מעיינים בטבלה Key Metrics Comparison כדי לראות את ההבדלים המספריים המדויקים, כמו שינויים במספר הממוצע של פרויקטים בו-זמניים, במשבצות בתור או במגבלות על משבצות הזמנה.

  5. הפעלת פתרונות מוטמעים ישירות דרך קישורי העברה שניתן לפעול לפיהם, שנוצרו על ידי Gemini Cloud Assist. קיצורי הדרך האלה מפנים אתכם לכלים ספציפיים במוצר עם הקשר שמאוכלס מראש, כדי לענות על השאלות שלכם ולפתור בעיות:

    • עריכת ההקצאה: פותחת את חלונית הצד של ניהול עומסי העבודה כדי לשנות את הגודל המקסימלי של ההקצאה או להפעיל יכולות מתקדמות של שינוי גודל.
    • הצגת ביצועי המשרה בכלי לחיפוש משרות: פותח את הכרטיסייה 'פרטי הביצועים' של המשרה הספציפית.
    • השוואת ביצועים של משרות בכלי לחקר משרות: השוואה בין הביצועים של שתי משרות זו לצד זו.

תמחור

הכלי 'חיפוש משרות' זמין ללא עלות נוספת. השאילתות שמשמשות לאכלוס התרשימים האלה לא מחויבות ולא משתמשות במשבצות בהזמנות בבעלות המשתמש. הזמן הקצוב לתפוגה של שאילתות שמעבדות יותר מדי נתונים חלף.

המאמרים הבאים