ניהול צינורות עיבוד נתונים

במאמר הזה מוסבר איך לנהל צינורות נתונים של BigQuery, כולל איך לתזמן ולמחוק צינורות נתונים.

במסמך הזה מוסבר גם איך לצפות במטא-נתונים של פייפליינים בKnowledge Catalog ואיך לנהל אותם.

צינורות העיבוד מבוססים על Dataform.

לפני שמתחילים

  1. יצירת צינור עיבוד נתונים ב-BigQuery.
  2. כדי לנהל מטא-נתונים של צינורות ב-Knowledge Catalog, צריך לוודא ש-Dataplex API מופעל בפרויקט Cloud de Confiance .

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לניהול צינורות, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

  • כדי למחוק צינורות: אדמין Dataform (roles/dataform.Admin) בצינור
  • כדי לראות ולהריץ צינורות עיבוד נתונים: Dataform Viewer (roles/dataform.Viewer) בפרויקט

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

כדי לנהל מטא-נתונים של צינורות ב-Knowledge Catalog, צריך לוודא שיש לכם את התפקידים הנדרשים ב-Knowledge Catalog

מידע נוסף על IAM ב-Dataform זמין במאמר בקרת גישה באמצעות IAM.

הצגת כל צינורות הנתונים

כדי לראות רשימה של כל צינורות העיבוד בפרויקט:

  1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על כלי הניתוחים:

    כפתור מודגש לחלונית הסייר.

    אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

  3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Pipelines.

צפייה בהפעלות ידניות קודמות

כדי לראות הפעלות ידניות קודמות של צינור נתונים שנבחר:

  1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על כלי הניתוחים:

    כפתור מודגש לחלונית הסייר.

  3. בחלונית Explorer, מרחיבים את הפרויקט, לוחצים על Pipelines ובוחרים צינור.

  4. לוחצים על Executions (הרצות).

  5. אופציונלי: כדי לרענן את רשימת ההרצות הקודמות, לוחצים על רענון.

הגדרת התראות על הפעלות שנכשלו של צינורות עיבוד נתונים

לכל צינור יש מזהה מאגר תואם ב-Dataform. כל הרצה של צינור נתונים ב-BigQuery מתועדת ב-Cloud Logging באמצעות מזהה המאגר המתאים של Dataform. אתם יכולים להשתמש ב-Cloud Monitoring כדי לעקוב אחרי מגמות ביומנים של Cloud Logging לגבי הרצות של צינורות עיבוד נתונים ב-BigQuery, וכדי לקבל התראות כשמתרחשים תנאים שאתם מגדירים.

כדי לקבל התראות כשריצת צינור ב-BigQuery נכשלת, אפשר ליצור מדיניות התראות מבוססת-יומן עבור מזהה מאגר Dataform המתאים. הוראות מפורטות זמינות במאמר בנושא הגדרת התראות על הפעלות של תהליכי עבודה שנכשלו.

כדי למצוא את מזהה מאגר Dataform של הצינור:

  1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על כלי הניתוחים:

    כפתור מודגש לחלונית הסייר.

  3. בחלונית Explorer, מרחיבים את הפרויקט, לוחצים על Pipelines ובוחרים צינור.

  4. לוחצים על הגדרות.

    מזהה מאגר Dataform של צינור העברת הנתונים מוצג בחלק התחתון של הכרטיסייה הגדרות.

מחיקת צינור עיבוד נתונים

כדי למחוק סופית צינור, פועלים לפי השלבים הבאים:

  1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על כלי הניתוחים:

    כפתור מודגש לחלונית הסייר.

  3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Pipelines.

  4. מאתרים את צינור הנתונים שרוצים למחוק.

  5. לצד הצינור, לוחצים על הצגת פעולות ואז על מחיקה.

  6. לוחצים על Delete.

ניהול מטא-נתונים ב-Knowledge Catalog

ב-Knowledge Catalog אפשר לאחסן ולנהל מטא-נתונים של צינורות. צינורות זמינים כברירת מחדל ב-Knowledge Catalog, ללא צורך בהגדרה נוספת.

אתם יכולים להשתמש ב-Knowledge Catalog כדי לנהל פייפליינים בכל המיקומים של הפייפליינים. השימוש בצינורות ב-Knowledge Catalog כפוף למכסות ולמגבלות של Knowledge Catalog ולתמחור של Knowledge Catalog.

‫Knowledge Catalog מאחזר אוטומטית את המטא-נתונים הבאים מצינורות:

  • שם נכס הנתונים
  • נכס הורה של נכס נתונים
  • מיקום נכס הנתונים
  • סוג נכס הנתונים
  • פרויקט Cloud de Confiance מתאים

צינורות (Pipelines) מתועדים ב-Knowledge Catalog כרשומות עם ערכי הרשומה הבאים:

קבוצת רשומות של מערכת
קבוצת רשומות המערכת של צינורות עיבוד הנתונים היא @dataform. כדי לראות את הפרטים של רשומות פייפליין ב-Knowledge Catalog, צריך לראות את dataform קבוצת רשומות המערכת. הוראות להצגת רשימה של כל הרשומות בקבוצת רשומות מופיעות במאמר הצגת פרטים של קבוצת רשומות במסמכי התיעוד של Knowledge Catalog.
סוג רשומה של מערכת
סוג רשומת המערכת לצינורות הוא dataform-code-asset. כדי לראות את הפרטים של צינורות, צריך להציג את סוג הרשומה dataform-code-asset, לסנן את התוצאות באמצעות מסנן מבוסס-היבטים ולהגדיר את השדה type בתוך ההיבט dataform-code-asset לערך WORKFLOW. לאחר מכן, בוחרים רשומה של צינור המכירות שנבחר. הוראות להצגת פרטים של סוג רשומה נבחר מופיעות במאמר הצגת פרטים של סוג רשומה במסמכי Knowledge Catalog. הוראות להצגת פרטים של רשומה נבחרת מופיעות במאמר הצגת פרטים של רשומה במסמכי Knowledge Catalog.
סוג ההיבט של המערכת
סוג ההיבט של המערכת לצינורות הוא dataform-code-asset. כדי לספק הקשר נוסף לצינורות ב-Knowledge Catalog באמצעות הוספת הערות לרשומות של צינורות נתונים עם היבטים, אפשר להציג את סוג ההיבט dataform-code-asset, לסנן את התוצאות באמצעות מסנן מבוסס-היבטים ולהגדיר את השדה type בתוך ההיבט dataform-code-asset לערך WORKFLOW. הוראות להוספת הערות עם היבטים לרשומות מפורטות במאמר ניהול היבטים והעשרת מטא-נתונים במסמכי התיעוד של Knowledge Catalog.
סוג
הסוג של לוחות ציור של נתונים הוא WORKFLOW. הסוג הזה מאפשר לסנן צינורות בdataform-code-asset system entry type וב-dataform-code-asset aspect type באמצעות השאילתה בaspect-based filter.aspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW

הוראות לחיפוש נכסים ב-Knowledge Catalog מופיעות במאמר חיפוש נכסי נתונים ב-Knowledge Catalog בתיעוד של Knowledge Catalog.

המאמרים הבאים