סקירה כללית של מאגרי נתונים מצטברים

במאמר הזה מוסבר על מאגרי נתונים מרכזיים (sinks) מצטברים, שמאפשרים לאסוף ולנתב רשומות ביומן שמקורן במשאבים בתיקייה או בארגון ליעד נתמך. מומלץ להשתמש ביעדים מצטברים כדי להפנות את נתוני היומן למיקום אחסון מרכזי.

מידע על מאגרי נתונים נצברים

מאגר מצטבר דומה למאגר ברמת הפרויקט, בכך שהוא מכיל מסננים ויעד. עם זאת, Log Router שולח ל-sink מצטבר את הרשומות הבאות ביומן:

  • כל רשומות היומן שמקורן בתיקייה או בארגון.
  • כל רשומות היומן שמקורן במשאבי הצאצא של התיקייה או הארגון.

לדוגמה, אם יוצרים יעד צבירה ברמת התיקייה, נתב היומנים שולח ליעד הזה את כל רשומות היומן שמקורן בתיקייה או במשאבי צאצא של התיקייה.

אם יש יעד מצטבר בהיררכיית המשאבים של רשומה ביומן, נתב היומנים שולח את הרשומה הזו ליעדים האלה. מאגרי נתונים מסוג aggregated יכולים להיות מסוג intercepting או מסוג non-intercepting, ולכן יכול להיות ש-Log Router לא ישלח רשומה ביומן שמופנית על ידי מאגר נתונים מסוג aggregated למאגרי נתונים ברמת הפרויקט.

הפסקת פעולה של מאגר נתונים מצטבר

מאגר נתונים מסוג intercepting aggregated sink מונע ניתוב של רשומות ביומן למאגרי נתונים במשאבי צאצא, למעט מאגרי הנתונים מסוג _Required במשאבים שבהם נוצרו הרשומות ביומן. מאגר נתונים מצטבר שחוצץ בין מקורות יכול להיות שימושי למניעת אחסון של עותקים כפולים של רשומות ביומן בכמה מקומות.

לדוגמה, נניח שאתם צריכים להפעיל את יומני הביקורת Data Access למטרות ביקורת. כדי לפשט את הניתוח, כדאי לאחסן את היומנים האלה במיקום מרכזי. עם זאת, מטעמי אבטחה ועלות, אתם רוצים גם למנוע את האחסון של היומנים האלה ברמת הפרויקט. בתרחיש הזה, אפשר ליצור sink מצטבר שחוסם את הנתונים.

יעד מצטבר שלא חוסם

מאגר נתונים משולב שלא מיירט לא משפיע על האופן שבו רשומות ביומן מנותבות למאגרים אחרים. כלומר, גם כש<b>רשומה ביומן</b> תואמת למסנן של אובייקט sink מצטבר שלא חוסם, <b>רשומה ביומן</b> זו מועברת לאובייקטים אחרים בהיררכיית המשאבים של <b>רשומה ביומן</b> זו. מאגר נתונים משולב שלא חוסם מאפשר לכם לשמור על נראות של רשומות ביומן במשאבים שבהם הן נוצרו.

לדוגמה, אפשר ליצור sink מצטבר שלא מבצע יירוט, ומנתב את כל רשומות היומן שנוצרו מהתיקיות שנכללות בארגון אל קטגוריה ביומן מרכזית. ערכי היומן מאוחסנים בקטגוריית היומן המרכזית. עם זאת, מכיוון שיעד ההעברה לא חוסם את ההודעות, נתב היומנים שולח גם רשומות ביומן ליעדי ההעברה של היומנים במשאב שבו הן נוצרו.

דוגמאות לתכנון מסלול

בקטע הזה מוסבר איך רשומה ביומן שנוצרה בפרויקט יכולה לעבור דרך מאגרי המידע בהיררכיית המשאבים שלו.

דוגמה: לא קיימים מאגרי נתונים מצטברים

אם אין מאגרי נתונים מסוג aggregated בדרגת ההיררכיה של המשאב של רשומת היומן, רשומת היומן נשלחת למאגרי היומנים בפרויקט שממנו היא מגיעה. אובייקט sink ברמת הפרויקט מעביר את רשומת היומן ליעד של אובייקט ה-sink אם רשומת היומן תואמת למסנן ההכללה של אובייקט ה-sink, אבל לא תואמת לאף אחד ממסנני ההחרגה של אובייקט ה-sink.

דוגמה: קיים מאגר נתונים מצטבר שלא מבצע יירוט

נניח שקיים יעד מצטבר שלא מיירט ביררכיית המשאבים עבור רשומה ביומן. אחרי שהכלי Log Router שולח את הרשומה ביומן אל מאגר נתונים מצטבר שלא מבצע יירוט, קורה הדבר הבא:

  1. אובייקט ה-sink המצטבר שלא מיירט את רשומת היומן מעביר אותה ליעד של ה-sink אם היא תואמת למסנן ההכללה אבל לא תואמת לאף מסנן החרגה.

  2. הכלי Log Router שולח את רשומת היומן אל יעד היומן בפרויקט שבו נוצרה רשומת היומן.

    אובייקט sink ברמת הפרויקט מעביר את רשומת היומן ליעד של אובייקט ה-sink אם רשומת היומן תואמת למסנן ההכללה של אובייקט ה-sink, אבל לא תואמת לאף אחד ממסנני ההחרגה של אובייקט ה-sink.

דוגמה: קיים מאגר נתונים מצטבר שמיירט נתונים

נניח שקיים מאגר נתונים מצטבר שחוצה פרויקטים ומיירט רשומת יומן בהיררכיית המשאבים. אחרי שהכלי Log Router שולח את הרשומה ביומן אל יעד מצטבר שחוסם את הרשומה, קורה אחד מהדברים הבאים:

  • הרשומה ביומן תואמת למסנן ההכללה אבל לא תואמת לאף מסנן החרגה:

    1. רשומת היומן מנותבת ליעד של ה-sink המצטבר שחוסם את הגישה.
    2. הרשומה ביומן נשלחת אל יעד _Required בפרויקט שבו נוצרה הרשומה ביומן.

  • הרשומה ביומן לא תואמת למסנן ההכללה או שהיא תואמת לפחות למסנן החרגה אחד:

    1. הרשומה ביומן לא מנותבת על ידי מאגר היעד המצטבר שמבצע את היירוט.

    2. הכלי Log Router שולח את רשומת היומן אל יעד היומן בפרויקט שבו נוצרה רשומת היומן.

      אובייקט sink ברמת הפרויקט מעביר את רשומת היומן ליעד של אובייקט ה-sink אם רשומת היומן תואמת למסנן ההכללה של אובייקט ה-sink, אבל לא תואמת לאף אחד ממסנני ההחרגה של אובייקט ה-sink.

יעדים נתמכים ל-aggregated sinks

בקטע הזה מפורטים היעדים שנתמכים עבור מאגרי נתונים מצטברים.

כיורים עם סיפון

היעד של מאגר נתונים מצטבר שחוצה פרויקטים חייב להיות פרויקטCloud de Confiance .

פריטי ה-sink ביומן בפרויקט היעד מעבירים את רשומות היומן ליעדים שלהם. יש תמיכה בכל היעדים חוץ מפרויקטים. לדוגמה, יכול להיות שפריטי ה-sink ביומן בפרויקט היעד ינתבו מחדש רשומות ביומן לקטגוריית יומן.

כיורים שלא מיירטים

היעד של מאגר נתונים מצטבר שלא חוסם יכול להיות כל אחד מהבאים:

היעד של מאגר יכול להיות במשאב אחר מהמאגר. לדוגמה, אפשר להשתמש ב-sink ביומן כדי להעביר רשומות ביומן מפרויקט אחד לקטגוריה ביומן שמאוחסנת בפרויקט אחר.

היעדים הבאים נתמכים:

פרויקט אחד (Cloud de Confiance )

בוחרים ביעד הזה כשרוצים שהיעדים של יומני הרישום בפרויקט היעד ינתבו מחדש את הרשומות ביומן, או כשיוצרים יעד צבירה שחוסם את הרשומות. פריטי ה-sink ביומן בפרויקט שהוא יעד ה-sink יכולים לנתב מחדש את רשומות היומן לכל יעד נתמך, למעט פרויקט.

קטגוריה ביומן
בוחרים ביעד הזה כשרוצים לאחסן את נתוני היומן במשאבים שמנוהלים על ידי Cloud Logging. אפשר להציג ולנתח נתוני יומן שמאוחסנים בדלי יומנים באמצעות שירותים כמו Logs Explorer.
נושא Pub/Sub
בוחרים ביעד הזה כשרוצים לייצא את נתוני היומן מ-Cloud de Confiance by S3NS ואז להשתמש בשילוב עם צד שלישי. רשומות היומן מעוצבות בפורמט JSON ואז מנותבות לנושא ב-Pub/Sub.

שיטות מומלצות

מומלץ שהיעד של מאגר נתונים מצטבר יהיה פרויקט Cloud de Confiance . עם היעד הזה, יומני הבקרה ביעד Cloud de Confiance ינתבו מחדש את הרשומות ביומן. אובייקט ה-sink‏ _Required מעביר רק רשומות ביומן שתואמות למסנן שלו ומקורן במשאב שבו מוגדר אובייקט ה-sink. לכן, אם רוצים לאחסן עותקים נוספים של רשומות ביומן שמתאימות למסנן של יעד _Required, צריך ליצור יעד מותאם אישית ליומן או לשנות את המסנן של יעד _Default ליומן.

כשיוצרים מאגר נתונים זמני שחוצץ בין מקורות לבין יעדים, מומלץ לבצע את הפעולות הבאות:

  • כדאי לשקול אם משאבים צאצאים צריכים בקרה עצמאית על ניתוב רשומות היומן שלהם. אם משאב צאצא צריך שליטה עצמאית ברשומות מסוימות ביומן, צריך לוודא שמאגר היעד שלכם לא מעביר את הרשומות האלה ביומן.

  • מוסיפים פרטים ליצירת קשר לתיאור של מאגר נתונים זמני שחוסם את השיחה. זה יכול להיות שימושי אם מי שמנהל את מאגר הנתונים הזמני שחוצה את הגבולות שונה ממי שמנהל את הפרויקטים שרשומות היומן שלהם נחצות.

  • כדי לבדוק את הגדרת יעד הנתונים, קודם יוצרים יעד נתונים מצטבר שלא מיירט את הנתונים, כדי לוודא שרשומות היומן הנכונות מנותבות.

המאמרים הבאים