רשומות ביומן הניתוב

במאמר הזה מוסבר איך Cloud Logging מנתב רשומות ביומן שמתקבלות משירותיCloud de Confiance by S3NS , מהאפליקציות שלכם ומספקי ענן אחרים. כברירת מחדל, Cloud Logging מעביר את כל היומנים למאגרי יומנים בפרויקט, בתיקייה או בארגון שבהם הם נוצרו. עם זאת, אפשר להגדיר sinks לניתוב נתונים לדליים בהתאמה אישית או ל-Pub/Sub לצורך אחסון או ניתוח. אם אתם מנתבים את רשומות היומן ל-Pub/Sub, אתם יכולים לייצא אותן לכלי צד שלישי.

העברה לעומת ייצוא של רשומות ביומן

ניתוב הוא התהליך של העברת רשומות ביומן שמתקבלות על ידי Cloud de Confiance פרויקט, תיקייה או ארגון ליעד. יעד הוא שירות שמבצע פעולה כלשהי על רשומות ביומן שהתקבלו. לדוגמה, אתם יכולים לנתב רשומות ביומן ליעד שהוא קטגוריית יומנים. יעד כזה סורק את רשומות היומן כדי למצוא מידע על שגיאות, ואז כותב את המידע הזה באחסון.

ייצוא הוא התהליך של העברת רשומות ביומן מ- Cloud de Confiance by S3NS למיקום חיצוני. לדוגמה, אפשר לנתב רשומות ביומן ל-Pub/Sub ואז לייצא אותן לכלים של צד שלישי.

‫Cloud Logging משתמש ביעדי יומנים כדי לנתב רשומות ביומן ליעדים. כברירת מחדל, הרשומות ביומן מנותבות לאחד משני מאגרי יומנים בCloud de Confiance פרויקט, בתיקייה או בארגון. אתם יכולים ליצור מאגרי יומנים כדי לנתב את נתוני היומן ליעדים אחרים. אפשר גם לשנות את אחד ממאגרי היומנים שנוצרו על ידי המערכת. במסמך הזה מתוארות האפשרויות האלה.

בעזרת Logs Explorer אפשר להוריד רשומות ביומן שמאוחסנות בקטגוריות של יומנים לאחסון מקומי. עם זאת, אפשרות ההורדה מוגבלת ל-10,000 רשומות ביומן. כדי לייצא את רשומות היומן מ-Cloud de Confiance by S3NS, צריך להגדיר sink ביומן כדי לנתב רשומות יומן נכנסות ל-Pub/Sub, ואז לייצא את הנתונים האלה מ- Cloud de Confiance by S3NS.

מידע על נתבי יומנים

לכל Cloud de Confiance פרויקט, חשבון לחיוב, תיקייה וארגון יש נתב יומנים, שמנהל את הזרימה של רשומות היומן דרך מאגרי מידע ברמת המשאב. כלי לניתוב יומנים מנהל גם את הזרימה של רשומה ביומן דרך מאגרי מידע שנמצאים בהיררכיית המשאבים של הרשומה. מאגרי נתונים קובעים איך רשומות ביומן מנותבות ליעדים.

נתב יומנים מאחסן רשומה ביומן באופן זמני. ההתנהגות הזו מספקת מאגר נתונים זמני למקרה של שיבושים זמניים והפסקות זמניות שעלולות להתרחש כשערך ביומן עובר דרך מאגרי נתונים. אחסון זמני לא מגן מפני שגיאות בהגדרות.

האחסון הזמני של נתבי יומנים שונה מהאחסון לטווח ארוך שמופיע בקטגוריות של יומנים.

המערכת מתעלמת מרשומות ביומן עם חותמות זמן שחלפו יותר מתקופת השמירה של היומנים או שחלפו יותר מ-24 שעות.

מידע על פריטי Sink ביומן

כש-sink ביומן מקבל רשומה ביומן, הוא קובע אם להתעלם ממנה או להעביר אותה אל היעד של ה-sink. אובייקט ה-sink ביומן משווה את רשומת היומן למסננים שלו כדי לקבל את ההחלטה הזו. יעד של sink יכול להיות פרויקט, מיקום אחסון או שירות כמו Pub/Sub. לדוגמה, מאגר יכול לנתב רשומות ביומן לקטגוריית יומנים.

יעדי יומנים שייכים למשאב Cloud de Confiance by S3NS מסוים: Cloud de Confiance פרויקטים, חשבונות לחיוב, תיקיות וארגונים. במשאבים האלה יש גם כמה יעד להעברת יומנים. כשמשאב מקבל רשומה ביומן, כל sink ביומן במשאב הזה מעריך את הרשומה ביומן באופן עצמאי. כתוצאה מכך, יכול להיות שכמה יעדים של יומנים ינתבו את אותו רשומה ביומן.

כברירת מחדל, נתוני היומן מאוחסנים בפרויקט שממנו הנתונים מגיעים. עם זאת, יש כמה סיבות לכך שתרצו לשנות את ההגדרה הזו:

  • לרכז את האחסון של נתוני היומן.
  • כדי לצרף את נתוני היומן לנתונים עסקיים אחרים.
  • כדי לארגן את נתוני היומן בצורה שימושית.
  • כדי להזרים את היומנים לאפליקציות אחרות, למאגרים אחרים או לצדדים שלישיים. לדוגמה, יכול להיות שתרצו לייצא את היומנים מ- Cloud de Confiance by S3NS כדי לצפות בהם בפלטפורמה של צד שלישי. כדי לייצא את רשומות היומן, צריך ליצור sink ביומן שמנתב את רשומות היומן ל-Pub/Sub.

פריט sink ביומן שהוגדר בצורה שגויה לא מעביר רשומות ביומן. אם יש הגדרה שגויה של יעד, נכתבים רשומות ביומן שמדווחות על פרטי השגיאה. בנוסף, יישלח אימייל לאנשי הקשר החיוניים של המשאב. מידע נוסף מופיע במאמר פתרון בעיות: הצגת שגיאות.

אי אפשר להשתמש ביעדים של יומנים כדי להפנות רשומות ביומן באופן רטרואקטיבי. כלומר, sink ביומן לא יכול להפנות רשומה ביומן שהתקבלה לפני שה-sink נוצר. באופן דומה, אם יש בעיה בהגדרות של יעד, היעד ינתב רק רשומות ביומן שמגיעות אחרי שהבעיה בהגדרות נפתרה.

תמיכה בארגונים ובתיקיות

כדי לעזור לכם לנהל את נתוני היומן בארגון או בתיקייה, אתם יכולים לבצע את הפעולות הבאות:

  • אפשר ליצור מאגרי יעד מצטברים, שמעבירים רשומות ביומן של ארגון או תיקייה ושל רכיבי הצאצא שלהם ליעד שצוין במאגר היעד. יש שני סוגים של מאגרי נתונים מצטברים:

    • מאגרי מידע מצטברים שלא מיירטים נתונים
    • יירוט של נתונים מצטברים ממקורות

    ההבדל בין שני סוגי היעדים האלה הוא שיעדים שחוצים את הרמה יכולים להשפיע על הניתוב של משאבים ברמה נמוכה יותר בהיררכיית המשאבים. מאגרי נתונים שלא מבצעים יירוט לא משפיעים על הניתוב של משאבים אחרים. כש-sink מיירט במשאב תואם לרשומה ביומן, הרשומה ביומן לא נשלחת ל-sinks במשאבי צאצא, למעט ה-sink של היומן _Required במשאב שממנו נוצרה הרשומה ביומן.

  • אתם יכולים להגדיר הגדרות ברירת מחדל למשאבים ב-Cloud Logging כדי לציין את ההגדרה של יעד _Default שנוצר על ידי המערכת למשאבים חדשים בארגון או בתיקייה. לדוגמה, אתם יכולים להשתמש בהגדרות האלה כדי להשבית את _Default sink או לציין את המסננים ב-sink הזה.

דוגמאות לתכנון מסלול

בקטע הזה מוסבר איך רשומה ביומן שנוצרה בפרויקט יכולה לעבור דרך מאגרי המידע בהיררכיית המשאבים שלו.

דוגמה: לא קיימים מאגרי נתונים מצטברים

אם אין מאגרי נתונים מסוג aggregated בדרגת ההיררכיה של המשאב של רשומת היומן, רשומת היומן נשלחת למאגרי היומנים בפרויקט שממנו היא מגיעה. אובייקט sink ברמת הפרויקט מעביר את רשומת היומן ליעד של אובייקט ה-sink אם רשומת היומן תואמת למסנן ההכללה של אובייקט ה-sink, אבל לא תואמת לאף אחד ממסנני ההחרגה של אובייקט ה-sink.

דוגמה: קיים מאגר נתונים מצטבר שלא מבצע יירוט

נניח שקיים יעד מצטבר שלא מיירט ביררכיית המשאבים עבור רשומה ביומן. אחרי שהכלי Log Router שולח את הרשומה ביומן אל מאגר נתונים מצטבר שלא מבצע יירוט, קורה הדבר הבא:

  1. אובייקט ה-sink המצטבר שלא מיירט את רשומת היומן מעביר אותה ליעד של ה-sink אם היא תואמת למסנן ההכללה אבל לא תואמת לאף מסנן החרגה.

  2. הכלי Log Router שולח את רשומת היומן אל יעד היומן בפרויקט שבו נוצרה רשומת היומן.

    אובייקט sink ברמת הפרויקט מעביר את רשומת היומן ליעד של אובייקט ה-sink אם רשומת היומן תואמת למסנן ההכללה של אובייקט ה-sink, אבל לא תואמת לאף אחד ממסנני ההחרגה של אובייקט ה-sink.

דוגמה: קיים מאגר נתונים מצטבר שמיירט נתונים

נניח שקיים מאגר נתונים מצטבר שחוצה פרויקטים ומיירט רשומת יומן בהיררכיית המשאבים. אחרי שהכלי Log Router שולח את הרשומה ביומן אל יעד מצטבר שחוסם את הרשומה, קורה אחד מהדברים הבאים:

  • הרשומה ביומן תואמת למסנן ההכללה אבל לא תואמת לאף מסנן החרגה:

    1. רשומת היומן מנותבת ליעד של ה-sink המצטבר שחוסם את הגישה.
    2. הרשומה ביומן נשלחת אל יעד _Required בפרויקט שבו נוצרה הרשומה ביומן.

  • הרשומה ביומן לא תואמת למסנן ההכללה או שהיא תואמת לפחות למסנן החרגה אחד:

    1. הרשומה ביומן לא מנותבת על ידי מאגר היעד המצטבר שמבצע את היירוט.

    2. הכלי Log Router שולח את רשומת היומן אל יעד היומן בפרויקט שבו נוצרה רשומת היומן.

      אובייקט sink ברמת הפרויקט מעביר את רשומת היומן ליעד של אובייקט ה-sink אם רשומת היומן תואמת למסנן ההכללה של אובייקט ה-sink, אבל לא תואמת לאף אחד ממסנני ההחרגה של אובייקט ה-sink.

מסננים של sink ביומן

כל אובייקט sink ביומן מכיל מסנן הכללה אחד ויכול להכיל כמה מסנני החרגה. המסננים האלה קובעים אם רשומה ביומן תנותב ליעד של sink ביומן. אם לא מציינים מסננים, כל רשומה ביומן מנותבת ליעד של מאגר הנתונים.

רשומה ביומן מנותבת על ידי sink ביומן על סמך הכללים הבאים:

  • אם רשומת היומן לא תואמת למסנן ההכללה, היא לא מנותבת. אם לא מציינים מסנן הכללה באובייקט sink, כל רשומה ביומן תתאים למסנן הזה.

  • אם רשומת היומן תואמת למסנן ההכללה ולפחות למסנן החרגה אחד, היא לא תנותב.

  • אם רשומת היומן תואמת למסנן ההכללה ולא תואמת לאף מסנן החרגה, היא מנותבת ליעד של אובייקט ה-sink.

המסננים ב-sink ביומן נקבעים באמצעות שפת השאילתות של Logging.

אי אפשר להשתמש במסנני החרגה כדי לצמצם את השימוש בentries.write מכסת ה-API או את מספר הקריאות ל-entries.write API. מסנני החרגה מופעלים אחרי שרשומות היומן מתקבלות על ידי Logging API.

פריטי Sink ביומן שנוצרו על ידי המערכת

לכל פרויקט, חשבון לחיוב, תיקייה וארגון ב- Cloud de Confiance ,‏ Cloud Logging יוצר שני יעד ליומן, אחד בשם _Required והשני בשם _Default. מסנני ההכללה וההחרגה של אובייקטי ה-sink האלה מוודאים שכל רשומה ביומן שמגיעה למשאב מנותבת על ידי אחד מאובייקטי ה-sink האלה. שני ה-sink ביומן מעבירים נתוני יומן לקטגוריה ביומן שנמצאת באותו משאב כמו ה-sink ביומן.

בחלקים הבאים של המאמר מפורט מידע על המסננים ויעדי הניקוז של היומנים שנוצרו על ידי המערכת.

_Required sink ביומן

השדה _Required sink ביומן במשאב מעביר קבוצת משנה של יומני ביקורת אל _Required קטגוריה ביומן של המשאב. באובייקט ה-sink הזה לא מצוינים מסנני החרגה, ומסנן ההכללה הוא כפי שמוצג:

LOG_ID("cloudaudit.googleapis.com/activity") OR
LOG_ID("externalaudit.googleapis.com/activity") OR
LOG_ID("cloudaudit.googleapis.com/system_event") OR
LOG_ID("externalaudit.googleapis.com/system_event") OR
LOG_ID("cloudaudit.googleapis.com/access_transparency") OR
LOG_ID("externalaudit.googleapis.com/access_transparency")

יעד יומן _Required תואם רק לרשומות ביומן שמקורן במשאב שבו מוגדר יעד היומן _Required. לדוגמה, נניח ש-sink ביומן מעביר רשומה ביומן הפעילות של פרויקט A לפרויקט B. מכיוון שרשומת היומן לא נוצרה בפרויקט B, sink ביומן _Required בפרויקט B לא מעביר את רשומת היומן הזו לקטגוריית היומן _Required.

אי אפשר לשנות או למחוק את _Required sink ביומן.

_Default sink ביומן

היעד _Default של היומן במשאב מעביר את כל רשומות היומן, למעט אלה שתואמות למסנן של היעד _Default של היומן, אל _Default מאגר היומנים של המשאב._Required מסנן ההכללה של היעד הזה ריק, ולכן הוא תואם לכל רשומות היומן. עם זאת, מסנן ההחרגה מוגדר כך:

NOT LOG_ID("cloudaudit.googleapis.com/activity") AND
NOT LOG_ID("externalaudit.googleapis.com/activity") AND
NOT LOG_ID("cloudaudit.googleapis.com/system_event") AND
NOT LOG_ID("externalaudit.googleapis.com/system_event") AND
NOT LOG_ID("cloudaudit.googleapis.com/access_transparency") AND
NOT LOG_ID("externalaudit.googleapis.com/access_transparency")

אפשר לשנות ולהשבית את יעד היומן _Default. לדוגמה, אפשר לערוך את _Default sink ביומן ולשנות את היעד. אפשר גם לשנות מסננים קיימים ולהוסיף מסנני החרגה.

יעדים של כיורים

היעד של מאגר יכול להיות במשאב אחר מהמאגר. לדוגמה, אפשר להשתמש ב-sink ביומן כדי להעביר רשומות ביומן מפרויקט אחד לקטגוריה ביומן שמאוחסנת בפרויקט אחר.

היעדים הבאים נתמכים:

פרויקט אחד (Cloud de Confiance )

בוחרים ביעד הזה כשרוצים שהיעדים של יומני הרישום בפרויקט היעד ינתבו מחדש את הרשומות ביומן, או כשיוצרים יעד צבירה שחוסם את הרשומות. פריטי ה-sink ביומן בפרויקט שהוא יעד ה-sink יכולים לנתב מחדש את רשומות היומן לכל יעד נתמך, למעט פרויקט.

קטגוריה ביומן
בוחרים ביעד הזה כשרוצים לאחסן את נתוני היומן במשאבים שמנוהלים על ידי Cloud Logging. אפשר להציג ולנתח נתוני יומן שמאוחסנים בדלי יומנים באמצעות שירותים כמו Logs Explorer.
נושא Pub/Sub
בוחרים ביעד הזה כשרוצים לייצא את נתוני היומן מ-Cloud de Confiance by S3NS ואז להשתמש בשילוב עם צד שלישי. רשומות היומן מעוצבות בפורמט JSON ואז מנותבות לנושא ב-Pub/Sub.

מגבלות על יעדים

בקטע הזה מתוארות מגבלות שספציפיות ליעד:

  • המגבלות הבאות חלות כשהיעד של sink ביומן הוא Cloud de Confiance פרויקט:

    • יש הגבלה של קפיצה אחת.
    • רשומות ביומן שתואמות למסנן של _Required sink ביומן מנותבות רק אל _Required הקטגוריה ביומן של פרויקט היעד אם הן נוצרו בפרויקט היעד.
    • רק מאגרי נתונים מצטברים שנמצאים בהיררכיית המשאבים של רשומה ביומן מעבדים את הרשומה.

    לדוגמה, נניח שיעד של sink ביומן בפרויקט A הוא פרויקט B. אז התנאים הבאים מתקיימים:

    • בגלל המגבלה של קפיצה אחת, מאגרי היומנים בפרויקט B לא יכולים לנתב מחדש רשומות ביומן לפרויקט Cloud de Confiance .
    • בקטגוריית היומן _Required של פרויקט B נשמרים רק רשומות יומן שמקורן בפרויקט B. קטגוריה ביומן זו לא מאחסנת רשומות ביומן שמקורן במשאבים אחרים, כולל אלה שמקורן בפרויקט A.
    • אם היררכיית המשאבים של פרויקט A שונה מהיררכיית המשאבים של פרויקט B, רשומה ביומן ש-sink ביומן בפרויקט A מעביר לפרויקט B לא תישלח למאגרי ה-sink המצטברים בהיררכיית המשאבים של פרויקט B.
    • אם לפרויקט A ולפרויקט B יש אותה היררכיית משאבים, רשומות היומן נשלחות למאגרי הנתונים המצטברים בהיררכיה הזו. אם רשומת יומן לא נחסמת על ידי sink מצטבר, נתב היומנים שולח את רשומת היומן אל ה-sinks בפרויקט A.

שיטות מומלצות

כשמנהלים את האחסון של היומנים, אפשר גם לנהל את יעד היומנים. לדוגמה, אם מוחקים את היעד של sink ביומן, צריך למחוק גם את sink ביומן התואם.

שיטות מומלצות לשימוש בהפניה לניהול נתונים או לתרחישים נפוצים מפורטות במאמרים הבאים:

דוגמאות: ריכוז של אחסון היומנים

בקטע הזה מוסבר איך להגדיר אחסון מרכזי. אחסון מרכזי מספק מקום אחד לשליחת שאילתות לגבי נתוני יומן, מה שמפשט את השאילתות כשמחפשים מגמות או בודקים בעיות. מבחינת אבטחה, יש לכם גם מיקום אחסון אחד, שיכול לפשט את המשימות של אנליסטים בתחום האבטחה.

אם אתם מרכזים את אחסון היומנים, כדאי לשקול אם להטיל מנעול למניעת מחיקה על הפרויקט שבו מאוחסנים נתוני היומנים. מנעול למניעת מחיקה יכול למנוע מחיקה בטעות של פרויקט. מידע נוסף זמין במאמר הגנה על פרויקטים באמצעות מנעולים.

ריכוז של אחסון יומנים לפרויקטים בתיקייה

נניח שאתם מנהלים תיקייה ורוצים לרכז את האחסון של רשומות היומן. לדוגמה, במקרה השימוש הזה, אפשר לבצע את הפעולות הבאות:

  1. בתיקייה, יוצרים פרויקט בשם CentralStorage.
  2. יוצרים sink מצטבר שחוצה תיקיות עבור התיקייה ומגדירים אותו להעברת כל הרשומות ביומן. הגדרתם את היעד של ה-sink להיות הפרויקט שנקרא CentralStorage.

כשמגיעה רשומה ביומן שמקורה בתיקייה או באחד ממשאבי הצאצא שלה, הרשומה הזו נשלחת למאגר המצטבר שנוצר לצורך יירוט. היעד הזה מעביר רשומות ביומן לפרויקט בשם CentralStorage. פריטי ה-sink ביומן בפרויקט הזה מעבדים את הרשומות ביומן:

אחרי שהעיבוד של sink מצטבר מסתיים, רשומה ביומן נשלחת אל sink ביומן _Required במשאב שממנו נוצרה רשומה ביומן. אם הרשומה ביומן תואמת לפילטר ב_Required sink ביומן, הרשומה ביומן מנותבת אל _Required קטגוריה ביומן של המשאב. לכן, כל Cloud de Confiance פרויקט בתיקייה מאחסן רשומות ביומן ב-_Required קטגוריה ביומן שלו.

ריכוז של אחסון יומנים עבור קבוצה של פרויקטים

אפשר גם לאחסן רשומות ביומן במיקום אחד כשאין לכם ארגון או תיקייה. לדוגמה, אפשר לבצע את הפעולות הבאות:

  1. יוצרים פרויקט בשם CentralStorage.
  2. לכל פרויקט חוץ מ-CentralStorage, עורכים את ה-sink ביומן _Default ומגדירים את היעד להיות הפרויקט שנקרא CentralStorage.

יכול להיות שתשאלו למה בדוגמה הקודמת היעד של _Default sink ביומן הוא פרויקט, ולא _Default קטגוריה ביומן באותו פרויקט. הסיבות העיקריות לכך הן פשטות ועקביות. כשמנתבים רשומות ביומן לפרויקט, מאגרי היומנים בפרויקט היעד קובעים אילו רשומות ביומן יישמרו ואיפה הן יישמרו. כלומר, אתם מרכזים את הפונקציונליות של המסנן והיעד. אם רוצים לשנות את רשומות היומן שנשמרות או את המיקום שבו הן נשמרות, צריך לשנות את יעד היומן רק בפרויקט אחד.

ריכוז של אחסון יומנים ליומני ביקורת

אפשר לאחסן באופן מרכזי רשומות ביומן שתואמות ל_Required sink ביומן. אם רוצים לאחסן את רשומות היומן האלה באופן מרכזי, אפשר לבצע אחת מהפעולות הבאות:

  • יוצרים מאגרי יומנים שמנתבים רשומות ביומן שתואמות למאגר היומנים _Required למאגר יומנים מרכזי.

  • מגדירים פריטי sink ביומן כמו בשתי הדוגמאות הקודמות, ואז מוסיפים פריט sink ביומן בפרויקט היעד שמנתב רשומות ביומן שתואמות לפריט ה-sink _Required ביומן לקטגוריה ביומן. אפשר גם לערוך את המסננים ב-_Default sink ביומן.

לפני שמטמיעים שיטה כזו, חשוב לעיין בהנחיות בנושא תמחור.

המאמרים הבאים

כדי לעזור לכם לנתב ולאחסן נתונים מ-Cloud Logging, תוכלו לעיין במסמכים הבאים: