הגדרת מאגרי יומנים

במאמר הזה מוסבר איך ליצור ולנהל מאגרי נתונים (buckets) של Cloud Logging באמצעות מסוף Cloud de Confiance ,‏ Google Cloud CLI ו-Logging API. בנוסף, במאמר מוסבר איך ליצור ולנהל קטגוריות של יומנים ברמת הפרויקט.Cloud de Confiance אי אפשר ליצור מאגרי יומנים ברמת התיקייה או הארגון, אבל Cloud Logging יוצר באופן אוטומטי מאגרי יומנים _Default ו-_Required ברמת התיקייה והארגון.

סקירה כללית של קטגוריות ביומן מופיעה במאמר סקירה כללית על ניתוב ואחסון: קטגוריות ביומן.

במסמך הזה לא מתואר איך ליצור קטגוריה ביומן שמשתמשת במפתח הצפנה בניהול הלקוח (CMEK). אם הנושא הזה מעניין אתכם, כדאי לעיין במאמר בנושא הגדרה של CMEK לאחסון יומנים.

לפני שמתחילים

כדי להתחיל להשתמש בדליים, צריך לבצע את הפעולות הבאות:

• מגדירים את הפרויקט:
  Cloud de Confiance

  1. מוודאים שהחיוב מופעל בפרויקט Cloud de Confiance .

  2. כדי לקבל את ההרשאות שנדרשות ליצירה, לשדרוג ולקשר של קטגוריית יומנים, צריך לבקש מהאדמין להקצות לכם את תפקיד ה-IAM Logs Configuration Writer (roles/logging.configWriter) בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

     יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

     רשימה מלאה של ההרשאות והתפקידים מופיעה במאמר בקרת גישה באמצעות IAM.

• הסבר על האזורים הנתמכים שבהם אפשר לאחסן את היומנים.

• צריך לבחור את הכרטיסייה הרלוונטית לאופן שבו תכננתם להשתמש בדוגמאות בדף הזה:

  המסוף

  כשמשתמשים במסוף Cloud de Confiance כדי לגשת לשירותים ולממשקי ה-API, לא צריך להגדיר אימות. Cloud de Confiance by S3NS

  gcloud

  התקינו את ה-CLI של Google Cloud ואז היכנסו ל-CLI של gcloud באמצעות הזהות המאוחדת שלכם. אחרי שנכנסתם לחשבון, אתחלו את ה-CLI של Google Cloud באמצעות הפקודה הבאה:

  gcloud init

  REST

  כדי להשתמש בסביבת פיתוח מקומית בדוגמאות של API בארכיטקטורת REST שבדף הזה, צריך להשתמש בפרטי הכניסה שאתם נותנים ל-CLI של gcloud.

  התקינו את ה-CLI של Google Cloud ואז היכנסו ל-CLI של gcloud באמצעות הזהות המאוחדת שלכם.

  מידע נוסף מופיע במאמר אימות לשימוש ב-REST במסמכי האימות של Cloud de Confiance .

• אם אתם מתכננים להשתמש ב-Google Cloud CLI או ב-Cloud Logging API כדי ליצור או לנהל את מאגרי היומנים, חשוב שתבינו את דרישות הפורמט של LogBucket.

יצירת קטגוריה

אפשר ליצור עד 100 קטגוריות לכל פרויקט.Cloud de Confiance אי אפשר ליצור מאגרי יומנים בתיקיות או בארגונים.

כדי ליצור קטגוריה ביומן שמוגדרת על ידי המשתמש עבור הפרויקט Cloud de Confiance , מבצעים את הפעולות הבאות:

gcloud logging buckets create BUCKET_ID --location=LOCATION

gcloud logging buckets create my-bucket --location global --description "My first bucket"

אחרי שיוצרים קטגוריה, יוצרים מאגר נתונים כדי להפנות רשומות ביומן לקטגוריה ומגדירים תצוגות של יומנים כדי לקבוע למי תהיה גישה ליומנים בקטגוריה ולאילו יומנים תהיה להם גישה. אפשר גם לעדכן את הקטגוריה כדי להגדיר שמירת נתונים בהתאמה אישית.

ניהול קטגוריות

בקטע הזה מוסבר איך לנהל את מאגרי היומנים באמצעות Google Cloud CLI או מסוף Google Cloud. Cloud de Confiance

עדכון קטגוריה

כדי לעדכן את המאפיינים של הדלי, כמו התיאור או תקופת השמירה:

gcloud logging buckets update BUCKET_ID --location=LOCATION UPDATED_ATTRIBUTES

gcloud logging buckets update my-bucket --location=global --description "Updated description"

נעילת קטגוריה

כשנועלים קטגוריה מפני עדכונים, נועלים גם את מדיניות שמירת הנתונים של הקטגוריה. אחרי שמדיניות שמירת נתונים ננעלת, אי אפשר למחוק את הקטגוריה עד שכל רשומה ביומן בקטגוריה תעמוד בתקופת השמירה של הקטגוריה. אם רוצים למנוע מחיקה בטעות של פרויקט שמכיל קטגוריה ביומן נעולה, צריך להוסיף מנעול למניעת מחיקה לפרויקט. מידע נוסף זמין במאמר הגנה על פרויקטים באמצעות מנעולים.

כדי למנוע מאנשים לעדכן או למחוק קטגוריה ביומן, נועלים את הקטגוריה. כדי לנעול את הקטגוריה:

gcloud logging buckets update BUCKET_ID --location=LOCATION --locked

gcloud logging buckets update my-bucket --location=global --locked

הצגת רשימה של קטגוריות

כדי לראות את מאגרי היומנים שמשויכים ל Cloud de Confiance פרויקט, ופרטים כמו הגדרות השמירה:

gcloud logging buckets list

gcloud logging buckets describe _Default --location=global

הצגת פרטים של קטגוריה

כדי לראות את הפרטים של קטגוריה ביומן יחידה:

gcloud logging buckets describe _Default --location=global

מחיקת קטגוריה

אפשר למחוק מאגרי יומנים שעומדים באחד מהתנאים הבאים:

• מאגר היומנים לא נעול.
• קטגוריית היומנים נעולה וכל רשומות היומן בקטגוריית היומנים עברו את תקופת השמירה של הקטגוריה.

אי אפשר למחוק קטגוריה ביומן שנעולה מפני עדכונים אם קטגוריה ביומן זו מאחסנת רשומות ביומן שלא השלימו את תקופת השמירה של הקטגוריה.

אחרי שמוציאים את פקודת המחיקה, קטגוריה ביומן עוברת למצב DELETE_REQUESTED ונשארת במצב הזה למשך 7 ימים. במהלך תקופה זו, הרישום ביומן ממשיך לנתב את היומנים לקטגוריה ביומן. כדי להפסיק להעביר יומנים לקטגוריה ביומן, צריך למחוק או לשנות את sink ביומן שמעבירים רשומות ביומן לקטגוריה.

אי אפשר ליצור קטגוריה חדשה ביומן שמשתמשת באותו שם כמו קטגוריה ביומן שנמצאת במצב DELETE_REQUESTED.

כדי למחוק קטגוריה ביומן:

gcloud logging buckets delete BUCKET_ID --location=LOCATION

שחזור של קטגוריה שנמחקה

אפשר לשחזר או לבטל את המחיקה של קטגוריה ביומן שנמצאת במצב 'בהמתנה למחיקה'. כדי לשחזר קטגוריה ביומן:

gcloud logging buckets undelete BUCKET_ID --location=LOCATION

כתיבה לקטגוריה

אתם לא כותבים יומנים ישירות לקטגוריית יומנים. במקום זאת, אתם כותבים את היומנים לCloud de Confiance משאב: Cloud de Confiance פרויקט, תיקייה או ארגון. היעדים במשאב ההורה מעבירים את היומנים ליעדים, כולל מאגרי יומנים. מאגר זמני מעביר יומנים ליעד של קטגוריית יומנים אם היומנים תואמים למסנן של המאגר הזמני, ולמאגר הזמני יש הרשאה להעביר את היומנים לקטגוריית היומנים.

קריאה מקטגוריה

לכל קטגוריה ביומן יש קבוצה של תצוגות יומנים. כדי לקרוא יומנים מקטגוריית יומנים, צריך גישה לתצוגת יומנים בקטגוריית היומנים. תצוגות יומנים מאפשרות להעניק למשתמש גישה רק לקבוצת משנה של היומנים שמאוחסנים בקטגוריה ביומן. מידע על הגדרת תצוגות יומנים ועל מתן גישה לתצוגות יומנים ספציפיות זמין במאמר הגדרת תצוגות יומנים בקטגוריה ביומן.

כדי לקרוא יומנים מקטגוריית יומנים:

gcloud logging read LOG_FILTER --bucket=BUCKET_ID --location=LOCATION --view=LOG_VIEW_ID

מידע מפורט על תחביר הסינון זמין במאמר בנושא שפת השאילתות של Logging.

הגדרת שימור מותאם אישית

כשיוצרים קטגוריה ביומן, אפשר להתאים אישית את התקופה שבה Cloud Logging מאחסן יומנים בקטגוריה. אפשר גם להגדיר את תקופת השמירה של קטגוריית היומן _Default כשקטגוריית היומן נמצאת בפרויקט.

אי אפשר לשנות את תקופת השמירה של קטגוריית היומנים _Required. בנוסף, אי אפשר להאריך את תקופת השמירה של קטגוריית יומנים שנמצאת בתיקייה או בארגון. עם זאת, אתם יכולים ליצור sink ביומן כדי להפנות רשומות ביומן ברמת התיקייה או הארגון לקטגוריה ביומן שנמצאת בפרויקט, ואז להגדיר את תקופת השמירה של קטגוריה זו ביומן.

אם מקצרים את תקופת השמירה של מאגר יומנים, יש תקופת חסד של 7 ימים שבה יומנים שתוקף השמירה שלהם פג לא נמחקים. אי אפשר לשלוח שאילתות לגבי היומנים שתוקפם פג או לצפות בהם. עם זאת, תוך 7 ימים, אפשר לשחזר את הגישה המלאה על ידי הארכת תקופת השמירה של ה-bucket. יומנים שנשמרים במהלך תקופת החסד נכללים בעלויות השמירה.

אכיפת שמירת הנתונים היא תהליך עקבי הדרגתי. אם אתם כותבים רשומות ביומן לקטגוריה ביומן כשהרשומות ביומן ישנות יותר מתקופת השמירה של הקטגוריה, יכול להיות שתוכלו לראות את הרשומות האלה ביומן לזמן קצר. לדוגמה, אם שולחים רשומות ביומן מלפני 10 ימים לקטגוריה ביומן עם תקופת שמירה של 7 ימים, הרשומות האלה יישמרו ואז יימחקו בסופו של דבר. רשומות היומן האלה לא נכללות בעלויות השמירה. הם כן נכללים בעלויות האחסון. כדי לצמצם את עלויות האחסון, אל תכתבו רשומות ביומן שגילן גבוה מתקופת השמירה של הדלי.

כדי לעדכן את תקופת השמירה של קטגוריה ביומן בהתאמה אישית או של קטגוריה ביומן _Default שנמצאת בפרויקט:

gcloud logging buckets update BUCKET_ID  --location=LOCATION --retention-days=RETENTION_DAYS

gcloud logging buckets update _Default --location=global --retention-days=365

אם מאריכים את תקופת השמירה של קטגוריה, כללי השמירה חלים על נתונים שנוספו אחרי השינוי, ולא באופן רטרואקטיבי. אחרי שתקופת השמירה הרלוונטית מסתיימת, אי אפשר לשחזר את היומנים.

פתרון בעיות נפוצות

אם נתקלתם בבעיות בשימוש בדליים של יומנים, תוכלו להיעזר בשלבים הבאים לפתרון בעיות ובתשובות לשאלות נפוצות.

למה אי אפשר למחוק את הדלי הזה?

אם אתם מנסים למחוק קטגוריה, אתם צריכים:

• מוודאים שיש לכם את ההרשאות הנכונות למחיקת המאגר. רשימת ההרשאות הנדרשות מופיעה במאמר בקרת גישה באמצעות IAM.

• כדי לדעת אם הקטגוריה נעולה, צריך לבדוק את המאפיינים שלה. אם המאגר נעול, צריך לבדוק את תקופת השמירה של המאגר. אי אפשר למחוק קטגוריה נעולה עד שכל היומנים בקטגוריה יסיימו את תקופת השמירה של הקטגוריה.

אילו חשבונות שירות מעבירים יומנים אל הדלי שלי?

כדי לבדוק אם לחשבונות שירות מסוימים יש הרשאות IAM להעברת יומנים לקטגוריית היעד, מבצעים את הפעולות הבאות:

1. נכנסים לדף IAM במסוף Cloud de Confiance :

   כניסה לדף IAM

   אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שמופיע בה הכותרת המשנית IAM & Admin.

2. בכרטיסייה Permissions (הרשאות), בוחרים באפשרות Roles (תפקידים). מוצגת טבלה עם כל התפקידים ב-IAM וחשבונות המשתמשים שמשויכים לCloud de Confiance פרויקט.

3. בתיבת הטקסט Filter בטבלה filter_list, מזינים Logs Bucket Writer.

   מוצגים כל חשבונות המשתמשים עם התפקיד Logs Bucket Writer. אם חשבון המשתמש הוא חשבון שירות, המזהה שלו מכיל את המחרוזת s3ns-system.iam.gserviceaccount.com.

4. אופציונלי: אם רוצים להסיר חשבון שירות מהאפשרות לנתב יומנים לפרויקט Cloud de Confiance , מסמנים את תיבת הסימון check_box_outline_blank של חשבון השירות ולוחצים על הסרה.

למה אני רואה יומנים של פרויקט מסוים למרות שהחרגתי אותם ממאגר הנתונים שלי? Cloud de Confiance _Default

יכול להיות שאתם צופים ביומנים בדלי יומנים בפרויקט מרכזי Cloud de Confiance , שבו היומנים מכל הארגון מרוכזים.

אם אתם משתמשים ב-Logs Explorer כדי לגשת ליומנים האלה ולראות יומנים שהחרגתם מ-_Default sink, יכול להיות שהתצוגה מוגדרת לCloud de Confiance רמת הפרויקט.

כדי לפתור את הבעיה, בוחרים באפשרות Log view בתפריט Refine scope ואז בוחרים את תצוגת היומן שמשויכת למאגר _Default בפרויקטCloud de Confiance . היומנים שהוחרגו לא אמורים להופיע יותר.

המאמרים הבאים

מידע על שיטות ה-API של קטגוריה ביומן מופיע במאמרי העזרה של LogBucket.

אם אתם מנהלים ארגון או תיקייה, אתם יכולים לציין את המיקום של מאגרי היומנים _Default ו-_Required של משאבי צאצא. אפשר גם להגדיר אם מאגרי יומנים ישתמשו ב-CMEK ואת ההתנהגות של _Default sink ביומן. מידע נוסף מופיע במאמר בנושא קביעת הגדרות ברירת מחדל לארגונים ולתיקיות.

מידע על טיפול בתרחישי שימוש נפוצים באמצעות מאגרי יומנים זמין בנושאים הבאים:

• איסוף ואחסון של היומנים של הארגון.

• הגדרת אזור ליומנים.