מדדים של Cloud Storage FUSE

המדדים של Cloud Storage FUSE עוזרים לכם לעקוב באופן רציף אחרי הביצועים, לזהות צווארי בקבוק פוטנציאליים שיכולים להשפיע על קצב הנתונים וזמן האחזור, ולטפל בבעיות במהירות כשהן מתרחשות. כשמשתמשים ב-Cloud Storage FUSE כדי לטעון קטגוריות בתור מערכות קבצים, Cloud Storage מספק מדדים מעמיקים ל-Cloud Storage FUSE. במאמר הזה נסביר על המדדים האלה ואיך לאסוף, לייצא ולנתח את נתוני המדדים.

שיטות לאיסוף מדדים

למטרות אבחון, אתם יכולים לאסוף מדדים ברקע כשאתם משתמשים ב-Cloud Storage FUSE. ב-Cloud Storage יש שתי דרכים לאסוף, לייצא ולנתח מדדים:

  • מייצא Cloud Monitoring: המדדים נאספים ומיוצאים ישירות מ-Cloud Storage FUSE ל-Cloud Monitoring. אחרי הייצוא, אפשר לראות את המדדים במסוף Cloud de Confiance .

  • יציאת Prometheus: המדדים מיוצאים בפורמט מבוסס-טקסט של מדדי Prometheus ביציאת Prometheus שצוינה, כמו http://HOST:PROMETHEUS_PORT/metrics, באמצעות ערכת הכלים של Prometheus בקוד פתוח למעקב ולהתראות. אחר כך אפשר לראות את המדדים כפלט באמצעות כתובת URL של לקוח, כמו curl http://HOST:PROMETHEUS_PORT/metrics

תמחור

החיוב על מדדי Cloud Storage FUSE מבוסס על השימוש. למידע נוסף על התמחור, קראו את המאמר התמחור של Google Cloud Observability.

שימוש ב-Cloud Monitoring exporter

כדי להשתמש בכלי הייצוא של Cloud Monitoring כדי לייצא, לאסוף ולנתח את המדדים מ-Cloud Storage FUSE ל-Cloud Monitoring, צריך לבצע את השלבים שמפורטים בקטעים הבאים.

קבלת התפקידים הנדרשים

כדי לקבל את ההרשאות שנדרשות לשימוש ב-Cloud Monitoring exporter, צריך לבקש מהאדמין להקצות לכם את התפקיד כתיבת מדדי מעקב (roles/monitoring.metricWriter) ב-IAM בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

לפני שמתחילים

  1. מפעילים את Cloud Monitoring API.

  2. מפעילים את Cloud Storage API.

    כניסה ל-Cloud Storage API

הגדרת הייצוא ל-Cloud Monitoring

כדי להגדיר את Cloud Monitoring exporter לאסוף, לייצא ולנתח מדדים של Cloud Storage FUSE, צריך לציין ערך של מספר שלם בשניות באמצעות השדה metrics:cloud-metrics-export-interval-secs בקובץ תצורה של Cloud Storage FUSE, או באמצעות האפשרות --cloud-metrics-export-interval-secs ב-CLI של Cloud Storage FUSE.

הצגת מדדים באמצעות מסוף Cloud de Confiance

כדי לראות את המדדים של Cloud Storage FUSE באמצעות מסוף Cloud de Confiance :

  1. נכנסים לדף Metrics explorer במסוף Cloud de Confiance .

    כניסה ל-Metrics Explorer

  2. בוחרים את הפרויקט שרוצים לראות את המדדים שלו.

  3. בתפריט הנפתח מדד, לוחצים על בחירת מדד.

  4. בוחרים את סוג המשאב:

    • למכונות וירטואליות של Compute Engine, בוחרים באפשרות VM Instance ואז באפשרות Custom metrics.
    • ל-Pods של GKE, בוחרים באפשרות Kubernetes Pod‏ > Gcsfusecsi.

    מזינים את שם המדד שרוצים לראות.

    אילו מדדים זמינים ב-Cloud Storage ל-Cloud Storage FUSE?

שימוש ב-Prometheus כדי לייצא, לאסוף ולנתח מדדים

בקטעים הבאים מוסבר איך להגדיר את Prometheus ולהשתמש בו כדי לייצא, לאסוף ולנתח מדדים של Cloud Storage FUSE.

הגדרת Prometheus

כדי להגדיר את Prometheus, פועלים לפי ההוראות במאמר הגדרת Prometheus ל-Ops Agent.

שימוש ב-Prometheus

  1. מציינים את יציאת ה-HTTP שאליה רוצים לייצא מדדים באמצעות השדה prometheus-port בקובץ תצורה של Cloud Storage FUSE, או באמצעות האפשרות --prometheus-port gcsfuse ב-CLI של gcsfuse.

  2. מאמתים את נקודת הקצה של מדדי Prometheus באמצעות הפקודה הבאה:

     curl https://localhost:8080/metrics

    אם הפקודה מסתיימת בלי שגיאות, היא מחזירה פלט שמכיל טקסט שדומה לזה:

    # HELP file_cache_read_bytes_count The cumulative number of bytes read from file cache along with read type - Sequential/Random
    # TYPE file_cache_read_bytes_count counter
    file_cache_read_bytes_count{read_type="Random"} 0
    file_cache_read_bytes_count{read_type="Sequential"} 80
    # HELP file_cache_read_count Specifies the number of read requests made via file cache along with type - Sequential/Random and cache hit - true/false
    # TYPE file_cache_read_count counter
    file_cache_read_count{cache_hit="false",read_type="Random"} 215
    file_cache_read_count{cache_hit="false",read_type="Sequential"} 5
    # HELP file_cache_read_latencies The cumulative distribution of the file cache read latencies along with cache hit - true/false
    # TYPE file_cache_read_latencies histogram
    file_cache_read_latencies_bucket{cache_hit="false",le="1"} 215
    file_cache_read_latencies_bucket{cache_hit="false",le="2"} 216
    file_cache_read_latencies_bucket{cache_hit="false",le="3"} 216
    file_cache_read_latencies_bucket{cache_hit="false",le="4"} 216
    file_cache_read_latencies_bucket{cache_hit="false",le="5"} 216
    ...
    file_cache_read_latencies_sum{cache_hit="false"} 483.62783500000023
    file_cache_read_latencies_count{cache_hit="false"} 220
    # HELP fs_ops_count The cumulative number of ops processed by the file system.
    # TYPE fs_ops_count counter
    fs_ops_count{fs_op="FlushFile"} 9
    fs_ops_count{fs_op="GetInodeAttributes"} 91
    fs_ops_count{fs_op="LookUpInode"} 584
    fs_ops_count{fs_op="OpenDir"} 122
    fs_ops_count{fs_op="OpenFile"} 9
    fs_ops_count{fs_op="ReadDir"} 184
    fs_ops_count{fs_op="ReadFile"} 220
    fs_ops_count{fs_op="ReleaseDirHandle"} 122
    fs_ops_count{fs_op="ReleaseFileHandle"} 9
    fs_ops_count{fs_op="StatFS"} 10
    # HELP fs_ops_error_count The cumulative number of errors generated by file system operations
    # TYPE fs_ops_error_count counter
    fs_ops_error_count{fs_error_category="NOT_IMPLEMENTED",fs_op="GetXattr"} 1
    fs_ops_error_count{fs_error_category="NOT_IMPLEMENTED",fs_op="ListXattr"} 1
    fs_ops_error_count{fs_error_category="INTERRUPT_ERROR",fs_op="LookUpInode"} 58
    fs_ops_error_count{fs_error_category="NO_FILE_OR_DIR",fs_op="LookUpInode"} 6
    # HELP fs_ops_latency The cumulative distribution of file system operation latencies
    # TYPE fs_ops_latency histogram
    fs_ops_latency_bucket{fs_op="FlushFile",le="1"} 9
    fs_ops_latency_bucket{fs_op="FlushFile",le="2"} 9
    fs_ops_latency_bucket{fs_op="FlushFile",le="3"} 9
    fs_ops_latency_bucket{fs_op="FlushFile",le="4"} 9
    fs_ops_latency_bucket{fs_op="FlushFile",le="5"} 9
    ...
    fs_ops_latency_sum{fs_op="FlushFile"} 0.28800000000000003
    fs_ops_latency_count{fs_op="FlushFile"} 9
    # HELP gcs_download_bytes_count The cumulative number of bytes downloaded from Cloud Storage along with type - Sequential/Random
    # TYPE gcs_download_bytes_count counter
    gcs_download_bytes_count{read_type="Sequential"} 2.0971528e+08
    # HELP gcs_read_count Specifies the number of Cloud Storage reads made along with type - Sequential/Random
    # TYPE gcs_read_count counter
    gcs_read_count{read_type="Sequential"} 5

המדדים הזמינים

‫Cloud Storage FUSE מספק את המדדים הבאים.

מדדים של מערכת הקבצים

מדדי מערכת הקבצים מספקים תובנות לגבי הפעולות שבוצעו בקטגוריה הטעונה, כמו זמן אחזור ושיעורי שגיאות.

שם המדד תיאור המדד
fs/ops_count מספר הפעולות שעובדו על ידי מערכת הקבצים. אפשר לקבץ את המדד הזה לפי op_type כדי לקבל ספירות של פעולות ספציפיות.
fs/ops_error_count מספר השגיאות שנוצרו על ידי פעולות במערכת הקבצים. אפשר לקבץ את המדד הזה לפי op_type ו-error_category. כל שגיאה ממופה ל-error_category ביחס של רבים לאחד.
fs/ops_latency ההתפלגות המצטברת של זמני האחזור של פעולות במערכת הקבצים. אפשר לקבץ את המדד הזה לפי op_type.

מדדים של Cloud Storage

המדדים של Cloud Storage מספקים תובנות לגבי האינטראקציות בין Cloud Storage FUSE לבין Cloud Storage.

שם המדד תיאור המדד
gcs/download_bytes_count מספר הבייטים שהורדו מ-Cloud Storage, יחד עם סוג הקריאה. סוג הקריאה מציין קריאות רציפות, אקראיות או מקבילות.
gcs/read_bytes_count מספר הבייטים שנקראו מאובייקטים של Cloud Storage, ששונה מ-download_bytes_count. לדוגמה, אם מאחזרים מ-Cloud Storage יותר נתונים ממה שהאפליקציה משתמשת בהם בפועל.
gcs/read_count מספר הקריאות מ-Cloud Storage וסוג הקריאה: סדרתית, אקראית או מקבילה.
gcs/reader_count מספר הקוראים של אובייקטים ב-Cloud Storage שנפתחו או נסגרו. הנתונים של המדד הזה מקובצים לפי סוג השיטה של הקלט/פלט (I/O), כמו opened או closed.
gcs/request_count מספר הבקשות שעובדו ב-Cloud Storage.
gcs/request_latencies ההתפלגות הכוללת של זמני האחזור של בקשות ב-Cloud Storage.
gcs/retry_count מספר הבקשות לניסיון חוזר שנשלחו ל-Cloud Storage. אפשר לקבץ את המדד הזה לפי retry_error_category, שמציין את קטגוריית השגיאה שהפעילה ניסיון חוזר.

מדדים של מטמון הקבצים

מדדי המטמון של הקבצים מספקים תובנות לגבי הביצועים וההתנהגות של פעולות השמירה במטמון של קבצים ב-Cloud Storage FUSE.

שם המדד תיאור המדד
file_cache/read_bytes_count מספר הבייטים שנקראו מהמטמון של הקובץ וסוג הקריאה, רציפה או אקראית.
file_cache/read_latencies ההתפלגות הכוללת של זמני האחזור של קריאת המטמון של הקובץ והמציאה במטמון (cache hit), נכון או לא נכון.
file_cache/read_count מספר בקשות הקריאה שבוצעו באמצעות המטמון של הקבצים, סוג הבקשה (למשל, רציפה או אקראית) והמציאה במטמון (נכון או לא נכון).

המאמרים הבאים