המדדים של Cloud Storage FUSE עוזרים לכם לעקוב באופן רציף אחרי הביצועים, לזהות צווארי בקבוק פוטנציאליים שיכולים להשפיע על קצב הנתונים וזמן האחזור, ולטפל בבעיות במהירות כשהן מתרחשות. כשמשתמשים ב-Cloud Storage FUSE כדי לטעון קטגוריות בתור מערכות קבצים, Cloud Storage מספק מדדים מעמיקים ל-Cloud Storage FUSE. במאמר הזה נסביר על המדדים האלה ואיך לאסוף, לייצא ולנתח את נתוני המדדים.
שיטות לאיסוף מדדים
למטרות אבחון, אתם יכולים לאסוף מדדים ברקע כשאתם משתמשים ב-Cloud Storage FUSE. ב-Cloud Storage יש שתי דרכים לאסוף, לייצא ולנתח מדדים:
מייצא Cloud Monitoring: המדדים נאספים ומיוצאים ישירות מ-Cloud Storage FUSE ל-Cloud Monitoring. אחרי הייצוא, אפשר לראות את המדדים במסוף Cloud de Confiance .
יציאת Prometheus: המדדים מיוצאים בפורמט מבוסס-טקסט של מדדי Prometheus ביציאת Prometheus שצוינה, כמו
http://HOST:PROMETHEUS_PORT/metrics, באמצעות ערכת הכלים של Prometheus בקוד פתוח למעקב ולהתראות. אחר כך אפשר לראות את המדדים כפלט באמצעות כתובת URL של לקוח, כמוcurl http://HOST:PROMETHEUS_PORT/metrics
תמחור
החיוב על מדדי Cloud Storage FUSE מבוסס על השימוש. למידע נוסף על התמחור, קראו את המאמר התמחור של Google Cloud Observability.
שימוש ב-Cloud Monitoring exporter
כדי להשתמש בכלי הייצוא של Cloud Monitoring כדי לייצא, לאסוף ולנתח את המדדים מ-Cloud Storage FUSE ל-Cloud Monitoring, צריך לבצע את השלבים שמפורטים בקטעים הבאים.
קבלת התפקידים הנדרשים
כדי לקבל את ההרשאות שנדרשות לשימוש ב-Cloud Monitoring exporter, צריך לבקש מהאדמין להקצות לכם את התפקיד כתיבת מדדי מעקב (roles/monitoring.metricWriter) ב-IAM בפרויקט.
כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.
לפני שמתחילים
מפעילים את Cloud Monitoring API.
מפעילים את Cloud Storage API.
הגדרת הייצוא ל-Cloud Monitoring
כדי להגדיר את Cloud Monitoring exporter לאסוף, לייצא ולנתח מדדים של Cloud Storage FUSE, צריך לציין ערך של מספר שלם בשניות באמצעות השדה metrics:cloud-metrics-export-interval-secs בקובץ תצורה של Cloud Storage FUSE, או באמצעות האפשרות --cloud-metrics-export-interval-secs ב-CLI של Cloud Storage FUSE.
הצגת מדדים באמצעות מסוף Cloud de Confiance
כדי לראות את המדדים של Cloud Storage FUSE באמצעות מסוף Cloud de Confiance :
נכנסים לדף Metrics explorer במסוף Cloud de Confiance .
בוחרים את הפרויקט שרוצים לראות את המדדים שלו.
בתפריט הנפתח מדד, לוחצים על בחירת מדד.
בוחרים את סוג המשאב:
- למכונות וירטואליות של Compute Engine, בוחרים באפשרות VM Instance ואז באפשרות Custom metrics.
- ל-Pods של GKE, בוחרים באפשרות Kubernetes Pod > Gcsfusecsi.
מזינים את שם המדד שרוצים לראות.
שימוש ב-Prometheus כדי לייצא, לאסוף ולנתח מדדים
בקטעים הבאים מוסבר איך להגדיר את Prometheus ולהשתמש בו כדי לייצא, לאסוף ולנתח מדדים של Cloud Storage FUSE.
הגדרת Prometheus
כדי להגדיר את Prometheus, פועלים לפי ההוראות במאמר הגדרת Prometheus ל-Ops Agent.
שימוש ב-Prometheus
מציינים את יציאת ה-HTTP שאליה רוצים לייצא מדדים באמצעות השדה
prometheus-portבקובץ תצורה של Cloud Storage FUSE, או באמצעות האפשרות--prometheus-portgcsfuseב-CLI שלgcsfuse.מאמתים את נקודת הקצה של מדדי Prometheus באמצעות הפקודה הבאה:
curl https://localhost:8080/metricsאם הפקודה מסתיימת בלי שגיאות, היא מחזירה פלט שמכיל טקסט שדומה לזה:
# HELP file_cache_read_bytes_count The cumulative number of bytes read from file cache along with read type - Sequential/Random # TYPE file_cache_read_bytes_count counter file_cache_read_bytes_count{read_type="Random"} 0 file_cache_read_bytes_count{read_type="Sequential"} 80 # HELP file_cache_read_count Specifies the number of read requests made via file cache along with type - Sequential/Random and cache hit - true/false # TYPE file_cache_read_count counter file_cache_read_count{cache_hit="false",read_type="Random"} 215 file_cache_read_count{cache_hit="false",read_type="Sequential"} 5 # HELP file_cache_read_latencies The cumulative distribution of the file cache read latencies along with cache hit - true/false # TYPE file_cache_read_latencies histogram file_cache_read_latencies_bucket{cache_hit="false",le="1"} 215 file_cache_read_latencies_bucket{cache_hit="false",le="2"} 216 file_cache_read_latencies_bucket{cache_hit="false",le="3"} 216 file_cache_read_latencies_bucket{cache_hit="false",le="4"} 216 file_cache_read_latencies_bucket{cache_hit="false",le="5"} 216 ... file_cache_read_latencies_sum{cache_hit="false"} 483.62783500000023 file_cache_read_latencies_count{cache_hit="false"} 220 # HELP fs_ops_count The cumulative number of ops processed by the file system. # TYPE fs_ops_count counter fs_ops_count{fs_op="FlushFile"} 9 fs_ops_count{fs_op="GetInodeAttributes"} 91 fs_ops_count{fs_op="LookUpInode"} 584 fs_ops_count{fs_op="OpenDir"} 122 fs_ops_count{fs_op="OpenFile"} 9 fs_ops_count{fs_op="ReadDir"} 184 fs_ops_count{fs_op="ReadFile"} 220 fs_ops_count{fs_op="ReleaseDirHandle"} 122 fs_ops_count{fs_op="ReleaseFileHandle"} 9 fs_ops_count{fs_op="StatFS"} 10 # HELP fs_ops_error_count The cumulative number of errors generated by file system operations # TYPE fs_ops_error_count counter fs_ops_error_count{fs_error_category="NOT_IMPLEMENTED",fs_op="GetXattr"} 1 fs_ops_error_count{fs_error_category="NOT_IMPLEMENTED",fs_op="ListXattr"} 1 fs_ops_error_count{fs_error_category="INTERRUPT_ERROR",fs_op="LookUpInode"} 58 fs_ops_error_count{fs_error_category="NO_FILE_OR_DIR",fs_op="LookUpInode"} 6 # HELP fs_ops_latency The cumulative distribution of file system operation latencies # TYPE fs_ops_latency histogram fs_ops_latency_bucket{fs_op="FlushFile",le="1"} 9 fs_ops_latency_bucket{fs_op="FlushFile",le="2"} 9 fs_ops_latency_bucket{fs_op="FlushFile",le="3"} 9 fs_ops_latency_bucket{fs_op="FlushFile",le="4"} 9 fs_ops_latency_bucket{fs_op="FlushFile",le="5"} 9 ... fs_ops_latency_sum{fs_op="FlushFile"} 0.28800000000000003 fs_ops_latency_count{fs_op="FlushFile"} 9 # HELP gcs_download_bytes_count The cumulative number of bytes downloaded from Cloud Storage along with type - Sequential/Random # TYPE gcs_download_bytes_count counter gcs_download_bytes_count{read_type="Sequential"} 2.0971528e+08 # HELP gcs_read_count Specifies the number of Cloud Storage reads made along with type - Sequential/Random # TYPE gcs_read_count counter gcs_read_count{read_type="Sequential"} 5
המדדים הזמינים
Cloud Storage FUSE מספק את המדדים הבאים.
מדדים של מערכת הקבצים
מדדי מערכת הקבצים מספקים תובנות לגבי הפעולות שבוצעו בקטגוריה הטעונה, כמו זמן אחזור ושיעורי שגיאות.
| שם המדד | תיאור המדד |
|---|---|
fs/ops_count |
מספר הפעולות שעובדו על ידי מערכת הקבצים. אפשר לקבץ את המדד הזה לפי op_type כדי לקבל ספירות של פעולות ספציפיות. |
fs/ops_error_count |
מספר השגיאות שנוצרו על ידי פעולות במערכת הקבצים.
אפשר לקבץ את המדד הזה לפי op_type ו-error_category. כל שגיאה ממופה ל-error_category ביחס של רבים לאחד. |
fs/ops_latency |
ההתפלגות המצטברת של זמני האחזור של פעולות במערכת הקבצים.
אפשר לקבץ את המדד הזה לפי op_type. |
מדדים של Cloud Storage
המדדים של Cloud Storage מספקים תובנות לגבי האינטראקציות בין Cloud Storage FUSE לבין Cloud Storage.
| שם המדד | תיאור המדד |
|---|---|
gcs/download_bytes_count |
מספר הבייטים שהורדו מ-Cloud Storage, יחד עם סוג הקריאה. סוג הקריאה מציין קריאות רציפות, אקראיות או מקבילות. |
gcs/read_bytes_count |
מספר הבייטים שנקראו מאובייקטים של Cloud Storage, ששונה מ-download_bytes_count. לדוגמה, אם מאחזרים מ-Cloud Storage יותר נתונים ממה שהאפליקציה משתמשת בהם בפועל. |
gcs/read_count |
מספר הקריאות מ-Cloud Storage וסוג הקריאה: סדרתית, אקראית או מקבילה. |
gcs/reader_count |
מספר הקוראים של אובייקטים ב-Cloud Storage שנפתחו או נסגרו. הנתונים של המדד הזה מקובצים לפי סוג השיטה של הקלט/פלט (I/O), כמו opened או closed. |
gcs/request_count |
מספר הבקשות שעובדו ב-Cloud Storage. |
gcs/request_latencies |
ההתפלגות הכוללת של זמני האחזור של בקשות ב-Cloud Storage. |
gcs/retry_count |
מספר הבקשות לניסיון חוזר שנשלחו ל-Cloud Storage.
אפשר לקבץ את המדד הזה לפי retry_error_category, שמציין את קטגוריית השגיאה שהפעילה ניסיון חוזר. |
מדדים של מטמון הקבצים
מדדי המטמון של הקבצים מספקים תובנות לגבי הביצועים וההתנהגות של פעולות השמירה במטמון של קבצים ב-Cloud Storage FUSE.
| שם המדד | תיאור המדד |
|---|---|
file_cache/read_bytes_count |
מספר הבייטים שנקראו מהמטמון של הקובץ וסוג הקריאה, רציפה או אקראית. |
file_cache/read_latencies |
ההתפלגות הכוללת של זמני האחזור של קריאת המטמון של הקובץ והמציאה במטמון (cache hit), נכון או לא נכון. |
file_cache/read_count |
מספר בקשות הקריאה שבוצעו באמצעות המטמון של הקבצים, סוג הבקשה (למשל, רציפה או אקראית) והמציאה במטמון (נכון או לא נכון). |