סקירה כללית על שמירה במטמון ב-Cloud Storage FUSE

במאמר הזה מפורטות אפשרויות השמירה במטמון שזמינות ל-Cloud Storage FUSE, ואיך אפשר להגדיר כל סוג של מטמון.

כדי לשפר את הביצועים של אחזור הנתונים, Cloud Storage FUSE מציע שלושה סוגים של שמירה במטמון. בטבלה הבאה מפורט מידע נוסף על כל סוג של שמירה במטמון:

סוג השמירה במטמון תיאור
שמירת קבצים במטמון

מאיץ את קריאת נתוני הקבצים בעומסי עבודה שכוללים הרבה קריאות וגישה חוזרת לנתונים, במיוחד באימון של בינה מלאכותית ולמידת מכונה שבו אותם קבצים גדולים נקראים כמה פעמים, וכך מפחית משמעותית את זמן האחזור.
שמירת רשימות במטמון

מאיצה פעולות של רישום ספריות עבור עומסי עבודה שכוללים רישום תכנים שלמים של ספריות לעיתים קרובות, כמו איטרציה על קבוצה גדולה של קבצים בתחילת עבודת עיבוד, וכך משפרת את מהירות המעבר בין ספריות.
שמירת נתונים סטטיסטיים במטמון

מאיצה פעולות של מטא-נתונים של קבצים באפליקציות שבודקות לעיתים קרובות את מאפייני הקבצים. זה נפוץ בהרבה אפליקציות שבודקות שוב ושוב אם קובץ השתנה, וכך מצמצמת את מספר הקריאות ל-`GetMetadata` ל-Cloud Storage.

לתשומת ליבכם

  • הפעלת שמירת נתונים במטמון יכולה לשפר את הביצועים אבל להפחית את העקביות. זה קורה בדרך כלל כשניגשים לאותו באקט באמצעות כמה לקוחות עם שיעור שינוי גבוה. כדי לצמצם את ההשפעה על העקביות, מומלץ לטעון קטגוריות במצב קריאה בלבד. מידע נוסף על התנהגות השמירה במטמון זמין במאמר הסמנטיקה של Cloud Storage FUSE במאמרי העזרה של Cloud Storage FUSE GitHub.

  • כדי למנוע העמסה (thrashing) של המטמון, ודאו שכל קבוצת הנתונים מתאימה לקיבולת המטמון. בנוסף, כדאי לקחת בחשבון את הקיבולת המקסימלית ואת הביצועים שהמדיה במטמון יכולה לספק. אם הגעתם לביצועים המקסימליים של המטמון שהוקצה, למגבלת הקיבולת או לשניהם, כדאי לקרוא ישירות מ-Cloud Storage, שהמגבלות שלו גבוהות בהרבה מאלה של Cloud Storage FUSE.

נתיב קריאה לנתונים שנשמרו במטמון

המטמון של Cloud Storage FUSE מאיץ קריאות חוזרות אחרי שהן נטמעות במטמון. גם קריאות ראשונות וגם אי-מציאות במטמון עוברות ישירות ל-Cloud Storage, וכפופות לזמני האחזור הרגילים של הרשת ב-Cloud Storage. כדי לשפר את ביצועי הקריאה בפעם הראשונה, אפשר לעיין במאמר בנושא אכלוס שדות מראש של מטמון המטא-נתונים.

המאמרים הבאים