שמירה במטמון של רשימות ב-Cloud Storage FUSE

שמירת רשימות במטמון ב-Cloud Storage FUSE מאיצה את פעולות הפירוט של ספריות, על ידי הצגת רשימות חוזרות של אותה ספרייה ממטמון בזיכרון. שמירת רשימות במטמון עוזרת להאיץ את המעבר על ספריות בעומסי עבודה שבהם מופיע לעיתים קרובות כל התוכן של ספרייה, כמו משימות שחוזרות על קבוצה גדולה של קבצים בתחילת העיבוד.

היתרונות של שמירת רשימות במטמון

  • פעולות מהירות יותר של רישום ספריות: שמירת רשימות במטמון משפרת את הביצועים של פעולות שמציגות את התוכן של ספריות. כשהשמירה במטמון של רשימות מופעלת, התוצאות של רשימות האובייקטים של Cloud Storage לספרייה נשמרות בזיכרון המטמון. אפשר להציג רשימות עוקבות של אותה ספרייה ישירות מהמטמון הזה.

  • זמן אחזור קצר יותר: כשמציגים תוצאות של רשימה מהמטמון המקומי, Cloud Storage לא צריך לבצע סבבי תקשורת ברשת כדי לאחזר את רשימת האובייקטים. כך זמן האחזור של פעולות הרישום של הספריות מתקצר משמעותית, במיוחד בספריות שמכילות הרבה אובייקטים או כשזמן האחזור של הרשת ארוך.

  • ביצועים משופרים לעומסי עבודה שחוזרים על עצמם: עומסי עבודה שסורקים שוב ושוב את אותן ספריות, כמו משימות אימון של בינה מלאכותית ולמידת מכונה (AI/ML), תהליכי build או כלים לסנכרון קבצים, יכולים לשפר את הביצועים.

  • אחסון בזיכרון: המטמון של הרשימה נשמר בזיכרון במטמון הדף, שנשלט על ידי הליבה על סמך זמינות הזיכרון, בניגוד למטמון הנתונים הסטטיסטיים שנשמר בזיכרון של המכונה ונשלט על ידי Cloud Storage FUSE.

הגדרת שמירת רשימות במטמון

אפשר להפעיל את השמירה במטמון של הרשימה באחת מהשיטות הבאות:

ביטול תוקף של מטמון רשימות

כדי להגדיר ביטול תוקף של מטמון הרשימה, צריך לציין ערך שגדול מ-0 באחת מהשיטות הבאות:

  • gcsfuse option‏: --kernel-list-cache-ttl-secs
  • שדה קובץ התצורה: file-system:kernel-list-cache-ttl-secs

התגובה של רשימת הספרייה נשמרת במטמון הדפים של הליבה, והיא נשארת בתוקף למשך הזמן שציינתם. כשמציינים את הערך -1, Cloud Storage FUSE משבית את התפוגה של המטמון של הרשימה ומחזיר את התגובה של הרשימה מהמטמון כשהיא זמינה. אם מציינים את הערך 0, המטמון של הרשימה מושבת.

המאמרים הבאים