ערכי הגדרה אוטומטיים לסוגי מכונות עם ביצועים גבוהים

במאמר הזה מוסבר איך להגדיר באופן אוטומטי ערכי ברירת מחדל של Cloud Storage FUSE שמשמשים לסוגי מכונות ב-Compute Engine עם ביצועים גבוהים, שמיועדים לייעל את הביצועים לעומסי עבודה תובעניים עם תפוקה גבוהה. ערכים שמוגדרים ידנית בזמן ההרכבה יחליפו את ערכי ברירת המחדל האלה.

סוגי מכונות

ערכי ההגדרה אוטומטיים לסוגי המכונות הבאים של Compute Engine עם ביצועים גבוהים:

סוג הסדרה סוג המכונה
סדרת מכונות A2

a2-megagpu-16g

a2-ultragpu-8g
סדרת מכונות A3

a3-edgegpu-8g

a3-highgpu-8g

a3-megagpu-8g

a3-ultragpu-8g
סדרת מכונות A4

a4-highgpu-8g-lowmem
סדרת מכונות A4X
a4x-highgpu-4g
‫TPU v5e

ct5l-hightpu-8t

ct5lp-hightpu-8t
‫TPU v5p

ct5p-hightpu-4t

ct5p-hightpu-4t-tpu
‫TPU v6e (Trillium)

ct6e-standard-4t

ct6e-standard-4t-tpu

ct6e-standard-8t

ct6e-standard-8t-tpu
‫TPU 7x (Ironwood)
tpu7x-standard-4t

ערכי הגדרה אוטומטיים

כשמזוהה סוג מכונה נתמך, Cloud Storage FUSE מחיל באופן אוטומטי את ערכי ההגדרות הבאים:

שדה בקובץ התצורה של Cloud Storage FUSE אפשרות ל-CLI של Cloud Storage FUSE ערך הגדרה אוטומטי
metadata-cache:negative-ttl-secs --metadata-cache-negative-ttl-secs 0
‫metadata-cache:ttl-secs1 ‫--metadata-cache-ttl-secs1

-1
metadata-cache:stat-cache-max-size-mb --stat-cache-max-size-mb 1024
implicit-dirs --implicit-dirs true
file-system:rename-dir-limit --rename-dir-limit 200000
write:global-max-blocks --write-global-max-blocks 1600

‫1הגדרת התצורה הזו לערך -1 משפרת באופן משמעותי את הביצועים, כי הקבצים תמיד נשלפים מהמטמון. חשוב לדעת שההגדרה הזו עוקפת את בדיקות העקביות, ולכן יכול להיות שיוצגו נתונים לא עדכניים. פרטים על ניהול עקביות הנתונים מופיעים במאמר סקירה כללית על שמירה במטמון ב-Cloud Storage FUSE.

כיוונון נוסף של הביצועים

כשמשתמשים בסוג מכונה עם ביצועים גבוהים Cloud de Confiance by S3NS , ערכי ההגדרה שמפורטים בדף הזה מוחלים באופן אוטומטי. עם זאת, אפשר לכוונן את המכונה כדי להשיג ביצועים אופטימליים באמצעות השיטות הבאות:

  • כדי לשפר את Cloud Storage FUSE, אפשר להיעזר במדריך לשיפור הביצועים. במדריך מוסבר איך להשתמש בתכונות ובהגדרות חשובות של Cloud Storage FUSE כדי להשיג תפוקה מקסימלית וביצועים אופטימליים.

  • אם אתם מריצים אימון, הגשה או יצירת נקודות ביקורת ועומסי עבודה של מטמון Just in Time (JIT) באשכולות של Google Kubernetes Engine שמשתמשים במעבדים גרפיים ל-Cloud או ב-Cloud TPU כדי לגשת למערכי נתונים גדולים ב-Cloud Storage, אתם יכולים לייעל את ההגדרה באמצעות קובצי YAML שהוגדרו מראש כדי לטעון את הקטגוריות של Cloud Storage ישירות לתוך ה-Pod-ים בצורה יעילה יותר. מידע נוסף והוראות לשימוש בקובצי GKE YAML שהוגדרו מראש זמינים במאמר שימוש בקובצי GKE YAML שהוגדרו מראש כדי לשפר את הביצועים של Cloud Storage FUSE.

  • אם אתם מריצים עומסי עבודה של אימון, הגשה או יצירת נקודות ביקורת באמצעות Cloud Storage FUSE, אתם יכולים להשתמש בשדה profile או באפשרות הפקודה --profile כדי להתאים באופן אוטומטי הגדרות ספציפיות של Cloud Storage FUSE לביצועים אופטימליים על סמך סוג עומס העבודה הספציפי. מידע נוסף זמין במאמר בנושא הגדרות מבוססות-פרופיל לעומסי עבודה של AI/ML.

המאמרים הבאים