הגדרות מבוססות-פרופיל לעומסי עבודה של AI/ML

הגדרות מבוססות-פרופיל ב-Cloud Storage FUSE מאפשרות להחיל קבוצה מוגדרת מראש של תכונות אופטימליות לשמירה במטמון, ל-threading ולגודל של שטח אחסון זמני, בהתאם לסוג עומס העבודה של הבינה המלאכותית או למידת המכונה (AI/ML). הפרופילים עוזרים לייעל את ההגדרה של Cloud Storage FUSE ולהשיג ביצועים גבוהים בפחות מאמץ.

כדי להחיל פרופיל, משתמשים בשדה profile או באפשרות --profile עם אחד מהערכים הבאים: aiml-training לעומסי עבודה של אימון, aiml-checkpointing לעומסי עבודה של נקודות ביקורת או aiml-serving לעומסי עבודה של הצגת מודעות.

לתשומת ליבכם

• אפשר להגדיר את האפשרות --profile או את השדה profile רק במהלך פעולת טעינה. אם אתם צריכים לעדכן את האפשרות --profile או את השדה profile, אתם צריכים לטעון מחדש את הקטגוריה של Cloud Storage FUSE.

• כשמשתמשים בהגדרות מבוססות-פרופיל, Cloud Storage FUSE מגדיר את קיבולת המטמון של המטא-נתונים ואת משך החיים (TTL) ללא הגבלה, כלומר הרשומות אף פעם לא נמחקות מהמטמון של המטא-נתונים. אם אין מספיק זיכרון במכונה הווירטואלית, יכול להיות שתקבלו שגיאות של מחסור בזיכרון (OOM). לכן, מומלץ לבדוק את קיבולת הזיכרון לפני שמחילים הגדרות שמבוססות על פרופילים. שגיאות OOM צפויות להתרחש במכונות עם פחות מ-TiB אחד של זיכרון.

• כשמגדירים פרמטר של Cloud Storage FUSE בכמה דרכים, סדר הקדימויות הבא חל (מהגבוה לנמוך):

  1. ערכים שמוגדרים ישירות בפקודה gcsfuse או בקובץ תצורה של Cloud Storage FUSE.
  2. ערכים שמוגדרים על ידי פרופיל, כשהפרופיל מצוין באמצעות האפשרות --profile בפקודה gcsfuse או השדה profile בקובץ תצורה של Cloud Storage FUSE.
  3. ערכי ברירת המחדל מוחלים באופן אוטומטי כש-Cloud Storage FUSE מזהה סוג מכונה עם ביצועים גבוהים. למידע נוסף, קראו את המאמר ערכי הגדרה אוטומטיים לסוגי מכונות עם ביצועים גבוהים.

• נפחי Cloud Storage FUSE CSI ב-Google Kubernetes Engine Pods לא תומכים בשדה profile או באפשרות --profile.

• אי אפשר להפעיל שמירת קבצים במטמון באמצעות הגדרות מבוססות-פרופיל, כי שמירת קבצים במטמון מחייבת שימוש בשדות תצורה של Cloud Storage FUSE ובאפשרויות של Cloud Storage FUSE CLI שאי אפשר להכליל. כדי להפעיל שמירת קבצים במטמון לעומסי עבודה של הצגה, אימון או נקודות בקרה, צריך להגדיר במפורש את האפשרויות או השדות של שמירת קבצים במטמון.

החלת הגדרות מבוססות-פרופיל על עומסי עבודה של אימון

הפרופיל הספציפי לאימון מבצע אופטימיזציה של הביצועים לקריאות של קבוצות נתונים גדולות עם תפוקה גבוהה, ומונע מחומרת המעבדים הגרפיים ל-Cloud ו-Cloud TPU להמתין לנתונים.

כדי להחיל את הפרופיל הספציפי לאימון, מציינים את profile: aiml-training באמצעות קובץ תצורה של Cloud Storage FUSE או את --profile=aiml-training באמצעות ה-CLI של Cloud Storage FUSE. אחר כך מופעלות ההגדרות הבאות:

   # Create implicit directories locally when accessed:
   - implicit-dirs
   # Disable caching for lookups of files or directories that don't exist:
   - metadata-cache:negative-ttl-secs:0
   # Keep cached metadata (file attributes, types) indefinitely time-wise:
   - metadata-cache:ttl-secs:-1
   # Allow unlimited size for the file attribute (stat) cache:
   - metadata-cache:stat-cache-max-size-mb:-1

החלת הגדרות מבוססות-פרופיל על עומסי עבודה של נקודות בדיקה

הפרופיל הספציפי לנקודות בקרה משפר את הביצועים של כתיבה בנפח גבוה לקבצים גדולים, על ידי צמצום משמעותי של הזמן שנדרש כדי לשמור נקודות בקרה בגודל של כמה גיגה-בייט, וכך ממזער את ההפסקות באימון.

כדי להחיל את הפרופיל הספציפי לנקודות הבדיקה, מציינים את profile: aiml-checkpointing באמצעות קובץ תצורה של Cloud Storage FUSE או את --profile=aiml-checkpointing באמצעות ה-CLI של Cloud Storage FUSE. אחר כך מופעלות ההגדרות הבאות:

  # Create implicit directories locally when accessed:
  - implicit-dirs
  # Disable caching for lookups of files/dirs that don't exist:
  - metadata-cache:negative-ttl-secs:0
  # Keep cached metadata (file attributes, types) indefinitely time-wise:
  - metadata-cache:ttl-secs:-1
  # Allow unlimited size for the file attribute (stat) cache:
  - metadata-cache:stat-cache-max-size-mb:-1
  # Cache the entire file when any part is read sequentially:
  - file-cache:cache-file-for-range-read:true
  # Allow renaming directories with a lot of files in non-HNS buckets.
  - file-system:rename-dir-limit:200000

החלת הגדרות מבוססות-פרופיל על עומסי עבודה של הצגת מודעות

הצגת מודעות משפרת את הביצועים של עומסי העבודה של הצגת המודעות על ידי שיפור הגישה לנתונים ומנגנוני השמירה במטמון.

כדי להחיל את הפרופיל הספציפי להצגה, מציינים את profile: aiml-serving באמצעות קובץ תצורה של Cloud Storage FUSE או את --profile=aiml-serving באמצעות ה-CLI של Cloud Storage FUSE. אחר כך מופעלות ההגדרות הבאות:

  # Create implicit directories locally when accessed:
  - implicit-dirs
  # Disable caching for lookups of files/dirs that don't exist:
  - metadata-cache:negative-ttl-secs:0
  # Keep cached metadata (file attributes, types) indefinitely time-wise:
  - metadata-cache:ttl-secs:-1
  # Allow unlimited size for the file attribute (stat) cache:
  - metadata-cache:stat-cache-max-size-mb:-1
  # Cache the entire file when any part is read sequentially:
  - file-cache:cache-file-for-range-read:true
  # Enable kernel-list-cache to make listing faster as this is a readonly file system hierarchy.
  - file-system:kernel-list-cache-ttl-secs:-1

המאמרים הבאים

• מידע ולמידה על ערכי הגדרה אוטומטיים לסוגי מכונות עם ביצועים גבוהים

• איך משפרים את הביצועים באמצעות קובצי YAML מוגדרים מראש של GKE