מאמרי עזרה על CLI של Cloud Storage FUSE

--anonymous-access

--app-name

--billing-project

--cache-dir

מפעילה את מטמון הקבצים ומציינת את הספרייה לאחסון נתוני מטמון הקבצים.

--client-protocol

• http1 ל-HTTP/1.1
• ‫http2 ל-HTTP/2
• grpc ל-gRPC. כדי להשתמש ב-gRPC עם Cloud Storage FUSE, מומלץ להשתמש ב-Cloud Storage FUSE בגרסה 2.10.0 או בגרסה חדשה יותר.

--cloud-metrics-export-interval-secs

מייצאת מדדים ל-Cloud Monitoring במרווח הזמן שצוין.

--config-file

--custom-endpoint

--debug_fuse (הוצאה משימוש)

--debug_gcs (הוצאה משימוש)

--debug_invariants

--debug_mutex

--dir-mode

--enable-buffered-read

--enable-nonexistent-type-cache (הוצאה משימוש)

--enable-streaming-writes

--file-cache-max-size-mb

המדיניות הזו מציינת את הגודל המקסימלי ב-MiB שמטמון הקבצים יכול להשתמש בו, ומאפשרת להגביל את הקיבולת הכוללת שמטמון הקבצים יכול להשתמש בה בספרייה שבה הוא מותקן.

• מספר שלם
• ‫-1: מציין את השימוש בכל הקיבולת הזמינה של המטמון בספרייה שציינתם ב-cache-dir. זוהי ברירת המחדל רק אם מועבר cache-dir.
• ‫0: השבתת המטמון של הקבצים.

--file-cache-cache-file-for-range-read

--file-cache-download-chunk-size-mb

--file-cache-enable-parallel-downloads

מאיצה את הקריאה של קבצים גדולים באמצעות ספריית מטמון הקבצים כמאגר אחזור מראש, ומשתמשת בכמה תהליכים להורדה מקבילה של כמה חלקים של קובץ.

ההורדות המקבילות מופעלות אוטומטית כשמפעילים את שמירת הקבצים במטמון. מידע נוסף על שמירת קבצים במטמון זמין במאמר שמירת קבצים במטמון ב-Cloud Storage FUSE.

מידע נוסף על הורדות במקביל ועל הגדרת מאפיינים תומכים זמין במאמר הורדות במקביל.

--file-cache-exclude-regex

--file-cache-include-regex

--file-cache-max-parallel-downloads

• מספר שלם
• ‫-1: מציין הורדות מקבילות ללא הגבלה.
• ‫0: השבתת הורדות במקביל. אפשר להשתמש בפרמטר הזה רק אם לא מעבירים את הפרמטר --enable-parallel-downloads או אם מעבירים אותו כ-false.

--file-cache-parallel-downloads-per-file

--file-mode

--foreground

--gid

• מספר שלם שמייצג GID.
• ‫-1: נעשה שימוש ב-GID של הצד שקורא.

--help

--version

--http-client-timeout

--ignore-interrupts

--implicit-dirs

--kernel-list-cache-ttl-secs

מפעילה את מטמון הרשימה ומגדירה את אורך החיים (TTL) בשניות של רשומות הרשימה שנשמרו במטמון. המטמון של הרשימה נשמר בזיכרון במטמון של הדף, שנשלט על ידי הליבה על סמך הזיכרון הזמין.

• מספר שלם שמייצג שניות, לדוגמה: 10 (10 שניות).
• ‫0: השבתת השמירה של הרשימה במטמון.
• ‫-1: המערכת עוקפת את תפוגת התוקף של הרשומה ותמיד מחזירה את התגובה של הרשימה מהמטמון כשהיא זמינה.

--key-file

--limit-bytes-per-sec

--limit-ops-per-sec

--log-file

--log-format

• text
• json

--log-rotate-backup-file-count

• מספר שלם
• ‫0: שמירה של כל קובצי היומן שעברו רוטציה

--log-rotate-compress

--log-rotate-max-file-size-mb

--log-severity

רמת החומרה שרוצים ש-Cloud Storage FUSE ייצור עבורה יומנים. הסדר של רמות החומרה הוא מהנמוכה ביותר לגבוהה ביותר. לדוגמה, כשמציינים את הערך warning, מערכת Cloud Storage FUSE יוצרת יומנים לאזהרות ולשגיאות. באופן כללי, מומלץ להשתמש ברמת החומרה info.

• ‫off: משבית את כל הרישום ביומן.
• ‫error: מכילה הודעות על בעיות חמורות שמונעות מ-Cloud Storage FUSE להשלים פעולה, או מצביעות על כשל כמו כשלים בטעינה, שגיאות הרשאה ושגיאות קלט/פלט (I/O) קריטיות.
• ‫warning: מכיל הודעות שמצביעות על בעיות פוטנציאליות לא קריטיות, אבל אם לא מטפלים בהן הן עלולות לגרום לבעיות. בעיות פוטנציאליות כוללות בעיות חיבור לא קריטיות, אזהרות על הוצאה משימוש, תחרות על משאבים שעלולה לגרום לירידה קלה בביצועים וניסיונות חוזרים לתיקון כשלים זמניים. רמת החומרה הזו כוללת גם מידע שמופיע ברמת החומרה error.
• ‫info: מכיל מידע כללי על רישום ביומן, כמו הודעות על הפעלה וכיבוי, או מידע על פעולות טעינה שהצליחו, עדכוני התקדמות והגדרות אישיות. רמת החומרה הזו כוללת גם מידע על רמות החומרה warning ו-error.
• ‫debug: מכיל מידע על רישום ביומן, כמו הודעות על הפעלה וכיבוי, או מידע על פעולות טעינה שהצליחו, עדכוני התקדמות והגדרות אישיות. רמת החומרה הזו כוללת גם את המידע שמופיע ברמות החומרה info,‏ warning ו-error.
• ‫trace: מכיל פרטים מפורטים על כל פעולה של Cloud Storage FUSE ועל כל בקשה להפעלת פונקציה, ומתאר את האינטראקציה של gcsfuse עם מנהל ההתקן של ליבת FUSE ועם Cloud Storage. רמת החומרה הזו כוללת גם את הפרטים שמופיעים ברמות החומרה debug,‏ info,‏ warning ו-error.

--max-conns-per-host

--max-idle-conns-per-host

--max-retry-attempts

• מספר שלם שמייצג את המספר המקסימלי של ניסיונות חוזרים, לדוגמה: 10.
• ‫0: מאפשר מספר בלתי מוגבל של ניסיונות חוזרים.

--max-retry-sleep

--metadata-cache-negative-ttl-secs

ההגדרה הזו מגדירה את אורך החיים (TTL) בשניות של רשומות במטמון של נתונים סטטיסטיים שליליים, שמאחסן תוצאות של קבצים שלא קיימים במטמון.

• מספר שלם שמייצג שניות, לדוגמה: 10 (10 שניות).
• ‫0: משבית את השמירה במטמון של נתונים סטטיסטיים שליליים.
• ‫-1: מאפשרת שמירה בלתי מוגבלת במטמון של נתונים סטטיסטיים שליליים ומשביתה את התפוגה של TTL.

--metadata-cache-ttl-secs

• מספר שלם שמייצג שניות, לדוגמה: 30 (30 שניות).
• ‫-1: עקיפת תפוגת ה-TTL והצגת קבצים מהמטמון כשהם זמינים.
• ‫0: משתמשים בקובץ הכי עדכני. השימוש בערך הזה מפעיל קריאה למטא-נתונים Get כדי לוודא שהגנרציה של האובייקט בקובץ שבמטמון תואמת למה שמאוחסן ב-Cloud Storage.

-o

• ‫rw: טעינה כקריאה-כתיבה.
• ‫ro: טעינה במצב קריאה בלבד.

--only-dir

--profile

• מחרוזת, לדוגמה, "aiml-checkpointing".
• ‫"aiml-training": משפר את הביצועים לקריאות של קבוצות נתונים גדולות עם תפוקה גבוהה, ומונע מהחומרה של מעבדים גרפיים ל-Cloud ו-Cloud TPU להמתין לנתונים.
• ‫aiml-checkpointing: מייעל את הביצועים של כתיבה עם תפוקה גבוהה לקבצים גדולים, על ידי קיצור משמעותי של הזמן שנדרש לשמירת נקודות ביקורת של כמה גיגה-בייט, וכך מצמצם את ההפסקות בתהליך האימון.
• ‫aiml-serving: אופטימיזציה של הביצועים של עומסי עבודה להצגת מודעות, באמצעות ייעול הגישה לנתונים והחלת מנגנוני שמירה במטמון.

--prometheus-port

חושפת את נקודת הקצה של מדדי Prometheus ביציאה שצוינה ובנתיב /metrics.

--read-global-max-blocks

מציינת את המספר המקסימלי של בלוקים שזמינים לקריאות במאגר נתונים זמני בכל נקודות האחיזה של הקבצים.

• מספר שלם
• ‫0: משבית קריאות במאגר נתונים זמני.
• ‫-1: מגדיר את הערך למספר בלתי מוגבל של בלוקים.

--rename-dir-limit

--retry-multiplier

--reuse-token-from-url

--sequential-read-size-mb

--stat-cache-capacity (הוצאה משימוש)

--stat-cache-max-size-mb

• מספר שלם. אנחנו ממליצים:
• ‫34 אם עומס העבודה כולל עד 20,000 קבצים.
• אם עומס העבודה גדול מ-20,000 קבצים, צריך להגדיל את הגודל בערכים של 10 לכל 6,000 קבצים נוספים, כאשר מטמון הנתונים הסטטיסטיים משתמש בממוצע של 1,720 בייט לכל קובץ (כולל 220 בייט למידע על הסוג).
• ‫-1: לא מוגדרת מגבלה, והמטמון של הנתונים הסטטיסטיים משתמש בכמה זיכרון שצריך.
• ‫0: משבית את המטמון של נתוני ה-stat.

--stat-cache-ttl (הוצאה משימוש)

--temp-dir

--token-url

--type-cache-ttl (הוצאה משימוש)

--type-cache-max-size-mb (הוצאה משימוש)

• מספר שלם. אנחנו ממליצים:
  • ‫4 אם המספר המקסימלי של קבצים בספרייה אחת מהקטגוריה שאתם טוענים הוא 20,000 קבצים או פחות.
  • אם המספר המקסימלי של קבצים בספרייה אחת שאתם טוענים מכיל יותר מ-20,000 קבצים, צריך להגדיל את הערך ב-1 לכל 5,000 קבצים, שזה ממוצע של כ-200 בייטים לקובץ.
• ‫-1: מציין שאין מגבלה ומאפשר למטמון הסוגים להשתמש בכמות הזיכרון שנדרשת.
• ‫0: משבית את מטמון הסוג.

--enable-metadata-prefetch

--metadata-prefetch-entries-limit

--metadata-prefetch-max-workers

--uid

• מספר שלם שמייצג מזהה משתמש (UID).
• ‫-1: נעשה שימוש במזהה הייחודי של הגורם ששלח את הקריאה.

--write-global-max-blocks

מציינת את המספר המקסימלי של מקטעי נתונים שזמינים לכתיבה בסטרימינג בכל הקבצים. כברירת מחדל, כל קובץ משתמש במקטע נתונים אחד של 32MiB.

• מספר שלם
• ‫0: משבית את הכתיבה לסטרימינג.
• ‫-1: מגדיר את הערך למספר בלתי מוגבל של נתחים.

• ערך ברירת המחדל למחשבים עם מפרט נמוך ומשאבים מוגבלים: 4
• ערך ברירת המחדל למכונות עם מפרט גבוה וכמות גדולה של משאבים: 1600