מידע על מנהל התקן ה-CSI של Google Cloud Managed Lustre

מנהל ההתקן של Google Cloud Managed Lustre Container Storage Interface ‏(CSI) הוא פתרון מנוהל של GKE שנועד לשלב את שירות מערכת הקבצים המקבילית בעלת הביצועים הגבוהים שלCloud de Confiance by S3NS,‏ Managed Lustre, עם אשכולות של Google Kubernetes Engine ‏ (GKE). השילוב הזה מיועד לעומסי עבודה תובעניים שדורשים אחסון מתמשך, ניתן להרחבה ועם תפוקה גבוהה, במיוחד בתחומים של בינה מלאכותית (AI), למידת מכונה (ML) ומחשוב עתיר ביצועים (HPC).

מידע נוסף על השימוש ב-Managed Lustre כדי לשפר את הביצועים של עומסי עבודה של AI/ML שנפרסים ב-GKE זמין בארכיטקטורת העזר שיפור עומסי עבודה של AI ו-ML באמצעות Google Cloud Managed Lustre.

באמצעות מנהל התקן ה-CSI של Managed Lustre, אתם יכולים להקצות, לנהל ולגשת למופעי Managed Lustre ישירות דרך טענות סטנדרטיות של נפחי אחסון מתמשכים (PVC) ונפחי אחסון מתמשכים (PV) של Kubernetes. הדרייבר פועל כמישור הבקרה, ומבצע אוטומטית את ניהול מחזור החיים של מופעי Managed Lustre בתגובה לקריאות CSI, כולל יצירה, מחיקה, טעינה וביטול טעינה של נפחים בצמתי GKE.

מנהל התקן ה-CSI של Managed Lustre תומך בנפחי אחסון מתמשכים שהוקצו באופן דינמי (שבהם מנהל ההתקן יוצר את מכונת Managed Lustre על סמך ה-PVC) ובנפחי אחסון מתמשכים שהוקצו באופן סטטי (לחיבור למכונות Managed Lustre קיימות). הוא מספק דרך יעילה לאפליקציות Kubernetes להשתמש באופן מלא ביכולות הביצועים של Managed Lustre.

יתרונות

למנהל התקן ה-CSI של Managed Lustre יש כמה יתרונות לשילוב אחסון בעל ביצועים גבוהים עם עומסי העבודה של Kubernetes:

  • אתם מקבלים גישה למערכות קבצים של Managed Lustre בתור אחסון לעומסי העבודה (workload) שלכם דרך ממשקי ה-API של Kubernetes.
  • הדרייבר תומך בReadWriteMany, בReadOnlyMany ובReadWriteOnce מצבי גישה.
  • אפשר להשתמש בדרייבר כדי ליצור מופעים חדשים של Managed Lustre ולקשר אליהם כPersistentVolumes.
  • עומסי העבודה שלכם ב-Kubernetes יכולים לגשת למכונות קיימות ב-Managed Lustre בלי שתצטרכו להתקין ידנית תוכנה של Managed Lustre, כולל מודולים של ליבת המערכת או כלי לקוח.

מגבלות

כשמשתמשים ב-Managed Lustre CSI driver, חשוב לשים לב למגבלות הבאות:

  • לא ניתן לטעון כמה אמצעי אחסון מכמה מופעים שונים של Managed Lustre עם אותו שם filesystem בצומת יחיד.
  • מערכות הפעלה נתמכות וגרסאות מינימום של צומתי GKE:
    • מערכת הפעלה שמותאמת לקונטיינרים (COS):
      • ‫x86_64: גרסה 1.33.2-gke.1111000 ואילך
      • ‫ARM: 1.34.1-gke.2541000 ואילך
    • ‫Ubuntu:
      • ‫x86_64 ו-ARM: ‏ 1.36.0-gke.3302001 ואילך
  • הדרייבר של Managed Lustre CSI לא תומך בתמונות של צומתי GKE בהתאמה אישית.
  • הגדלת נפח האחסון נתמכת רק בגרסאות של אשכול GKE‏ 1.35.0-gke.2331000 ואילך. כדי לשנות את הגודל של PVC בגרסאות קודמות, משתמשים באחת מהאפשרויות הבאות:
    • (מומלץ) יוצרים מחדש את ה-PVC עם הגודל שנבחר spec.resources.requests.storage size. מערכת GKE מקצה נפח אחסון חדש בגודל שנבחר.
    • מוחקים את ה-PVC ואת ה-PV. אם הערך של PV reclaimPolicy הוא Delete, מופע Lustre נמחק. כדי לשמור את המכונה לשימוש חוזר, צריך לתקן את reclaimPolicy ל-Retain לפני המחיקה.
    • אפשרות אחרת היא ליצור ידנית מכונת Lustre חדשה בגודל הרצוי. בין אם משתמשים מחדש במופע או מתחברים למופע חדש, צריך להשתמש בהקצאת משאבים סטטית כדי לחבר את המופע ל-PVC חדש.

דרישות

כדי להשתמש ב-Managed Lustre CSI driver, האשכול צריך לעמוד בדרישות הבאות:

  • צריך להשתמש בגרסה 1.33.2-gke.1111000 ואילך של אשכול GKE ומאגר צמתים.
  • צריך להתקין את הגרסה האחרונה של Google Cloud CLI, עם גרסה נתמכת מינימלית של 523.0.0 ואילך.
  • צריך להפעיל את מנהל ההתקן של CSI באשכול GKE. כברירת מחדל, מנהל ההתקן מושבת באשכולות סטנדרטיים ובאשכולות במצב Autopilot. אפשר להפעיל את התכונה הזו במהלך יצירת האשכול או באשכול קיים.
  • אשכול GKE צריך לפעול באותה רשת VPC כמו מכונת Managed Lustre.

המאמרים הבאים