מידע על GKE Volume Populator

הכלי Volume Populator של Google Kubernetes Engine ‏ (GKE) יכול לעזור לכם להפוך את התהליך של טעינת נתונים מראש מקטגוריות של Cloud Storage אל PersistentVolumeClaims ‏ (PVC) של היעד במהלך הקצאת משאבים דינמית לאוטומטי ויעיל יותר.

איך הכלי GKE Volume Populator עובד

‫GKE Volume Populator מבוסס על הרעיון המרכזי של Kubernetes Volume Populator. במקום להקצות נפח אחסון ריק, התוסף GKE Volume Populator מאפשר ל-PVC להפנות למשאב מותאם אישית מסוג GCPDataSource. המשאב המותאם אישית הזה מציין את קטגוריית המקור של Cloud Storage ואת פרטי הכניסה הנדרשים.

כשיוצרים PVC עם dataSourceRef שמצביע על משאב GCPDataSource, הכלי GKE Volume Populator מתחיל את העברת הנתונים. הוא מעתיק נתונים מ-Cloud Storage URI שצוין לנפח האחסון הקבוע הבסיסי לפני שהנפח הופך לזמין ל-Pods.

התהליך הזה מצמצם את הצורך להשתמש בסקריפטים להעברת נתונים ידנית או בפקודות CLI, ומבצע אוטומטית את ההעברה של מערכי נתונים גדולים לנפחי אחסון קבועים. הכלי GKE Volume Populator תומך בהעברות נתונים בין סוגי המקור והיעד הבאים:

GKE Volume Populator הוא רכיב מנוהל של GKE שמופעל כברירת מחדל באשכולות Autopilot ו-Standard. האינטראקציה עם GKE Volume Populator מתבצעת בעיקר באמצעות gcloud CLI ו-kubectl CLI.

ארכיטקטורה

בתרשים הבא מוצג זרימת הנתונים מאחסון המקור לאחסון היעד, ואיך נוצר PersistentVolume לאחסון היעד באמצעות GKE Volume Populator.

  1. יוצרים PVC שמפנה למשאב בהתאמה אישית GCPDataSource.
  2. הכלי GKE Volume Populator מזהה את ה-PVC ומתחיל משימה של העברת נתונים.
  3. העברת העבודה מתבצעת במאגר צמתים קיים, או שנוצר מאגר חדש אם מופעלת הקצאה אוטומטית של צמתים.
  4. משימת ההעברה מעתיקה נתונים מהקטגוריה של Cloud Storage שצוינה במשאב GCPDataSource לנפח האחסון של היעד.
  5. אחרי שההעברה מסתיימת, ה-PVC מקושר לנפח האחסון של היעד, והנתונים זמינים ל-Pod של עומס העבודה.

העברת נתונים מאחסון נתוני המקור ויצירת PV לאחסון היעד באמצעות GKE Volume Populator

יתרונות מרכזיים

ל-GKE Volume Populator יש כמה יתרונות:

  • אכלוס נתונים אוטומטי: אכלוס אוטומטי של נפחי אחסון עם נתונים מ-Cloud Storage במהלך הקצאת המשאבים, מה שעוזר להפחית את התקורה התפעולית.
  • ניוד נתונים חלק: העברת נתונים מאחסון אובייקטים למערכות אחסון בלוקים (Hyperdisk) עם ביצועים גבוהים, כדי לבצע אופטימיזציה של המחיר או הביצועים בהתאם לצרכים של עומס העבודה.
  • תהליכי עבודה פשוטים יותר: אין יותר צורך במשימות נפרדות לטעינת נתונים או בהתערבות ידנית כדי להכין נפחי אחסון קבועים.
  • שילוב עם ניהול זהויות והרשאות גישה (IAM): אפשר להשתמש באימות מבוסס-IAM באמצעות Workload Identity Federation for GKE כדי להבטיח העברת נתונים מאובטחת עם בקרת גישה מדויקת.
  • עומסי עבודה מואצים של AI/ML: טעינה מראש של קבוצות נתונים גדולות, מודלים ומשקלים ישירות לאחסון עם ביצועים גבוהים, כדי להאיץ את משימות האימון וההסקה.

תרחישים לדוגמה לשימוש ב-GKE Volume Populator

אתם יכולים להשתמש ב-GKE Volume Populator כדי לטעון מערכי נתונים גדולים לאימון של AI/ML. נניח שיש לכם מערך נתונים של כמה טרה-בייט לאימון מודל שפה גדול (LLM) שמאוחסן בקטגוריה של Cloud Storage. משימת האימון שלכם פועלת ב-GKE ודורשת ביצועי קלט/פלט גבוהים. במקום להעתיק את הנתונים באופן ידני, אפשר להשתמש ב-GKE Volume Populator כדי להקצות באופן אוטומטי נפח אחסון של Hyperdisk ML ולאכלס אותו במערך הנתונים מ-Cloud Storage כשיוצרים את ה-PVC. התהליך האוטומטי הזה עוזר לוודא של-Pods שלכם לאימון מודלים תהיה גישה מיידית ומהירה לנתונים.

הנה עוד כמה דוגמאות לשימוש ב-GKE Volume Populator:

  • שמירה מראש במטמון של נכסים ומשקלים של מודלים של AI/ML מ-Cloud Storage בכרכים של Hyperdisk ML כדי לקצר את זמני הטעינה של המודלים לצורך הסקת מסקנות.
  • העברת נתונים מ-Cloud Storage לנפחים מתמידים לאפליקציות עם מצב (stateful) שנדרשת בהן גישה לדיסק עם ביצועים גבוהים.

המאמרים הבאים