מידע על זמינות גבוהה אלסטית בין אזורים

אתם יכולים להשיג זמינות גבוהה וגמישה בכמה אזורים לעומסי עבודה תובעניים של הסקת AI ב-Google Kubernetes Engine ‏ (GKE), כדי לגשת ביעילות ובאמינות לקיבולת של מאיצים באזורים שונים של Cloud de Confiance . הפתרון הזה משתמש ב-GKE Multi-Cluster Inference Gateway ובתכונות של התאמה אוטומטית לעומס (automatic scaling) ב-GKE, כדי שעומסי העבודה יוכלו לגשת לקיבולת של המאיצים באזורים שונים ולשנות את הגודל שלהם בהתאם. הגישה הזו משפרת את הזמינות, את יכולת ההתאמה ואת העמידות של המשאבים באפליקציות ה-AI שלכם. במסמך הזה מתוארים היתרונות, הרכיבים העיקריים והמנגנונים הכוללים של זמינות גבוהה אלסטית בין אזורים.

לפני שאתם קוראים את המאמר הזה, אתם צריכים להכיר את הנושאים הבאים:

המסמך הזה מיועד לאנשים עם התפקידים הבאים:

  • מהנדסי למידת מכונה (ML), מנהלי פלטפורמות ומפעילי פלטפורמות, ומומחי נתונים ו-AI שרוצים להשתמש ב-Kubernetes כדי להריץ עומסי עבודה של AI/ML
  • אדריכלי ענן או מומחי רשתות שעובדים עם רשתות Kubernetes

במאמר תפקידים ומשימות נפוצים של משתמשי GKE Enterprise מפורטים תפקידים ומשימות נפוצים לדוגמה שמוזכרים בתוכן שלCloud de Confiance .

היתרונות של זמינות גבוהה וגמישה בין אזורים

לזמינות גבוהה וגמישה בכמה אזורים יש כמה יתרונות מרכזיים בניהול עומסי העבודה של הסקת AI/ML, כולל:

  • קיבולת ויכולת הרחבה גדולות יותר: אפשר להתגבר על מחסור במאיצים באזור יחיד על ידי איגום משאבי GPU או TPU מכמה אשכולות באזורים שונים. אתם יכולים גם להשתמש בסוגים שונים של מאיצים כדי להרחיב עוד יותר את מאגר הקיבולת. הגישה הזו מאפשרת לעומסי העבודה של מסקנות ה-AI להתרחב מעבר ליכולת של אזור יחיד או סוג מאיץ יחיד, ולנצל באופן אוטומטי את המשאבים הזמינים בצי המכונות, ללא קשר לאזור.
  • גלישה אוטומטית, אמינות וזמינות משופרות: השער מנתב את התנועה בצורה חכמה, ונותן עדיפות לאזורים או לאשכולות מועדפים. כשהמכסות מתמלאות במיקום אחד, התנועה מועברת אוטומטית למיקומים אחרים שיש בהם משאבים זמינים. הגישה הזו, בשילוב עם פריסות בכמה אזורים, משפרת את הזמינות הגבוהה ואת העמידות בפני תקלות, כי המערכת יכולה לעקוף אשכולות או אזורים שבהם יש בעיות.
  • חלוקת תנועה שעברה אופטימיזציה באמצעות AI: שימוש באיזון עומסים מבוסס-ניצול עם מדדים מותאמים אישית שספציפיים ל-AI, כמו שימוש במטמון של זוגות מפתח/ערך. ההגדרה הזו מבטיחה החלטות ניתוב שעברו אופטימיזציה גלובלית. הפצת תנועה שעברה אופטימיזציה באמצעות AI שולחת בקשות לשרתי הקצה העורפיים שמצוידים לטפל בהן, וכך משפרת את מיקסום הביצועים ועוזרת למנוע עומס יתר בצי שלכם של Multi-Cluster Inference.

איך פועלת זמינות גבוהה גמישה בין אזורים

זמינות גבוהה אלסטית בין אזורים ב-GKE מאפשרת לעומסי העבודה של מסקנות ה-AI להשתמש אוטומטית בקיבולת של מאיצים (כמו GPU או TPU) בכמה אזורים של Cloud de Confiance . אם באזור הראשי יש מגבלות קיבולת למשאבים הנדרשים, הפתרון הזה מנתב את התנועה בצורה חכמה ומשנה את קנה המידה של עומסי העבודה לאזורים אחרים עם קיבולת זמינה, תוך התחשבות בהעדפות שהגדרתם.

כאן מוסברים הרכיבים העיקריים של זמינות גבוהה גמישה בכמה אזורים, ואיך הם פועלים יחד:

  • ‫Multi-Cluster Inference Gateway: אפליקציית ההסקה פרוסה בכמה אשכולות GKE באזורים שונים. האשכולות האלה מנוהלים כחלק מארגון GKE. ‫GKE Multi-Cluster Inference Gateway (MCG) מוגדר עם מאזן עומסים פנימי, שמספק נקודת קצה פרטית אחת לבקשות להסקת המסקנות. השער הזה מודע לפריסות השירות בכל האשכולות ב-fleet.
  • איזון על סמך ניצול: במקום להשתמש בשיעורי קצב בקשות בסיסיים, מאזן העומסים מחלק את תעבורת הנתונים על סמך מדדי ניצול מותאמים אישית בזמן אמת שמדווחים משרתי המודל. במסקנות של AI, זה בדרך כלל מדד כמו ניצול מטמון KV, שמשקף את העומס בפועל על השרת.
  • העדפות מיקום ומשאבים: אתם יכולים להגדיר באילו אזורים או תחומים מותר להריץ את עומסי העבודה של הסקת ה-AI בזמן יצירת האשכול, ולציין את סדר העדיפויות באמצעות:
    • ‫GCPBackendPolicy: המדיניות הזו מצורפת לשער ומאפשרת לכם להגדיר את הקצוות העורפיים המועדפים. אתם יכולים לציין לאילו אזורים (כלומר, לאילו אשכולות) מאזן העומסים צריך לתת עדיפות בהפניית תנועה. המדיניות הזו בדרך כלל תואמת למקום שבו יש לכם קיבולת שמורה או למקום שבו יש לכם דרישות נמוכות יותר של זמן אחזור.
    • סוג מחשוב בהתאמה אישית (אופציונלי, אם משתמשים ביצירה אוטומטית של מאגרי צמתים): בכל אשכול GKE, אתם יכולים להשתמש באובייקטים של ComputeClass בהתאמה אישית כדי להגדיר את סוגי הצמתים המועדפים, כולל סוגי מכונות (לדוגמה, a3-highgpu-8g), סוגי קיבולת (כמו שמורה, על פי דרישה וספוט) ואפילו אזורים מועדפים באותו אזור.
  • התאמה דינמית של קנה המידה וניתוב התנועה: התאמת קנה המידה וניתוב התנועה מתבצעים לפי התהליך הבא:
    • הבקשות הנכנסות מגיעות למאזן העומסים הפנימי של Multi-Cluster Ingress Gateway.
    • מאזן העומסים, בהתאם לGCPBackendPolicy, שולח תנועה קודם לחלק האחורי של האתר באזורים המועדפים.
    • התנועה מפוזרת בתוך אזור ובין קצוות עורפיים על סמך מדדי הניצול בהתאמה אישית.
    • ה-Horizontal-Pod-Autoscaler‏ (HPA) בכל אשכול מגדיל או מקטין את מספר ה-Pods של שרת המודל בהתאם לאותם מדדי ניצול.
    • המידרוג האוטומטי של אשכול GKE והקצאת צמתים אוטומטית, בהנחיית ComputeClass בהתאמה אישית, מוסיפים או מסירים צמתים מהסוגים ומהתחומים המועדפים כדי לעמוד בדרישות ה-Pod להתאמה לעומס.
  • זמינות גבוהה וגמישה בכמה אזורים בפעולה: אם שרתי המודלים באזורים המועדפים מנוצלים באופן מלא (כלומר, אין קיבולת זמינה נוספת), מאזן העומסים מעביר באופן אוטומטי את התנועה לאשכולות באזורים מוגדרים אחרים שיש בהם קיבולת זמינה. לאחר מכן, ה-HPA וה-Cluster Autoscaler מגדילים את המשאבים באזורי הגיבוי האלה לפי הצורך.

המאמרים הבאים