במאמר הזה מוסברות התכונות וההגבלות של מכונות Compute Engine עם כרטיסי GPU מצורפים.
כדי להאיץ עומסי עבודה ספציפיים ב-Compute Engine, אתם יכולים לפרוס מכונה שעברה אופטימיזציה למאיצים עם מעבדי GPU מצורפים, או לצרף מעבדי GPU למכונה למטרות כלליות מסוג N1. ברוב עומסי העבודה, Compute Engine מספק מעבדי GPU למופעים במצב העברה, שמאפשר למופעים שליטה ישירה במעבדי ה-GPU ובזיכרון שלהם. עם זאת, עבור עומסי עבודה שדורשים יותר גרפיקה ופועלים ב-GPU מסוג G4, G2 או N1, אפשר להשתמש בתחנות עבודה וירטואליות (vWS) של NVIDIA RTX. במכונות מסוג G4, NVIDIA RTX vWS מאפשרת שימוש בסוגי מכונות עם יחידות GPU חלקיות. בסוגי המכונות האלה, אפשר לשתף GPU פיזי יחיד בין כמה תחנות עבודה וירטואליות על ידי הקצאת GPU וירטואלי (vGPU) לכל מופע. מכונות G2 ו-N1 תומכות ב-vWS, אבל לא תומכות בסוגי מכונות עם vGPU חלקי.
אפשר גם להשתמש בכמה סוגים של מכונות GPU ב-AI Hypercomputer. AI Hypercomputer היא מערכת מחשוב-על שעברה אופטימיזציה לתמיכה בעומסי עבודה של בינה מלאכותית (AI) ולמידת מכונה (ML). מומלץ להשתמש באפשרות הזו כדי ליצור תשתית עם הקצאה צפופה ואופטימיזציה של הביצועים, שכוללת שילובים של Google Kubernetes Engine (GKE) ומתזמני Slurm.
סוגי מכונות נתמכים
Compute Engine מציע סוגים שונים של מכונות שתומכות בעומסי עבודה שונים.
חלק מסוגי המכונות תומכים בתחנות עבודה וירטואליות (vWS) של NVIDIA RTX. כשיוצרים מכונה שמשתמשת ב-NVIDIA RTX Virtual Workstation, Compute Engine מוסיף באופן אוטומטי רישיון vWS. מידע על התמחור של תחנות עבודה וירטואליות מופיע בדף התמחור של GPU.
| סוגי מכונות עם GPU | |||
|---|---|---|---|
| עומסי עבודה של AI ו-ML | גרפיקה והמחשה חזותית | עומסי עבודה אחרים של GPU | |
|
סוגי מכונות מסדרה A שעברו אופטימיזציה לשימוש במאיצים מיועדים לעומסי עבודה של מחשוב עתיר ביצועים (HPC), בינה מלאכותית (AI) ולמידת מכונה (ML).
מודלים מסדרת A מהדורות המאוחרות יותר מתאימים במיוחד לאימון מוקדם ולשיפור של מודלים בסיסיים שכוללים אשכולות גדולים של מאיצים, בעוד שמודלים מסדרת A2 יכולים לשמש לאימון של מודלים קטנים יותר ולהסקת מסקנות במארח יחיד. בסוגי המכונות האלה, מודל ה-GPU מצורף באופן אוטומטי למופע. |
סוגי מכונות מסדרת G שעברו אופטימיזציה לשימוש במאיצים מיועדים לעומסי עבודה כמו עומסי עבודה של סימולציה ב-NVIDIA Omniverse, אפליקציות עתירות גרפיקה, טרנסקוד של סרטונים ומחשבים וירטואליים. סוגי המכונות האלה תומכים ב-NVIDIA RTX Virtual Workstations (vWS).
אפשר להשתמש בסדרת G גם לאימון מודלים קטנים יותר ולהסקת מסקנות במארח יחיד. בסוגי המכונות האלה, מודל ה-GPU מצורף באופן אוטומטי למופע. |
בסוגי מכונות למטרות כלליות מסוג N1, למעט N1 עם ליבת מעבד משותפת ( |
|
|
אפשר לצרף את דגמי ה-GPU הבאים לסוגי מכונות וירטואליות לשימוש כללי מסוג N1:
|
||
יחידות GPU במכונות וירטואליות במודל Spot
אתם יכולים להוסיף יחידות GPU למכונות וירטואליות מסוג Spot במחירים נמוכים יותר של מכונות Spot עבור יחידות ה-GPU. מעבדי GPU שמצורפים למכונות וירטואליות מסוג Spot פועלים כמו מעבדי GPU רגילים, אבל הם נשמרים רק למשך חיי המכונה הווירטואלית. מכונות וירטואליות במודל Spot עם יחידות GPU פועלות לפי אותו תהליך של קדימות כמו כל המכונות הווירטואליות במודל Spot.
במהלך אירועי תחזוקה, מכונות וירטואליות מסוג Spot עם מעבדי GPU נדחקות כברירת מחדל ולא ניתן להפעיל אותן מחדש באופן אוטומטי. אם רוצים ליצור מחדש את מכונות ה-VM אחרי שהן נדחקו, צריך להשתמש בקבוצת מופעי מכונה מנוהלים. קבוצות של מופעי מכונה מנוהלים יוצרות מחדש את מופעי מכונות ה-VM אם משאבי ה-vCPU, הזיכרון וה-GPU זמינים.
אם רוצים לקבל אזהרה לפני שהמכונות הווירטואליות נדחקות, או אם רוצים להגדיר את המכונות הווירטואליות כך שהן יופעלו מחדש באופן אוטומטי אחרי אירוע תחזוקה, צריך להשתמש במכונות וירטואליות רגילות עם GPU. למכונות וירטואליות רגילות עם GPUs, Compute Engine מספק הודעה מראש שעה אחת לפני ההפקעה.
מערכת Compute Engine לא מחייבת על יחידות GPU אם מכונות ה-VM שלהן נדחקות במהלך הדקה הראשונה אחרי שהן מתחילות לפעול.
כדי ללמוד איך ליצור מכונות וירטואליות מסוג Spot עם יחידות GPU מצורפות, אפשר לקרוא את המאמרים יצירת מכונה וירטואלית עם יחידות GPU מצורפות ויצירת מכונות וירטואליות מסוג Spot. לדוגמה, אפשר לעיין במאמר בנושא יצירת מכונת A3 Ultra או A4 באמצעות מכונות וירטואליות מסוג Spot.
יחידות GPU במופעים עם זמני ריצה מוגדרים מראש
בדרך כלל, אי אפשר להשתמש במכסות הקצאה שניתן להפסיק במופעים שמוגדר בהם מודל הקצאת הרשאות רגיל. מכסות של מכונות Preemptible VM מיועדות לעומסי עבודה זמניים, ובדרך כלל יש יותר מכסות כאלה. אם בפרויקט שלכם אין מכסה של מכונות וירטואליות שניתנות להפסקת פעולה, ומעולם לא ביקשתם מכסה כזו, כל המכונות הווירטואליות בפרויקט צורכות מכסות הקצאה רגילות.
אם אתם מבקשים מכסת הקצאה שניתנת להפקעה, מופעים שמשתמשים במודל ההקצאה הרגיל צריכים לעמוד בכל הקריטריונים הבאים כדי לצרוך מכסת הקצאה שניתנת להפקעה:
- למופעים מצורפים מעבדי GPU.
- המופעים מוגדרים למחיקה אוטומטית אחרי זמן ריצה מוגדר מראש, באמצעות השדה
maxRunDurationאוterminationTime. מידע נוסף זמין במאמרים הבאים: - למופע אין הרשאה להשתמש בהזמנות. איך מונעים ממופעי מחשוב לצרוך הזמנות
כשמשתמשים בהקצאה עם אפשרות קדימה לעומסי עבודה של GPU שמוגבלים בזמן, אפשר ליהנות מזמן ריצה ללא הפרעות ומזמינות גבוהה של מכסת הקצאה עם אפשרות קדימה. מידע נוסף מופיע במאמר בנושא מכסות של מכונות שאפשר להפסיק.
יחידות GPU ו-Confidential VM
אתם יכולים להשתמש ב-GPU עם מכונה וירטואלית מסוג Confidential VM שמשתמשת ב-Intel TDX בסוג המכונה A3 High וב-AMD SEV בסוג המכונה G4 (תצוגה מקדימה). מידע נוסף זמין במאמר תצורות נתמכות של מכונות וירטואליות חסויות. איך יוצרים מכונת Confidential VM עם GPU
יחידות GPU ואחסון בלוקים
כשיוצרים מופע באמצעות סוג מכונה עם GPU, אפשר להוסיף למופע אחסון בלוקים קבוע או זמני. כדי לאחסן נתונים לא זמניים, צריך להשתמש באחסון בלוקים מתמשך כמו Hyperdisk או Persistent Disk, כי הדיסקים האלה לא תלויים במחזור החיים של המופע. אפשר לשמור נתונים באחסון מתמיד גם אחרי שמוחקים את המופע.
לאחסון זמני של קבצים זמניים או מטמון, משתמשים באחסון בלוקים זמני על ידי הוספה של דיסקים מקומיים של SSD כשיוצרים את המופע.
אחסון בלוקים מתמשך עם נפחי אחסון של Persistent Disk ו-Hyperdisk
אפשר לצרף Persistent Disk ולבחור נפחי Hyperdisk למופעים עם GPU.
לעומסי עבודה של למידת מכונה (ML) והגשה, כדאי להשתמש בנפחי Hyperdisk ML, שמציעים תפוקה גבוהה וזמני טעינת נתונים קצרים יותר. Hyperdisk ML היא אפשרות משתלמת יותר לעומסי עבודה של למידת מכונה, כי היא מציעה זמני השבתה קצרים יותר של מעבד ה-GPU.
נפחי Hyperdisk ML מספקים תמיכה בחיבור מרובה לקריאה בלבד, כך שאפשר לחבר את אותו דיסק לכמה מכונות וירטואליות, ולכל מכונה וירטואלית תהיה גישה לאותם נתונים.
מידע נוסף על סוגי הדיסקים הנתמכים בסדרות של מכונות שתומכות ב-GPU זמין בדפים של סדרות המכונות N1 ואופטימיזציה למאיצים.
דיסקים מקומיים מסוג SSD
דיסקים מקומיים של SSD מספקים אחסון מהיר וזמני למטרות שמירה במטמון, עיבוד נתונים או נתונים זמניים אחרים. דיסקים מקומיים מסוג SSD מספקים אחסון מהיר כי הם מחוברים פיזית לשרת שמארח את המופע. כונני SSD מקומיים מספקים אחסון זמני כי המידע במופע נמחק אם הוא מופעל מחדש.
מומלץ להימנע מאחסון נתונים עם דרישות חזקות של עמידות בכונני SSD מקומיים. כדי לאחסן נתונים לא זמניים, צריך להשתמש במקום זאת באחסון קבוע.
אם מפסיקים מכונה עם GPU באופן ידני, אפשר לשמור את הנתונים של ה-SSD המקומי, בכפוף למגבלות מסוימות. פרטים נוספים מופיעים במאמרי העזרה בנושא SSD מקומי.
למידע על תמיכה אזורית ב-SSD מקומי עם סוגי GPU, אפשר לעיין במאמר בנושא זמינות של SSD מקומי.
מעבדים גרפיים ותחזוקת המארח
מכונות Compute Engine תמיד מפסיקות מכונות עם יחידות GPU צמודות כשהן מבצעות אירועי תחזוקה בשרת המארח. אם למופע מצורפים דיסקים מקומיים של SSD, הנתונים בדיסקים האלה יימחקו אחרי שהמופע ייעצר.
מידע על טיפול באירועי תחזוקה מופיע במאמר בנושא טיפול באירועי תחזוקה של מארחי GPU.
הזמנת קיבולת GPU
הזמנות מספקות רמת ודאות גבוהה לגבי הקיבולת של משאבים ספציפיים לאזור, כולל GPUs. אתם יכולים להשתמש בהזמנות כדי לוודא שיש לכם יחידות GPU זמינות כשאתם צריכים להשתמש בהן באפליקציות שדורשות ביצועים גבוהים. במאמר בחירת סוג הזמנה מוסברות השיטות השונות לשריין משאבים ספציפיים לאזור ב-Compute Engine.
נדרשות הזמנות גם אם רוצים לקבל הנחות תמורת התחייבות לשימוש (CUD) על מעבדי GPU.
תמחור GPU
אם אתם מבקשים מ-Compute Engine להקצות GPU באמצעות מודל ההקצאה של מכונות Spot, מכונות עם הפעלה גמישה או מכונות שמוגבלות להזמנה, אתם מקבלים את ה-GPU במחירים מוזלים, בהתאם לסוג ה-GPU. אתם יכולים גם לקבל הנחות תמורת התחייבות לשימוש או הנחות על שימוש מתמשך (רק במכונות וירטואליות מסוג N1) על השימוש שלכם ב-GPU.
בדף המחירים של GPU מופיעים המחירים השעתיים והחודשיים של GPU.
הנחות תמורת התחייבות לשימוש ב-GPU
התחייבויות לשימוש במשאבים מספקות הנחות משמעותיות על משאבי Compute Engine בתמורה להתחייבות להשתמש במשאבים באזור מסוים למשך שנה לפחות. בדרך כלל רוכשים התחייבויות למשאבים כמו vCPU, זיכרון, GPU ודיסקים של SSD מקומיים לשימוש בסדרת מכונות ספציפית. כשאתם משתמשים במשאבים, אתם מקבלים שימוש במשאבים שעומד בדרישות במחירים מוזלים. מידע נוסף על הנחות תמורת התחייבות לשימוש במשאבים
כדי לרכוש התחייבות עם מעבדי GPU, צריך גם להזמין את מעבדי ה-GPU ולצרף את ההזמנות להתחייבות. מידע נוסף על צירוף הזמנות להתחייבויות זמין במאמר צירוף הזמנות להתחייבויות לשימוש במשאבים.
הנחות על שימוש קבוע במעבדי GPU
מכונות שמשתמשות בסוגי מכונות N1 עם יחידות GPU מצורפות מקבלות הנחות על שימוש מתמשך (SUD), בדומה ל-vCPU. כשבוחרים GPU לתחנת עבודה וירטואלית, Compute Engine מוסיף אוטומטית רישיון של NVIDIA RTX Virtual Workstation למופע.
הגבלות ומגבלות על GPU
במקרים שבהם מצורפים מעבדי GPU, חלות ההגבלות והמגבלות הבאות:
רק סוגי מכונות N1 שמותאמים למאיצים (A4X Max, A4X, A4, A3, A2, G4 ו-G2) ותכליתיות תומכים ב-GPU.
כדי להגן על המערכות והמשתמשים ב-Compute Engine, לפרויקטים חדשים יש מכסת GPU גלובלית שמגבילה את המספר הכולל של מעבדי GPU שאפשר ליצור בכל אזור נתמך. כשמבקשים מכסת GPU, צריך לבקש מכסה לדגמי ה-GPU שרוצים ליצור בכל אזור, ומכסה גלובלית נוספת למספר הכולל של GPU מכל הסוגים בכל האזורים.
למופעים עם יחידת GPU אחת או יותר יש מספר מקסימלי של מעבדים וירטואליים לכל יחידת GPU שמוסיפים למופע. כדי לראות את טווחי הזיכרון והמעבד הווירטואלי הזמינים להגדרות שונות של GPU, אפשר לעיין ברשימת ה-GPU.
כדי שמעבדים גרפיים יפעלו כמו שצריך, נדרשים מנהלי התקנים (drivers) למכשיר. מעבדים גרפיים (GPU) של NVIDIA שפועלים ב-Compute Engine צריכים להשתמש בגרסת דרייבר מינימלית. מידע נוסף על גרסאות של מנהלי התקנים זמין במאמר גרסאות נדרשות של מנהלי התקנים של NVIDIA.
הסכם רמת השירות (SLA) של Compute Engine חל על מכונות וירטואליות עם מודל GPU מצורף רק אם מודל ה-GPU המצורף זמין לכולם.
באזורים שיש בהם כמה תחומים, הסכם רמת השירות (SLA) של Compute Engine מכסה את המופע רק אם מודל ה-GPU זמין ביותר מתחום אחד באותו אזור. למידע על דגמי GPU לפי אזור, אפשר לעיין במאמר בנושא מיקומי GPU.
Compute Engine תומך במשתמש אחד בו-זמנית לכל GPU או vGPU.
כדאי לעיין גם במגבלות של כל סוג מכונה עם מעבדי GPU מצורפים.