במאמר הזה מוסברות התכונות וההגבלות של מכונות Compute Engine עם כרטיסי GPU מצורפים.
כדי להאיץ עומסי עבודה ספציפיים ב-Compute Engine, אתם יכולים לפרוס מכונה שעברה אופטימיזציה למאיצים עם מעבדי GPU מצורפים, או לצרף מעבדי GPU למכונה למטרות כלליות מסוג N1. ברוב עומסי העבודה, Compute Engine מספק מעבדי GPU למופעים במצב העברה, שמאפשר למופעים שליטה ישירה במעבדי ה-GPU ובזיכרון שלהם. עם זאת, עבור עומסי עבודה שדורשים יותר גרפיקה ופועלים ב-GPU מסוג G4, G2 או N1, אפשר להשתמש בתחנות עבודה וירטואליות (vWS) של NVIDIA RTX. במכונות G4, NVIDIA RTX vWS מאפשרת שימוש בסוגי מכונות עם יחידות GPU חלקיות. בסוגי המכונות האלה, אפשר לשתף GPU פיזי יחיד בין כמה תחנות עבודה וירטואליות על ידי הקצאת GPU וירטואלי (vGPU) לכל מופע. מכונות G2 ו-N1 תומכות ב-vWS, אבל לא תומכות בסוגי מכונות עם vGPU חלקי.
אפשר גם להשתמש בכמה סוגים של מכונות GPU ב-AI Hypercomputer. AI Hypercomputer היא מערכת מחשוב-על שעברה אופטימיזציה לתמיכה בעומסי עבודה של בינה מלאכותית (AI) ולמידת מכונה (ML). מומלץ להשתמש באפשרות הזו כדי ליצור תשתית עם הקצאה צפופה ואופטימיזציה של הביצועים, שכוללת שילובים של Google Kubernetes Engine (GKE) ומתזמני Slurm.
סוגי מכונות נתמכים
Compute Engine מציע סוגים שונים של מכונות שתומכות בעומסי עבודה שונים.
חלק מסוגי המכונות תומכים בתחנות עבודה וירטואליות (vWS) של NVIDIA RTX. כשיוצרים מכונה שמשתמשת ב-NVIDIA RTX Virtual Workstation, Compute Engine מוסיף באופן אוטומטי רישיון vWS. מידע על התמחור של תחנות עבודה וירטואליות מופיע בדף התמחור של GPU.
| סוגי מכונות עם GPU | |||
|---|---|---|---|
| עומסי עבודה של AI ו-ML | גרפיקה והמחשה | עומסי עבודה אחרים של GPU | |
|
סוגי מכונות מסדרה A שעברו אופטימיזציה לשימוש במאיצים מיועדים לעומסי עבודה של מחשוב עתיר ביצועים (HPC), בינה מלאכותית (AI) ולמידת מכונה (ML).
מודלים מסדרת A מהדורות המאוחרות יותר מתאימים במיוחד לאימון מוקדם ולשיפור של מודלים בסיסיים שכוללים אשכולות גדולים של מאיצים, בעוד שמודלים מסדרת A2 יכולים לשמש לאימון מודלים קטנים יותר ולהסקת מסקנות במארח יחיד. בסוגי המכונות האלה, מודל ה-GPU מצורף באופן אוטומטי למופע. |
סוגי מכונות מסדרת G שעברו אופטימיזציה לשימוש במאיצים מיועדים לעומסי עבודה כמו עומסי עבודה של סימולציה ב-NVIDIA Omniverse, אפליקציות עתירות גרפיקה, טרנסקוד של סרטונים ומחשבים וירטואליים. סוגי המכונות האלה תומכים ב-NVIDIA RTX Virtual Workstations (vWS).
אפשר להשתמש בסדרת G גם לאימון מודלים קטנים יותר ולמסקנות (inference) במארח יחיד. בסוגי המכונות האלה, מודל ה-GPU מצורף באופן אוטומטי למופע. |
בסוגי מכונות למטרות כלליות מסוג N1, למעט ליבות מעבד משותפות מסוג N1 ( |
|
|
אפשר לצרף את דגמי ה-GPU הבאים לסוגי מכונות וירטואליות לשימוש כללי מסוג N1:
|
||
יחידות GPU במכונות וירטואליות במודל Spot
אתם יכולים להוסיף יחידות GPU למכונות וירטואליות מסוג Spot במחירים נמוכים יותר של מכונות וירטואליות מסוג Spot עבור יחידות ה-GPU. מעבדי GPU שמצורפים למכונות וירטואליות מסוג Spot פועלים כמו מעבדי GPU רגילים, אבל הם נשמרים רק למשך חיי המכונה הווירטואלית. מכונות וירטואליות במודל Spot עם יחידות GPU פועלות לפי אותו תהליך של קדימות כמו כל המכונות הווירטואליות במודל Spot.
במהלך אירועי תחזוקה, מכונות וירטואליות מסוג Spot עם מעבדי GPU נדחקות כברירת מחדל ולא ניתן להפעיל אותן מחדש באופן אוטומטי. אם רוצים ליצור מחדש את מכונות ה-VM אחרי שהן נדחקו, אפשר להשתמש בקבוצת מופעי מכונה מנוהלים. קבוצות של מופעי מכונה מנוהלים יוצרות מחדש את מופעי מכונות ה-VM אם משאבי ה-vCPU, הזיכרון וה-GPU זמינים.
אם רוצים לקבל אזהרה לפני שהמכונות הווירטואליות נדחקות, או אם רוצים להגדיר את המכונות הווירטואליות כך שהן יופעלו מחדש באופן אוטומטי אחרי אירוע תחזוקה, צריך להשתמש במכונות וירטואליות רגילות עם GPU. למכונות וירטואליות רגילות עם GPUs, Compute Engine מספק הודעה מראש שעה אחת לפני ההפקעה.
ב-Compute Engine לא מחייבים על GPUs אם ה-VM שלהם נדחקים במהלך הדקה הראשונה אחרי שהם מתחילים לפעול.
כדי ללמוד איך ליצור מכונות וירטואליות מסוג Spot עם יחידות GPU מצורפות, אפשר לקרוא את המאמרים יצירת מכונה וירטואלית עם יחידות GPU מצורפות ויצירת מכונות וירטואליות מסוג Spot. לדוגמה, אפשר לעיין במאמר בנושא יצירת מכונת A3 Ultra או A4 באמצעות מכונות וירטואליות מסוג Spot.
מעבדי GPU במכונות עם זמני ריצה מוגדרים מראש
בדרך כלל, אי אפשר להשתמש במכסות הקצאה שניתנות להפקעה במופעים שמשתמשים במודל הקצאה רגיל. מכסות של מכונות Preemptible VM מיועדות לעומסי עבודה זמניים, ובדרך כלל יש יותר מכסות כאלה. אם בפרויקט שלכם אין מכסה של מכונות וירטואליות שניתנות להפסקת פעולה, ומעולם לא ביקשתם מכסה כזו, כל המכונות הווירטואליות בפרויקט צורכות מכסות הקצאה רגילות.
אם אתם מבקשים מכסת הקצאה שניתנת להפקעה, מופעים שמשתמשים במודל ההקצאה הרגיל צריכים לעמוד בכל הקריטריונים הבאים כדי לצרוך מכסת הקצאה שניתנת להפקעה:
- למופעים מצורפים מעבדי GPU.
- המופעים מוגדרים למחיקה אוטומטית אחרי זמן ריצה מוגדר מראש, באמצעות השדה
maxRunDurationאוterminationTime. מידע נוסף זמין במאמרים הבאים: - למופע אין הרשאה להשתמש בהזמנות. איך מונעים ממופעי מחשוב לצרוך הזמנות
כשמשתמשים בהקצאה עם אפשרות קדימה לעומסי עבודה של GPU שמוגבלים בזמן, אפשר ליהנות מזמן ריצה ללא הפרעות ומזמינות גבוהה של מכסת הקצאה עם אפשרות קדימה. מידע נוסף מופיע במאמר בנושא מכסות של מכונות שאפשר להפסיק.
יחידות GPU ו-Confidential VM
אפשר להשתמש ב-GPU עם מכונה וירטואלית מסוג Confidential VM שמשתמשת ב-Intel TDX בסוג המכונה A3 High וב-AMD SEV בסוג המכונה G4. מידע נוסף זמין במאמר תצורות נתמכות של מכונות וירטואליות חסויות. איך יוצרים מכונת Confidential VM עם GPU
יחידות GPU ואחסון בלוקים
כשיוצרים מכונה באמצעות סוג מכונה עם GPU, אפשר להוסיף למכונה אחסון בלוקים קבוע או זמני. כדי לאחסן נתונים לא זמניים, צריך להשתמש באחסון בלוקים מתמשך כמו Hyperdisk או Persistent Disk, כי הדיסקים האלה לא תלויים במחזור החיים של המופע. אפשר לשמור נתונים באחסון מתמיד גם אחרי שמוחקים את המופע.
כדי להשתמש באחסון זמני או במטמון, מוסיפים דיסקים מקומיים של SSD כשיוצרים את המופע.
אחסון בלוקים מתמשך עם נפחי אחסון של Persistent Disk ו-Hyperdisk
אפשר לצרף Persistent Disk ולבחור נפחי Hyperdisk למופעים עם GPU.
לעומסי עבודה של למידת מכונה (ML) והגשה, כדאי להשתמש בנפחי Hyperdisk ML, שמציעים תפוקה גבוהה וזמני טעינת נתונים קצרים יותר. Hyperdisk ML היא אפשרות משתלמת יותר לעומסי עבודה של למידת מכונה, כי היא מציעה זמני השבתה קצרים יותר של מעבד ה-GPU.
נפחי Hyperdisk ML מספקים תמיכה בחיבור מרובה לקריאה בלבד, כך שאפשר לחבר את אותו דיסק לכמה מכונות וירטואליות, ולכל מכונה וירטואלית תהיה גישה לאותם נתונים.
מידע נוסף על סוגי הדיסקים הנתמכים בסדרות מכונות שתומכות ב-GPU זמין בדפים N1 וסדרות מכונות שעברו אופטימיזציה למאיצים.
דיסקים מקומיים מסוג SSD
דיסקים מקומיים של SSD מספקים אחסון מהיר וזמני למטרות שמירה במטמון, עיבוד נתונים או נתונים זמניים אחרים. דיסקים מקומיים מסוג SSD מספקים אחסון מהיר כי הם מחוברים פיזית לשרת שמארח את המופע. כונני SSD מקומיים מספקים אחסון זמני כי המידע במופע נמחק אם הוא מופעל מחדש.
מומלץ להימנע מאחסון נתונים עם דרישות חזקות של עמידות בכונני SSD מקומיים. כדי לאחסן נתונים לא זמניים, צריך להשתמש במקום זאת באחסון קבוע.
אם מפסיקים מכונה עם GPU באופן ידני, אפשר לשמור את הנתונים של ה-SSD המקומי, בכפוף למגבלות מסוימות. פרטים נוספים מופיעים במאמרי העזרה בנושא SSD מקומי.
למידע על תמיכה אזורית ב-SSD מקומי עם סוגי GPU, אפשר לעיין במאמר בנושא זמינות של SSD מקומי.
מעבדים גרפיים ותחזוקת המארח
מערכת Compute Engine תמיד מפסיקה מכונות עם כרטיסי GPU צמודים כשהיא מבצעת אירועי תחזוקה בשרת המארח. אם למופע מצורפים דיסקים מקומיים של SSD, הנתונים בדיסקים האלה יימחקו אחרי שהמופע ייעצר.
מידע על טיפול באירועי תחזוקה מופיע במאמר בנושא טיפול באירועי תחזוקה של מארחי GPU.
שריון קיבולת GPU
הזמנות מספקות רמת ודאות גבוהה לגבי הקיבולת של משאבים ספציפיים לאזור, כולל GPUs. אתם יכולים להשתמש בהזמנות כדי לוודא שיש לכם יחידות GPU זמינות כשאתם צריכים להשתמש בהן באפליקציות שדורשות ביצועים גבוהים. במאמר בחירת סוג הזמנה מוסברות השיטות השונות לשריין משאבים ספציפיים לאזור ב-Compute Engine.
גם אם אתם רוצים לקבל הנחות תמורת התחייבות לשימוש במשאבים (CUD) על יחידות ה-GPU, תצטרכו להזמין אותן.
תמחור GPU
אם אתם מבקשים מ-Compute Engine להקצות GPU באמצעות מודל ההקצאה של מכונות Spot, מכונות עם הפעלה גמישה או מכונות שמוגבלות להזמנה, אתם מקבלים את ה-GPU במחירים מוזלים, בהתאם לסוג ה-GPU. אתם יכולים גם לקבל הנחות תמורת התחייבות לשימוש או הנחות על שימוש מתמשך (רק במכונות וירטואליות מסוג N1) על השימוש ב-GPU.
בדף המחירים של GPU מופיעים המחירים השעתיים והחודשיים של GPU.
הנחות תמורת התחייבות לשימוש ב-GPU
כדי לקבל הנחות תמורת התחייבות לשימוש ב-GPU, אתם יכולים לרכוש התחייבויות לשימוש במשאבים או התחייבויות גמישות לשימוש ב-Compute:
התחייבויות לשימוש במשאבים מאפשרות לכם לקבל הנחות משמעותיות על משאבי Compute Engine בתמורה להתחייבות להשתמש במשאבים באזור מסוים למשך שנה לפחות. בדרך כלל רוכשים התחייבויות למשאבים כמו vCPU, זיכרון, יחידות GPU ודיסקים מקומיים של SSD לשימוש בסדרת מכונות ספציפית. כשאתם משתמשים במשאבים, אתם מקבלים שימוש במשאבים שעומד בדרישות במחירים מוזלים. כאן אפשר לקרוא מידע נוסף על ההנחות האלה. כדי לרכוש התחייבות עם יחידות GPU, צריך גם לשריין את יחידות ה-GPU ולצרף את השריונים להתחייבות. מידע נוסף זמין במאמר בנושא צירוף הזמנות להתחייבויות לשימוש במשאבים.
התחייבויות גמישות לשימוש ב-Compute מכסות את ההוצאות שלכם על GPU מסוג G2 ו-G4 שעומדות בדרישות, בלי שתצטרכו לצרף הזמנות. אי אפשר לצרף הזמנות להתחייבות גמישה לחישוב. התחייבויות גמישות לחישוב לא שומרות קיבולת, ולכן אין הבטחה לקיבולת של מעבדי G2 או G4. אם אין כרטיסי GPU זמינים, אפשר להשתמש בהתחייבות הגמישה כדי לכסות סוגים אחרים של משאבים או שירותים שעומדים בדרישות. אם אתם רוצים להבטיח את הקיבולת, אתם צריכים ליצור הזמנות כדי לשריין את יחידות ה-GPU בנפרד. מידע נוסף על הנחות גמישות תמורת התחייבות לשימוש ב-Compute
הנחות על שימוש קבוע במעבדי GPU
מכונות שמשתמשות בסוגי מכונות N1 עם יחידות GPU מצורפות מקבלות הנחות על שימוש מתמשך (SUD), בדומה ל-vCPU. כשבוחרים GPU לתחנת עבודה וירטואלית, Compute Engine מוסיף אוטומטית רישיון של NVIDIA RTX Virtual Workstation למופע.
הגבלות ומגבלות על מעבד ה-GPU
במקרים שבהם מצורפים מעבדי GPU, חלות ההגבלות והמגבלות הבאות:
רק סוגי מכונות N1 שמותאמים למאיצים (A4X Max, A4X, A4, A3, A2, G4 ו-G2) ותכליתיות תומכים ב-GPU.
כדי להגן על המערכות והמשתמשים ב-Compute Engine, לפרויקטים חדשים יש מכסת GPU גלובלית שמגבילה את המספר הכולל של מעבדי GPU שאפשר ליצור בכל אזור נתמך. כשמבקשים מכסת GPU, צריך לבקש מכסה לדגמי ה-GPU שרוצים ליצור בכל אזור, ומכסה גלובלית נוספת למספר הכולל של GPU מכל הסוגים בכל האזורים.
למכונות עם יחידת GPU אחת או יותר יש מספר מקסימלי של מעבדים וירטואליים לכל יחידת GPU שמוסיפים למכונה. כדי לראות את טווחי הזיכרון והמעבד הווירטואלי הזמינים להגדרות שונות של GPU, אפשר לעיין ברשימת ה-GPU.
כדי שמעבדים גרפיים יפעלו כמו שצריך, נדרשים מנהלי התקנים (drivers) למכשיר. מעבדים גרפיים (GPU) של NVIDIA שפועלים ב-Compute Engine צריכים להשתמש בגרסת דרייבר מינימלית. מידע נוסף על גרסאות של מנהלי התקנים זמין במאמר גרסאות נדרשות של מנהלי התקנים של NVIDIA.
הסכם רמת השירות (SLA) של Compute Engine חל על מכונות וירטואליות עם מודל GPU מצורף רק אם מודל ה-GPU המצורף זמין לכולם.
באזורים שיש בהם כמה תחומים, הסכם רמת השירות (SLA) של Compute Engine חל על המופע רק אם מודל ה-GPU זמין ביותר מתחום אחד באותו אזור. למידע על דגמי GPU לפי אזור, אפשר לעיין במאמר בנושא מיקומי GPU.
Compute Engine תומך במשתמש אחד בו-זמנית לכל GPU או vGPU.
כדאי לעיין גם במגבלות של כל סוג מכונה עם מעבדי GPU מצורפים.