הסבר על מעבדי GPU

יחידות עיבוד גרפיות (GPU) הן מאיצי חומרה ייעודיים שנועדו לעבד בו-זמנית עומסי עבודה מקבילים עצומים. ב-Cloud de Confiance by S3NS, אתם יכולים לחבר מעבדי GPU של NVIDIA למכונות Compute Engine ולמכונות Bare Metal כדי להאיץ עומסי עבודה תובעניים, כמו אימון של בינה מלאכותית (AI) ולמידת מכונה (ML), מחשוב עתיר ביצועים (HPC), רינדור גרפיקה והמרת קידוד של וידאו.

במאמר הזה נסביר על יחידות ה-GPU ב- Cloud de Confiance, כולל דגמי ה-GPU הזמינים, מיפוי סדרות המכונות, מאפייני הביצועים, תרחישי השימוש האידיאליים ושיקולי התמחור.

מה זה GPU?

מעבד GPU הוא מעבד מקבילי עצום שתוכנן במקור לגרפיקה ממוחשבת, והתפתח למנוע מחשוב חיוני ל-AI, ללמידת מכונה ולמחשוב מדעי. בניגוד ליחידות עיבוד מרכזיות (CPU), שמכילות כמה ליבות חזקות שעברו אופטימיזציה לעיבוד רציף עם שרשור יחיד, יחידות GPU מורכבות מאלפי ליבות קטנות ויעילות מאוד שנועדו לבצע חישובים מתמטיים בו-זמנית במערכי נתונים גדולים.

הרכיבים העיקריים של ארכיטקטורת מערכת GPU הם:

  • ליבות CUDA: יחידות עיבוד וקטוריות למטרות כלליות שמבצעות הוראות בכמה שרשורים מקבילים בו-זמנית, באמצעות ארכיטקטורה של הוראה אחת, כמה שרשורים (SIMT). ליבות CUDA מטפלות בחישובים סטנדרטיים של וקטורים ונקודה צפה (כמו FP32 ו-FP64), וגם ברינדור גרפי כללי ובסימולציות פיזיות.

  • ליבות Tensor: יחידות עיבוד ייעודיות של כפל-צבירה (MMA) של מטריצות, שנועדו להאיץ את החישובים של רשתות נוירונים. ליבות Tensor מספקות האצות אקספוננציאליות לאימון ולהסקת מסקנות של AI בפורמטים מספריים מדויקים, כולל FP4,‏ FP8,‏ INT8,‏ TF32 ו-FP16/BF16.

  • זיכרון ברוחב פס גבוה: זיכרון ייעודי במכשיר שמספק רוחב פס של עד כמה טרה-בייט לשנייה (TBps), כמו זיכרון ברוחב פס גבוה (HBM) או Graphics Double Data Rate ‏ (GDDR). קצב העברת הנתונים הגבוה הזה מאפשר לספק נתונים לאלפי ליבות GPU במהלך פעולות מטריצה אינטנסיביות.

  • חיבורים במהירות גבוהה (NVLink ו-NVSwitch): טכנולוגיות חיבור עם רוחב פס גבוה וזמן אחזור קצר, שמחברות כמה מעבדי GPU באותו שרת או בין צמתים. ‫NVLink מספק תקשורת ישירה בין מעבדי GPU שעוקפת את אפיק ה-PCIe האיטי יותר, ומאפשרת לאשכולות של מעבדי GPU לפעול כמאגר זיכרון מאיץ קוהרנטי אחד.

  • תוכנה לתחנת עבודה וירטואלית (NVIDIA RTX vWS): תוכנה ארגונית שמספקת האצת עיבוד גרפי וירטואלית לתחנות עבודה חזותיות מרוחקות, לתכנון בעזרת מחשב (CAD), ליצירת תוכן דיגיטלי ולמידול תלת-ממדי.

דגמי GPU וסדרות מכונות

ב-Cloud de Confiance יש מעבדי GPU של NVIDIA מכמה דורות, כדי לענות על צרכים שונים של עומסי עבודה ותקציב. ב-Compute Engine, מעבדי GPU זמינים כסדרות של מכונות שעברו אופטימיזציה למאיצים (סדרות A ו-G) או כמאיצים שאפשר לצרף לסדרות של מכונות N1 לשימוש כללי.

בטבלה הבאה מפורטים המפרטים של החומרה, המיפויים של סדרות המכונות, רוחב הפס של הרשת ויכולות האחסון של דגמי ה-GPU שזמינים ב-Compute Engine:

דגם ה-GPU סדרת מכונות ארכיטקטורה זיכרון ורוחב פס של GPU מעבדים גרפיים לכל מכונה רוחב הפס המקסימלי של הרשת אחסון SSD מקומי Interconnect תמיכה ב-NVIDIA RTX Virtual Workstation (vWS)‎
NVIDIA GB300 A4X Max Blackwell Ultra ‫279GB HBM3e‏ (8TBps) ‫4 (NVL72) 3,600 Gbps ‫12,000 GiB ‫NVLink Full Mesh ‏ (1,800GBps) לא
NVIDIA GB200 A4X Blackwell ‫186GB HBM3e‏ (8TBps) ‫4 (NVL72) 2,000 Gbps ‫12,000 GiB ‫NVLink Full Mesh ‏ (1,800GBps) לא
NVIDIA B200 A4 Blackwell ‫180GB HBM3e‏ (8TBps) 8 3,600 Gbps ‫12,000 GiB ‫NVLink Full Mesh ‏ (1,800GBps) לא
NVIDIA H200 A3 Ultra תא אחסון עליון ‫141GB HBM3e‏ (4.8TBps) 8 3,600 Gbps ‫12,000 GiB ‫NVLink Full Mesh ‏ (900GBps) לא
NVIDIA H100 A3 Mega, High, Edge תא אחסון עליון ‫80GB‏ HBM3‏ (3.35TBps) 1, 2, 4, 8 עד 1,000 Gbps עד 6,000 GiB ‫NVLink Full Mesh ‏ (900GBps) לא
NVIDIA A100 (80GB) A2 Ultra אמפר 80GB HBM2e‏ (1.9TBps) 1, 2, 4, 8 100 Gbps עד ‎3,000 GiB NVLink Full Mesh (600 GBps) לא
NVIDIA A100 (40GB) A2 Standard אמפר ‫40GB‏ HBM2‏ (1.6TBps) 1, 2, 4, 8, 16 100 Gbps עד ‎3,000 GiB NVLink Full Mesh (600 GBps) לא
NVIDIA RTX PRO 6000 G4 Blackwell ‫96GB GDDR7‏ (1.597TBps) 1/8, 1/4, 1/2, 1, 2, 4, 8 200 Gbps עד ‎3,000 GiB PCIe גרסה 5 כן
NVIDIA L4 G2 עדה לאבלייס ‫24GB GDDR6 ‏ (300GBps) 1, 2, 4, 8 100 Gbps עד ‎3,000 GiB PCIe גרסה 4 כן
NVIDIA V100 N1+V100 Volta ‫16GB HBM2 ‏ (900GBps) 1, 2, 4, 8 100 Gbps נתמך NVLink Ring (300 GBps) לא
‫NVIDIA T4 (מתקרב לסיום התמיכה) N1+T4 Turing ‫16GB GDDR6 ‏ (320GBps) 1, 2, 4 100 Gbps נתמך PCIe גרסה 3 כן
‫NVIDIA P4 (מתקרב לסיום התמיכה) N1+P4 פסקל ‫8GB GDDR5 ‏ (192GBps) 1, 2, 4 100 Gbps נתמך PCIe גרסה 3 כן

מאפייני הביצועים של ה-GPU

בחירת המודל המתאים של ה-GPU תלויה במאפייני החישוב, בדרישות הזיכרון, בפורמטים של הדיוק ובצרכי הסקיילאביליות של עומס העבודה.

תרחישי שימוש אידיאליים ודרישות לגבי עומסי עבודה

מעבדי GPU מאיצים עומסי עבודה חישוביים מגוונים בתחום ה-AI, המחשוב החזותי והמודלים המדעיים. כדי להבין את הדרישות הארכיטקטוניות של כל קטגוריית עומס עבודה, בחרו באחת מהכרטיסיות הבאות:

אימון AI/ML

  • מודלי בסיס מתקדמים ושילוב מומחים (MoE): אימון מראש של מודלים גדולים של טרנספורמרים, ארכיטקטורות מולטי-מודאליות ורשתות שילוב מומחים (MoE) דורש תפוקה גבוהה של Tensor Core, קיבולת גדולה של זיכרון ברוחב פס גבוה (HBM) (עד 279GB לכל GPU) ורוחב פס של חיבור NVLink במהירות גבוהה במיוחד (עד 1,800GB לשנייה) כדי לצמצם את זמן האחזור של הסנכרון בין כמה צמתים. סדרת המכונות המומלצת:

    מידע נוסף זמין במאמר המלצות לאימון מראש של מודלים במסמכי התיעוד של AI Hypercomputer.

  • כוונון עדין ואימון מודלים מתון: התאמה של מודלים בסיסיים קיימים באמצעות טכניקות כמו כוונון יעיל בפרמטרים (PEFT) ו-Low-Rank Adaptation‏ (LoRA) דורשת מספיק זיכרון GPU כדי להכיל את משקלי המודל והגרדיאנטים, בלי צורך באשכולות מרובי-צמתים בקנה מידה של אקסה-בייט. סדרת המכונות המומלצת:

    • ‫A3 High (NVIDIA H100)
    • A2 (NVIDIA A100)
    • G4 (NVIDIA RTX PRO 6000)

    מידע נוסף זמין במאמר המלצות לכוונון מודלים במסמכי התיעוד של AI Hypercomputer.

הסקת מסקנות באמצעות AI/ML

  • הסקת מסקנות ממודלים גדולים (יותר מ-70 מיליארד פרמטרים): כדי להציג מודלי שפה גדולים (LLM), כדאי להשתמש בקיבולת גבוהה של זיכרון ברוחב פס גבוה (HBM3e) (141-186GB לכל GPU) כדי להתאים את משקלי המודל לפחות יחידות GPU, וכך לצמצם את התקורה של התקשורת בין השבבים. סדרת המכונות המומלצת:

    • ‫A4X (NVIDIA GB200)
    • ‫A4 (NVIDIA B200)
    • ‫A3 Ultra (NVIDIA H200)

  • תפוקה גבוהה ועיבוד בזמן אמת: שאילתות אינטראקטיביות עם זמן אחזור קצר, תשובות בסטרימינג ויצירת תמונות משתמשות בפורמטים מספריים מכווננים עם האצת חומרה, כמו נקודה צפה של 8 ביט (FP8), מספר שלם של 8 ביט (INT8) ומספר שלם של 4 ביט (INT4), כדי למקסם את תפוקת הבקשות לכל דולר. סדרת המכונות המומלצת:

    מידע נוסף זמין במאמר המלצות להצגת הסקות במסמכי התיעוד של AI Hypercomputer.

גרפיקה ורכיבים חזותיים

HPC וסימולציה

  • סימולציה ומודלים מדעיים: אפליקציות בדינמיקה מולקולרית (כמו GROMACS ו-AMBER), דינמיקת נוזלים חישובית (CFD), כימיה קוונטית, אסטרופיזיקה וחיזוי מזג אוויר דורשות ביצועים גבוהים של נקודה צפה (floating-point) עם דיוק כפול של 64 ביט (FP64) ורוחב פס גבוה של זיכרון. סדרת המכונות המומלצת:

    • ‫A4X (NVIDIA GB200)
    • ‫A4 (NVIDIA B200)
    • ‫A3 (NVIDIA H100)
    • A2 (NVIDIA A100)

    מידע נוסף מופיע במאמר המלצות ל-HPC במסמכי התיעוד של AI Hypercomputer.

שיקולים שקשורים לעומס העבודה

בדרך כלל, מעבדי GPU לא מתאימים לעומסי העבודה הבאים:

  • לוגיקה סדרתית ועם שרשור יחיד: משימות שכוללות בעיקר ענפי החלטות סדרתיים או צינורות עיבוד נתונים סדרתיים פועלות טוב יותר במעבדים עם תדרי שעון גבוהים בליבה אחת.
  • אפליקציות אינטרנט סטנדרטיות ומיקרו-שירותים: שרתי אינטרנט לשימוש כללי, מערכות ניהול של מסדי נתונים יחסיים (RDBMS) ורכיבי backend סטנדרטיים של ממשקי API ללא דרישות של AI או עיבוד גרפי, לא נהנים מהאצת GPU. עומסי העבודה האלה מתארחים בצורה חסכונית יותר במכונות CPU לשימוש כללי או במכונות CPU מותאמות לצריכת מעבד גבוהה (compute-optimized).
  • עומסי עבודה שמותאמים ל-XLA ולמסגרות שעברו הידור גרפי: אם המודלים של הלמידה העמוקה שלכם נוצרו באמצעות מסגרות כמו JAX,‏ PyTorch/XLA או TensorFlow, הם יכולים לנצל את היתרונות של אופטימיזציות גרפיות מבוססות-מהדר (XLA). אם המודלים שלכם יכולים להפיק תועלת גם ממערכים סיסטוליים של מטריצות בהתאמה אישית וממיתוג מעגלים אופטיים, כדאי לשקול להעריך ארכיטקטורות חלופיות של מאיצים שמיועדות לפרדיגמות הביצוע הספציפיות האלה.

שיקולי תמחור

התמחור של GPU ב- Cloud de Confianceנקבע לפי הגורמים הבאים:

  • דגם ה-GPU הספציפי.

  • מספר יחידות ה-GPU המחוברות.

  • משאבים שהוקצו, כמו מעבדי vCPU, זיכרון מערכת ואחסון.

  • מודל הצריכה שבחרתם.

בקטעים הבאים מפורטים מודלי הצריכה ואפשרויות ההנחה הזמינים ל-GPU ב- Cloud de Confiance.

מודלים של צריכה ורכישה

אתם יכולים להקצות מכונות GPU באמצעות כמה אפשרויות צריכה, בהתאם לדרישות הזמינות ולסבילות העלות שלכם:

  • על פי דרישה: תמחור רגיל של תשלום לפי שימוש (PAYG) שמחויב לפי שנייה, ללא התחייבות לטווח ארוך. מכונות לפי דרישה מציעות גמישות מלאה במחזור החיים לפיתוח, לבדיקה ולעומסי עבודה משתנים בסביבת הייצור.

  • ‫VM במודל Spot: מכונות בהנחה משמעותית (עד 60%-91% הנחה על תעריפים על פי דרישה) שמנצלות את הקיבולת העודפת שלCloud de Confiance . ‫ Cloud de Confiance יכולה לעצור או למחוק מכונות וירטואליות במודל Spot כדי לפנות קיבולת בהתראה של 30 שניות, ולכן המכונות האלה מתאימות במיוחד לאימון מודלים של למידת מכונה באצווה עם עמידות בפני תקלות, למשימות באצווה עם נקודות ביקורת ולעיבוד נתונים מבוזר.

  • מכונות וירטואליות מסוג Flex-start: אפשרות לתזמון דינמי שמופעלת על ידי מתזמן משימות לפריסת workload דינמית (DWS). האפשרות הזו מקצה משאבי GPU בתוך תקופה מסוימת לעומסי עבודה עם משך זמן קבוע (עד 7 ימים) בתעריפים מוזלים.

  • הזמנות:

    • הזמנות: אתם יכולים להזמין קיבולת ל-GPU רגילים ולהשתמש בה מיד.
    • מקום שמור לעתיד (מצב יומן ו-AI Hypercomputer): אתם יכולים לבקש לשריין קיבולת של אשכול GPU לתאריך ולשעה עתידיים. אם Cloud de Confiance יאשר את הבקשה, תוכלו להתחיל להשתמש בקיבולת בזמן שציינתם, ותהיה לכם גישה בלעדית עד לסיום ההזמנה.

אפשרויות הנחה

  • ‫הנחות תמורת התחייבות לשימוש (CUD): הנחות משמעותיות (עד 55% להתחייבות ל-3 שנים או 37% להתחייבות לשנה) בתמורה להתחייבות לשמור על רמה קבועה של שימוש במשאבים באזור ספציפי. כדי לקבל הנחות תמורת התחייבות לשימוש בסוגי מכונות שמותאמים להאצה ובמעבדי GPU מצורפים, צריך לרכוש התחייבויות לשימוש במשאבים שמצורפות להזמנות.

  • ‫הנחות על שימוש קבוע (SUD): הנחות אוטומטיות שחלות על מכונות N1 ועל יחידות GPU שמחוברות אליהן, כשהן פועלות במשך יותר מ-25% מחודש החיוב. סדרות מכונות שעברו אופטימיזציה למאיצים (סדרות A ו-G) לא מקבלות הנחות SUD.

במחירון של GPU ובמחירון של מכונות וירטואליות תוכלו לקרוא פרטים נוספים על התמחור לפי שעה ולפי חודש בכל האזורים.

במאמר זמינות של אפשרויות צריכה לפי סוג מכונה מפורטות אפשרויות הצריכה בכל סוגי המכונות עם מאיצים.

המאמרים הבאים