במאמר הזה מפורטים דגמי ה-GPU של NVIDIA שבהם אתם יכולים להשתמש כדי להאיץ את למידת המכונה (ML), את עיבוד הנתונים ואת עומסי העבודה שדורשים עיבוד גרפי אינטנסיבי במכונות של Compute Engine. בנוסף, מפורט אילו מעבדי GPU מחוברים מראש לסדרות של מכונות שמותאמות למאיצים, כמו A4X Max, A4X, A4, A3, A2, G4 ו-G2, ואילו מעבדי GPU אפשר לחבר למכונות N1 לשימוש כללי.
במסמך הזה אפשר להשוות בין הביצועים, הזיכרון והתכונות של דגמי GPU שונים. במאמר משפחת מכונות שעברו אופטימיזציה למאיצים תוכלו לקרוא סקירה כללית מפורטת יותר על משפחת המכונות שעברו אופטימיזציה למאיצים, כולל מידע על פלטפורמות של מעבדים, אפשרויות אחסון ויכולות רשת, ולמצוא את סוג המכונה הספציפי שמתאים לעומס העבודה שלכם.
למידע נוסף על GPUs ב-Compute Engine, קראו את המאמר מידע על GPUs.
במאמר זמינות של אזורים ותחומים ל-GPU תוכלו לקרוא על האזורים והתחומים שזמינים ל-GPU ב-Compute Engine.
סקירה כללית
ב-Compute Engine יש סוגים שונים של מכונות שתומכים בעומסי עבודה שונים.
חלק מסוגי המכונות תומכים ב-NVIDIA RTX Virtual Workstations (vWS). כשיוצרים מכונה שמשתמשת ב-NVIDIA RTX Virtual Workstation, Compute Engine מוסיף באופן אוטומטי רישיון vWS. למידע על תמחור של תחנות עבודה וירטואליות, ראו דף התמחור של GPU.
| סוגי מכונות GPU | |||
|---|---|---|---|
| עומסי עבודה של AI ו-ML | גרפיקה והמחשה חזותית | עומסי עבודה אחרים ב-GPU | |
|
סוגי מכונות מסדרה A עם אופטימיזציה למאיצים מיועדים לעומסי עבודה של מחשוב עתיר ביצועים (HPC), בינה מלאכותית (AI) ולמידת מכונה (ML).
סדרת A מהדור המאוחר יותר מתאימה לאימון מראש ולכוונון של מודלי בסיס שכוללים אשכולות גדולים של מאיצים, ואילו סדרת A2 מתאימה לאימון מודלים קטנים יותר ולהסקת מסקנות ממארח יחיד. בסוגי המכונות האלה, מודל ה-GPU מצורף למכונה באופן אוטומטי. |
סוגי מכונות מסדרה G עם אופטימיזציה למאיצים מיועדים לעומסי עבודה כמו עומסי עבודה של סימולציה ב-NVIDIA Omniverse, אפליקציות עם גרפיקה אינטנסיבית, המרת קידוד של וידאו ומחשבים וירטואליים. סוגי המכונות האלה תומכים ב-NVIDIA RTX Virtual Workstations (vWS).
אפשר להשתמש בסדרת G גם לאימון מודלים קטנים יותר ולהסקת מסקנות במארח יחיד. בסוגי המכונות האלה, מודל ה-GPU מצורף למכונה באופן אוטומטי. |
במכונות וירטואליות לשימוש כללי מסוג N1, חוץ ממכונות עם ליבת מעבד משותפת מסוג N1 ( |
|
|
אפשר לצרף את המודלים הבאים של GPU למכונות וירטואליות לשימוש כללי מסוג N1:
|
||
אפשר גם להשתמש בסוגי מכונות מסוימים של GPU ב-AI Hypercomputer. AI Hypercomputer היא מערכת מחשוב-על שמותאמת לתמיכה בעומסי עבודה של בינה מלאכותית (AI) ולמידת מכונה (ML). מומלץ להשתמש באפשרות הזו כדי ליצור תשתית עם הקצאה צפופה ואופטימיזציה של הביצועים, שכוללת שילובים של מתזמני Google Kubernetes Engine (GKE) ו-Slurm.
סדרות המכונות A4X Max ו-A4X
סדרות המכונות A4X Max ו-A4X פועלות בפלטפורמה בקנה מידה של אקסה-בייט שמבוססת על ארכיטקטורה בקנה מידה של ארון שרתים של NVIDIA, והן מותאמות לאימון של מודלים של למידת מכונה ולעומסי עבודה של HPC שדורשים הרבה משאבי מחשוב וזיכרון ומוגבלים על ידי הרשת. ההבדלים העיקריים בין A4X Max ל-A4X הם ברכיבי ה-GPU והרשת. מכונות A4X Max זמינות רק כמכונות פיזיות, שמאפשרות גישה ישירה למעבד ולזיכרון של השרת המארח, בלי שכבת ה-hypervisor של Compute Engine.
סוגי מכונות A4X Max (NVIDIA GB300)
סוגי המכונות A4X Max accelerator-optimized משתמשים ב-NVIDIA GB300 Grace Blackwell Ultra Superchips (nvidia-gb300) והם אידיאליים לאימון ולשירות של מודלים בסיסיים. סוגי המכונות A4X Max זמינים כמכונות Bare Metal.
A4X Max היא פלטפורמה בקנה מידה של אקסה-בייט שמבוססת על NVIDIA GB300 NVL72. לכל מכונה יש שני שקעים עם מעבדי NVIDIA Grace עם ליבות Arm Neoverse V2. המעבדים האלה מחוברים לארבעה מעבדים גרפיים מסוג NVIDIA B300 Blackwell עם תקשורת מהירה בין שבבים (NVLink-C2C). מידע נוסף על המגבלות של סוגי המכונות מופיע במאמר המגבלות של A4X Max ו-A4X.
| סוג המכונה | מספר מעבדי ה-vCPU | זיכרון המכונה (GB) | SSD מקומי מצורף (GiB) | מספר כרטיסי הרשת הפיזיים | רוחב הפס המקסימלי של הרשת (Gbps) | מספר יחידות ה-GPU מדגם NVIDIA GB300 | זיכרון GPU (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4x-maxgpu-4g-metal |
144 | 960 | 12,000 | 6 | 3,600 | 4 | 1,116 |
הערות לגבי סוגי המכונות A4X Max
ההערות הבאות רלוונטיות לטבלה שלמעלה:
- vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
- רוחב הפס המקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס ברשת, קראו את המאמר רוחב פס ברשת.
- זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.
סוג מכונה A4X (NVIDIA GB200)
סוגי המכונות A4X עם אופטימיזציה למאיצים משתמשים ב-NVIDIA GB200 Grace Blackwell Superchips (nvidia-gb200) והם אידיאליים לאימון ולשירות של מודלים בסיסיים.
A4X היא פלטפורמה בקנה מידה של אקסה-בייט שמבוססת על NVIDIA GB200 NVL72. לכל מכונה יש שני שקעים עם מעבדי NVIDIA Grace עם ליבות Arm Neoverse V2. המעבדים האלה מחוברים לארבעה מעבדי NVIDIA B200 Blackwell GPU עם תקשורת מהירה בין שבבים (NVLink-C2C). מידע נוסף על המגבלות של סוגי המכונות מופיע במאמר המגבלות של A4X Max ו-A4X.
| סוג המכונה | מספר מעבדי ה-vCPU | זיכרון המכונה (GB) | SSD מקומי מצורף (GiB) | מספר כרטיסי הרשת הפיזיים | רוחב הפס המקסימלי של הרשת (Gbps) | מספר יחידות ה-GPU מדגם NVIDIA GB200 | זיכרון GPU (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4x-highgpu-4g |
140 | 884 | 12,000 | 6 | 2,000 | 4 | 744 |
הערות לגבי סוגי מכונות A4X
ההערות הבאות רלוונטיות לטבלה שלמעלה:
- vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
- רוחב הפס המקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס ברשת, קראו את המאמר רוחב פס ברשת.
- זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.
סדרת מכונות A4 (NVIDIA B200)
סוגי המכונות A4 עם אופטימיזציה למאיצים כוללים מעבדי GPU מסוג NVIDIA B200 Blackwell (nvidia-b200), והם מתאימים במיוחד לאימון ולשימוש במודלים בסיסיים. מידע נוסף על המגבלות של סוגי המכונות מופיע במאמר מגבלות של A4.
| סוג המכונה | מספר מעבדי ה-vCPU | זיכרון המכונה (GB) | SSD מקומי מצורף (GiB) | מספר כרטיסי הרשת הפיזיים | רוחב הפס המקסימלי של הרשת (Gbps) | מספר מעבדי GPU מסוג NVIDIA B200 Blackwell | זיכרון GPU (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4-highgpu-8g |
224 | 3,968 | 12,000 | 10 | 3,600 | 8 | 1,440 |
הערות לגבי סוגי מכונות A4
ההערות הבאות רלוונטיות לטבלה שלמעלה:
- vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
- רוחב הפס המקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס של רשת, ראו רוחב פס של רשת.
- זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.
סדרת מכונות A3
לסוגי המכונות A3 accelerator-optimized מצורפים מעבדי GPU מסוג NVIDIA H100 SXM או NVIDIA H200 SXM.
סוג המכונה A3 Ultra (NVIDIA H200)
למכונות מסוג A3 Ultra יש מעבדי NVIDIA H200 SXM GPU (nvidia-h200-141gb) מצורפים, והן מספקות את ביצועי הרשת הכי גבוהים בסדרת A3. סוגי המכונות A3 Ultra מתאימים במיוחד לאימון ולשימוש במודלים בסיסיים. מידע על המגבלות של סוגי המכונות מופיע במאמר המגבלות של A3 Ultra.
| סוג המכונה | מספר מעבדי ה-vCPU | זיכרון המכונה (GB) | SSD מקומי מצורף (GiB) | מספר כרטיסי הרשת הפיזיים | רוחב הפס המקסימלי של הרשת (Gbps) | מספר יחידות ה-GPU מסוג NVIDIA H200 | זיכרון GPU (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a3-ultragpu-8g |
224 | 2,952 | 12,000 | 10 | 3,600 | 8 | 1128 |
הערות לגבי סוג המכונה A3 Ultra
ההערות הבאות רלוונטיות לטבלה שלמעלה:
- vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
- רוחב הפס המקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס ברשת, קראו את המאמר רוחב פס ברשת.
- זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.
סוגי המכונות A3 Mega, High ו-Edge (NVIDIA H100)
כדי להשתמש ב-NVIDIA H100 SXM GPUs, יש לכם את האפשרויות הבאות:
- A3 Mega: סוגי המכונות האלה כוללים מעבדי GPU מסוג H100 SXM (
nvidia-h100-mega-80gb) והם אידיאליים לאימון בקנה מידה גדול ולעומסי עבודה של הצגת מודעות. - A3 High: סוגי המכונות האלה כוללים מעבדי GPU מסוג H100 SXM (
nvidia-h100-80gb) ומתאימים גם למשימות אימון וגם למשימות הצגה. - A3 Edge: סוגי המכונות האלה כוללים מעבדי GPU מסוג H100 SXM (
nvidia-h100-80gb), מיועדים במיוחד להצגת מודעות וזמינים בקבוצה מוגבלת של אזורים.
A3 Mega
| סוג המכונה | מספר מעבדי ה-vCPU | זיכרון המכונה (GB) | SSD מקומי מצורף (GiB) | מספר כרטיסי הרשת הפיזיים | רוחב הפס המקסימלי של הרשת (Gbps) | מספר מעבדי GPU מסוג NVIDIA H100 | זיכרון GPU (GB HBM3) |
|---|---|---|---|---|---|---|---|
a3-megagpu-8g |
208 | 1,872 | 6,000 | 9 | 1,800 | 8 | 640 |
A3 High
| סוג המכונה | מספר מעבדי ה-vCPU | זיכרון המכונה (GB) | SSD מקומי מצורף (GiB) | מספר כרטיסי הרשת הפיזיים | רוחב הפס המקסימלי של הרשת (Gbps) | מספר מעבדי GPU מסוג NVIDIA H100 | זיכרון GPU (GB HBM3) |
|---|---|---|---|---|---|---|---|
a3-highgpu-1g |
26 | 234 | 750 | 1 | 25 | 1 | 80 |
a3-highgpu-2g |
52 | 468 | 1,500 | 1 | 50 | 2 | 160 |
a3-highgpu-4g |
104 | 936 | 3,000 | 1 | 100 | 4 | 320 |
a3-highgpu-8g |
208 | 1,872 | 6,000 | 5 | 1,000 | 8 | 640 |
A3 Edge
| סוג המכונה | מספר מעבדי ה-vCPU | זיכרון המכונה (GB) | SSD מקומי מצורף (GiB) | מספר כרטיסי הרשת הפיזיים | רוחב הפס המקסימלי של הרשת (Gbps) | מספר מעבדי GPU מסוג NVIDIA H100 | זיכרון GPU (GB HBM3) |
|---|---|---|---|---|---|---|---|
a3-edgegpu-8g |
208 | 1,872 | 6,000 | 5 | 600 (asia-south1 ו-northamerica-northeast2) או 400 (כל שאר האזורים של A3 Edge) |
8 | 640 |
הערות לגבי סוגי המכונות A3 Mega, High ו-Edge
ההערות הבאות רלוונטיות לטבלה שלמעלה:
- vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
- רוחב הפס המקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס ברשת, קראו את המאמר רוחב פס ברשת.
- זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.
סדרת מכונות A2 (NVIDIA A100)
סוגי המכונות A2 עם אופטימיזציה למאיצים כוללים מעבדי NVIDIA A100 GPU, והם מתאימים במיוחד לכוונון מודלים, למודלים גדולים ולהסקת מסקנות עם אופטימיזציה לעלויות.
יש שני סוגים של סדרת מכונות A2:
- A2 Ultra: לסוגי המכונות האלה יש מעבדי GPU מסוג A100 80GB (
nvidia-a100-80gb) ודיסקים מסוג SSD מקומי. - A2 Standard: לסוגי המכונות האלה מצורפים מעבדי GPU מסוג A100 40GB (
nvidia-tesla-a100). אפשר גם להוסיף דיסקים מסוג Local SSD כשיוצרים מכונה מסוג A2 Standard. כדי לדעת כמה דיסקים אפשר לחבר, קראו את המאמר סוגי מכונות שצריך לבחור בהם מספר של כונני SSD מקומיים.
A2 Ultra
| סוג המכונה | מספר מעבדי ה-vCPU | זיכרון המכונה (GB) | SSD מקומי מצורף (GiB) | רוחב הפס המקסימלי של הרשת (Gbps) | מספר מעבדי GPU מסוג NVIDIA A100 80GB | זיכרון GPU (GB HBM2e) |
|---|---|---|---|---|---|---|
a2-ultragpu-1g |
12 | 170 | 375 | 24 | 1 | 80 |
a2-ultragpu-2g |
24 | 340 | 750 | 32 | 2 | 160 |
a2-ultragpu-4g |
48 | 680 | 1,500 | 50 | 4 | 320 |
a2-ultragpu-8g |
96 | 1,360 | 3,000 | 100 | 8 | 640 |
A2 Standard
| סוג המכונה | מספר מעבדי ה-vCPU | זיכרון המכונה (GB) | תמיכה ב-SSD מקומי | רוחב הפס המקסימלי של הרשת (Gbps) | מספר מעבדי GPU מסוג NVIDIA A100 40GB | זיכרון GPU (GB HBM2) |
|---|---|---|---|---|---|---|
a2-highgpu-1g |
12 | 85 | כן | 24 | 1 | 40 |
a2-highgpu-2g |
24 | 170 | כן | 32 | 2 | 80 |
a2-highgpu-4g |
48 | 340 | כן | 50 | 4 | 160 |
a2-highgpu-8g |
96 | 680 | כן | 100 | 8 | 320 |
a2-megagpu-16g |
96 | 1,360 | כן | 100 | 16 | 640 |
הערות לגבי סוג המכונה A2
ההערות הבאות רלוונטיות לטבלה שלמעלה:
- vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
- רוחב הפס המקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס ברשת, קראו את המאמר רוחב פס ברשת.
- זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.
סדרת מכונות G4 (NVIDIA RTX PRO 6000)
סוגי המכונות G4 accelerator-optimized משתמשים ב-
מעבדים גרפיים NVIDIA RTX PRO 6000 Blackwell Server Edition (nvidia-rtx-pro-6000) ומתאימים לעומסי עבודה של סימולציה ב-NVIDIA Omniverse, לאפליקציות שדורשות עיבוד גרפי אינטנסיבי, להמרת קידוד של וידאו ולמחשבים וירטואליים. בנוסף, סוגי המכונות G4 מספקים פתרון זול להסקת מסקנות במארח יחיד ולכוונון מודלים בהשוואה לסוגי המכונות מסדרה A.
אפשר גם להוסיף דיסקים של Titanium SSD כשיוצרים מכונה מסוג G4. כדי לדעת כמה דיסקים אפשר לחבר, קראו את המאמר סוגי מכונות שצריך לבחור בהם מספר של דיסקי SSD מקומיים. מידע על המגבלות של סוגי המכונות מופיע במאמר המגבלות של G4.
אחת התכונות העיקריות של סדרת G4 היא תמיכה בתקשורת ישירה בין יחידות GPU (P2P) בסוגי מכונות עם כמה יחידות GPU (g4-standard-96, g4-standard-192, g4-standard-384). כך יחידות GPU באותו מכונה יכולות להחליף נתונים ישירות דרך אפיק ה-PCIe, בלי לערב את המארח של המעבד (CPU). למידע נוסף על תקשורת בין GPU מסוג G4, קראו את המאמר תקשורת בין GPU מסוג G4.
| סוג המכונה | מספר מעבדי ה-vCPU | זיכרון המכונה (GB) | הנפח המקסימלי של Titanium SSD שנתמך (GiB) | מספר כרטיסי הרשת הפיזיים | רוחב הפס המקסימלי של הרשת (Gbps) | מספר יחידות ה-GPU מסוג NVIDIA RTX PRO 6000 | זיכרון GPU (GB GDDR7) |
|---|---|---|---|---|---|---|---|
g4-standard-6 |
6 | 22 | 0 | 1 | 20 | 1/8 | 12 |
g4-standard-12 |
12 | 45 | 375 | 1 | 20 | 1/4 | 24 |
g4-standard-24 |
24 | 90 | 750 | 1 | 20 | 1/2 | 48 |
g4-standard-48 |
48 | 180 | 1,500 | 1 | 50 | 1 | 96 |
g4-standard-96 |
96 | 360 | 3,000 | 1 | 100 | 2 | 192 |
g4-standard-192 |
192 | 720 | 6,000 | 1 | 200 | 4 | 384 |
g4-standard-384 |
384 | 1,440 | 12,000 | 2 | 400 | 8 | 768 |
הערות לגבי סוגי מכונות G4
ההערות הבאות רלוונטיות לטבלה שלמעלה:
- vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
- רוחב הפס המקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב פס של רשת זמין במאמר רוחב פס של רשת.
- זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.
סדרת מכונות G2 (NVIDIA L4)
לסוגי המכונות G2 עם אופטימיזציה למאיצים מצורפים מעבדי GPU מסוג NVIDIA L4, והם אידיאליים לעומסי עבודה של הסקת מסקנות עם אופטימיזציה לעלויות, עומסי עבודה עם הרבה גרפיקה ועומסי עבודה של מחשוב עתיר ביצועים.
לכל סוג מכונה של G2 יש גם זיכרון שמוגדר כברירת מחדל וטווח זיכרון בהתאמה אישית. טווח הזיכרון בהתאמה אישית מגדיר את נפח הזיכרון שאפשר להקצות למכונה לכל סוג מכונה. אפשר גם להוסיף דיסקים מסוג Local SSD כשיוצרים מכונה מסוג G2. כדי לדעת כמה דיסקים אפשר לחבר, קראו את המאמר סוגי מכונות שצריך לבחור בהם מספר של כונני SSD מקומיים.
מידע נוסף על המגבלות של סוגי המכונות מופיע במאמר מגבלות של G2.
| סוג המכונה | מספר מעבדי ה-vCPU | זיכרון ברירת המחדל של המכונה (GB) | טווח זיכרון מותאם אישית למכונה (GB) | נפח מקסימלי נתמך של כונן SSD מקומי (GiB) | רוחב הפס המקסימלי של הרשת (Gbps) | מספר יחידות ה-GPU מסוג NVIDIA L4 | זיכרון GPU (GB GDDR6) |
|---|---|---|---|---|---|---|---|
g2-standard-4 |
4 | 16 | 16 עד 32 | 375 | 10 | 1 | 24 |
g2-standard-8 |
8 | 32 | 32 עד 54 | 375 | 16 | 1 | 24 |
g2-standard-12 |
12 | 48 | 48 עד 54 | 375 | 16 | 1 | 24 |
g2-standard-16 |
16 | 64 | 54 עד 64 | 375 | 32 | 1 | 24 |
g2-standard-24 |
24 | 96 | 96 עד 108 | 750 | 32 | 2 | 48 |
g2-standard-32 |
32 | 128 | 96 עד 128 | 375 | 32 | 1 | 24 |
g2-standard-48 |
48 | 192 | 192 עד 216 | 1,500 | 50 | 4 | 96 |
g2-standard-96 |
96 | 384 | 384 עד 432 | 3,000 | 100 | 8 | 192 |
הערות לגבי סוגי מכונות G2
ההערות הבאות רלוונטיות לטבלה שלמעלה:
- vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
- רוחב הפס המקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס ברשת, קראו את המאמר רוחב פס ברשת.
- זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.
סדרת המכונות N1
אפשר לצרף את דגמי ה-GPU הבאים למכונה מסוג N1, חוץ ממכונות עם ליבה משותפת מסוג N1.
בניגוד לסוגי המכונות בסדרת המכונות שמותאמות ל-GPU, סוגי המכונות N1 לא מגיעים עם מספר מוגדר של מעבדי GPU מצורפים. במקום זאת, מציינים את מספר ה-GPU שרוצים לצרף כשיוצרים את המכונה.
במכונות N1 עם פחות מעבדי GPU, המספר המקסימלי של מעבדי vCPU מוגבל. באופן כללי, ככל שיש יותר מעבדי GPU, אפשר ליצור מכונות עם יותר מעבדי vCPU וזיכרון.
N1+T4 GPUs
אפשר לחבר מעבדי GPU מסוג NVIDIA T4 למכונות N1 לשימוש כללי, עם הגדרות המכונה הבאות.
| סוג המאיץ | מספר מעבדי ה-GPU מסוג NVIDIA T4 | זיכרון GPU (GB GDDR6) | מספר מעבדי ה-vCPU | זיכרון המכונה (GB) | תמיכה ב-SSD מקומי |
|---|---|---|---|---|---|
nvidia-tesla-t4 או nvidia-tesla-t4-vws |
1 | 16 | 1 עד 48 | 1 עד 312 | כן |
nvidia-tesla-t4 או nvidia-tesla-t4-vws |
2 | 32 | 1 עד 48 | 1 עד 312 | כן |
nvidia-tesla-t4 או nvidia-tesla-t4-vws |
4 | 64 | 1 עד 96 | 1 עד 624 | כן |
הערות לגבי סוגי המכונות N1+T4
ההערה הבאה רלוונטית לטבלה שלמעלה:
- זיכרון GPU: זיכרון GPU הוא הזיכרון שזמין במכשיר GPU, שאפשר להשתמש בו לאחסון נתונים זמני. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.
N1+P4 GPUs
אפשר לצרף מעבדי GPU מסוג NVIDIA P4 למכונות N1 לשימוש כללי, עם הגדרות המכונה הבאות.
במכונות עם מעבדי NVIDIA P4 GPU מצורפים, יש תמיכה בדיסקים מסוג Local SSD רק באזורים us-central1-c ו-northamerica-northeast1-b.
| סוג המאיץ | מספר יחידות ה-GPU מסוג NVIDIA P4 | זיכרון GPU (GB GDDR5) | מספר מעבדי ה-vCPU | זיכרון המכונה (GB) | תמיכה ב-SSD מקומי |
|---|---|---|---|---|---|
nvidia-tesla-p4 או nvidia-tesla-p4-vws |
1 | 8 | 1 עד 24 | 1 עד 156 | כן (רק us-central1-c ו-northamerica-northeast1-b) |
nvidia-tesla-p4 או nvidia-tesla-p4-vws |
2 | 16 | 1 עד 48 | 1 עד 312 | כן (us-central1-c ו-northamerica-northeast1-b בלבד) |
nvidia-tesla-p4 או nvidia-tesla-p4-vws |
4 | 32 | 1 עד 96 | 1 עד 624 | כן (us-central1-c ו-northamerica-northeast1-b בלבד) |
הערות לגבי סוגי המכונות N1+P4
ההערה הבאה רלוונטית לטבלה שלמעלה:
- זיכרון GPU: זיכרון GPU הוא הזיכרון שזמין במכשיר GPU, שאפשר להשתמש בו לאחסון נתונים זמני. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.
N1+V100 GPUs
אפשר לצרף מעבדי GPU מסוג NVIDIA V100 למכונות N1 לשימוש כללי, עם הגדרות המכונה הבאות.
במכונות עם מעבדי GPU מסוג NVIDIA V100, אי אפשר להשתמש בכונני SSD מקומיים באזור us-east1-c.
| סוג המאיץ | מספר מעבדי GPU מסוג NVIDIA V100 | זיכרון GPU (GB HBM2) | מספר מעבדי ה-vCPU | זיכרון המכונה (GB) | תמיכה ב-SSD מקומי |
|---|---|---|---|---|---|
nvidia-tesla-v100 |
1 | 16 | 1 עד 12 | 1 עד 78 | כן (חוץ מ-us-east1-c) |
nvidia-tesla-v100 |
2 | 32 | 1 עד 24 | 1 עד 156 | כן (חוץ מ-us-east1-c) |
nvidia-tesla-v100 |
4 | 64 | 1 עד 48 | 1 עד 312 | כן (חוץ מ-us-east1-c) |
nvidia-tesla-v100 |
8 | 128 | 1 עד 96 | 1 עד 624 | כן (חוץ מ-us-east1-c) |
הערות לגבי סוג המכונה N1+V100
ההערה הבאה רלוונטית לטבלה שלמעלה:
- זיכרון GPU: זיכרון GPU הוא הזיכרון שזמין במכשיר GPU, שאפשר להשתמש בו לאחסון נתונים זמני. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.
חוויית התחזוקה של מכונות N1 עם מעבדי GPU
במהלך מחזור החיים של מכונה ב-Compute Engine, המכונה המארחת שבה פועלת המכונה שלכם עוברת כמה אירועים במארח. אירוע במארח יכול לכלול תחזוקה שוטפת של התשתית של Compute Engine, או במקרים נדירים, שגיאה במארח. בנוסף, Compute Engine מבצע ברקע שדרוגים קלים ל-hypervisor ולרשת, שלא משבשים את הפעילות.
בטבלה הבאה מתוארות התכונות של תחזוקת המארח לסוגי המכונות N1 עם GPU מצורף:
| סוג המכונה | מספר יחידות ה-GPU | תדירות אופיינית של אירועי תחזוקה מתוזמנים | התנהגות התחזוקה | התראה מראש על פעולות תחזוקה מתוכננות | תחזוקה על פי דרישה | סימולציה של תחזוקה |
|---|---|---|---|---|---|---|
| N1+T4 | 1 או 2 | לפחות 15 ימים | סיום והפעלה מחדש | 7 ימים | לא | כן |
| N1+T4 | 4 | 30 ימים לפחות | סיום והפעלה מחדש | 7 ימים | כן | כן |
| N1+P4 | 1 או 2 | לפחות 15 ימים | סיום והפעלה מחדש | 7 ימים | לא | כן |
| N1+P4 | 4 | 30 ימים לפחות | סיום והפעלה מחדש | 7 ימים | כן | כן |
| N1+V100 | 1, 2 או 4 | לפחות 15 ימים | סיום והפעלה מחדש | 7 ימים | לא | כן |
| N1+V100 | 8 | 30 ימים לפחות | סיום והפעלה מחדש | 7 ימים | כן | כן |
ההערות הבאות רלוונטיות לטבלה שלמעלה:
- תדירות אופיינית של אירועי תחזוקה מתוזמנים:
תדירויות התחזוקה שמוצגות בטבלה הקודמת הן הערכות, ולא הבטחות. יכול להיות ש-Compute Engine יבצע תחזוקה בתדירות גבוהה יותר מדי פעם.
תרשים השוואה כללי
בטבלה הבאה מתוארים גודל הזיכרון של ה-GPU, זמינות התכונות וסוגי עומסי העבודה האידיאליים של דגמי GPU שונים ב-Compute Engine.
בטבלה הבאה, N/A מציין שהמדד לא רלוונטי או לא זמין למודל ה-GPU הזה.
| סוג המכונה (דגם ה-GPU) | זיכרון ורוחב פס של GPU | Interconnect | תמיכה ב-NVIDIA RTX Virtual Workstation (vWS) | מתי כדאי להשתמש? |
|---|---|---|---|---|
| A4X Max (GB300) | 279GB HBM3e (8TBps) | NVLink Full Mesh (1,800GBps) | לא | אימון והסקת מסקנות מבוזרים בקנה מידה גדול של מודלים גדולים של שפה (LLM) מסוג MoE, מערכות המלצות, HPC |
| A4X (GB200) | 186GB HBM3e (8TBps) | NVLink Full Mesh (1,800GBps) | לא | אימון והסקת מסקנות מבוזרים בקנה מידה גדול של מודלים גדולים של שפה (LLM), מערכות המלצות ו-HPC |
| A4 (B200) | 180GB HBM3e (8TBps) | NVLink Full Mesh (1,800GBps) | לא | אימון והסקת מסקנות מבוזרים בקנה מידה גדול של מודלים גדולים של שפה (LLM), מערכות המלצות ו-HPC |
| A3 Ultra (H200) | 141GB HBM3e (4.8TBps) | NVLink Full Mesh (900GBps) | לא | מודלים גדולים עם טבלאות נתונים גדולות לאימון של למידת מכונה, הסקת מסקנות, HPC, BERT, DLRM |
| A3 Mega, A3 High, A3 Edge (H100) | 80GB HBM3 (3.35TBps) | NVLink Full Mesh (900GBps) | לא | מודלים גדולים עם טבלאות נתונים גדולות לאימון של למידת מכונה, הסקת מסקנות, HPC, BERT, DLRM |
| A2 Ultra (A100 80GB) | 80GB HBM2e (1.9TBps) | NVLink Full Mesh (600 GBps) | לא | מודלים גדולים עם טבלאות נתונים גדולות לאימון של למידת מכונה, הסקת מסקנות, HPC, BERT, DLRM |
| A2 Standard (A100 40GB) | 40GB HBM2 (1.6TBps) | NVLink Full Mesh (600 GBps) | לא | אימון ML, היקש, HPC |
| G4 (RTX PRO 6000) | 96GB GDDR7 (1.597TBps) | לא רלוונטי | כן | הסקת מסקנות ואימון של למידת מכונה, תחנות עבודה להמחשה מרחוק, המרת קידוד של וידאו, HPC |
| G2 (L4) | 24GB GDDR6 (300GBps) | לא רלוונטי | כן | הסקת מסקנות מ-ML, אימון, תחנות עבודה להמחשה מרחוק, המרת קידוד של וידאו, HPC |
| N1 (T4) | 16GB GDDR6 (320GBps) | לא רלוונטי | כן | הסקת מסקנות בלמידת מכונה, אימון, תחנות עבודה להמחשה מרחוק, המרת קידוד של וידאו |
| N1 (P4) | 8GB GDDR5 (192GBps) | לא רלוונטי | כן | תחנות עבודה להמחשה חזותית מרחוק, הסקת מסקנות של למידת מכונה והמרת קידוד של וידאו |
| N1 (V100) | 16GB HBM2 (900GBps) | NVLink Ring (300 GBps) | לא | אימון ML, היקש, HPC |
במאמר תמחור של GPU תוכלו להשוות בין המחירים של דגמי ה-GPU השונים והאזורים שזמינים ב-Compute Engine.
ביצועים של ליבת Tensor וליבת CUDA רגילה
בקטעים הבאים מפורטים מדדי הביצועים של כל ארכיטקטורת GPU, בחלוקה לליבות CUDA וקטוריות או סטנדרטיות ולליבות Tensor.
ליבות Tensor: הביצועים של Tensor מתייחסים לנפח העיבוד של ליבות Tensor ייעודיות. אלה יחידות חומרה ייעודיות (שלעיתים קרובות נקראות יחידות מטריצה) שנועדו במיוחד להאיץ את פעולות הכפל והצבירה של מטריצות גדולות, שמהוות את הבסיס ללמידה עמוקה, לאימון ולהסקת מסקנות.
סוג הביצועים הזה מתאים במיוחד ללמידה עמוקה, למודלים גדולים של שפה (LLM) ולכל עומס עבודה שאפשר לבטא כפעולות של מטריצה צפופה. ליבות Tensor מספקות תפוקה גבוהה משמעותית מליבות CUDA לאותו סוג נתונים.
ליבות וקטוריות או ליבות CUDA רגילות: הביצועים של הליבות הווקטוריות מתייחסים לרוחב הפס של ליבות CUDA רגילות. אלה יחידות למטרות כלליות שפועלות באמצעות מודל של הוראה אחת, כמה שרשורים (SIMT), ובדרך כלל מבצעות פעולות על רכיבי נתונים או וקטורים נפרדים.
סוג הביצועים הזה מתאים במיוחד למחשוב כללי, לעיבוד גרפי ולעומסי עבודה שלא כוללים מתמטיקה של מטריצות צפופות.
ארכיטקטורת Blackwell
סוגי המכונות A4X Max, A4X, A4 ו-G4 פועלים בארכיטקטורת Blackwell של NVIDIA.
Tensor Core
ארכיטקטורת Blackwell של NVIDIA, שבה משתמשים סוגי המכונות האלה, מציגה תמיכה של Tensor Core ברמת דיוק של FP4 ויכולות INT4 מורחבות לביצועים גבוהים בהסקת מסקנות של מודלים גדולים.
בטבלה הבאה, N/A מציין שהמדד לא רלוונטי או לא זמין למודל ה-GPU הזה. הערות נוספות:
- TF32, Mixed FP16/32, INT8, FP8 ו-FP4: ארכיטקטורת Blackwell תומכת בדלילות מבנית למדדי הדיוק האלה, שיכולה להכפיל את קצב העיבוד החישובי. ערכי הביצועים בטבלה הזו מבוססים על כפל מטריצות צפופות. אם משתמשים בדלילות מבנית, הביצועים מוכפלים.
- Mixed FP16/32: לאימון ברמת דיוק משולבת, מעבדי GPU שפועלים בארכיטקטורת Blackwell תומכים גם בסוג הנתונים
bfloat16.
| סוג המכונה (דגם ה-GPU) | FP64 (TFLOPS) | TF32 (TFLOPS) | FP16/32 מעורב (TFLOPS) | INT8 (TFLOPS) | FP8 (TFLOPS) | FP4 (TFLOPS) |
|---|---|---|---|---|---|---|
| A4X Max (GB300) | 1.3 | 1,250 | 2,500 | 5,000 | 5,000 | 15,000 |
| A4X (GB200) | 45 | 1,250 | 2,500 | 5,000 | 5,000 | 10,000 |
| A4 (B200) | 40 | 1,100 | 2,250 | 4,500 | 4,500 | 9,000 |
| G4 (RTX PRO 6000) | לא רלוונטי | 233.9 | 467.8 | 935.6 | 935.6 | 1871.2 |
ליבות CUDA רגילות
סוגי המכונות שמשתמשים בארכיטקטורת Blackwell מספקים פעולות FP64 ו-FP32 עם ביצועים גבוהים לעומסי עבודה תובעניים של HPC ו-AI.
ב-A4X Max, ב-A4X וב-A4, פעולות FP16 מואצות על ידי ליבות Tensor. ב-G4, הביצועים של FP16 בליבות CUDA סטנדרטיות נכללים כי עומסי עבודה גרפיים, כמו רינדור והמחשה חזותית, יכולים להפיק תועלת מהדרישות המופחתות של FP16 לשימוש בזיכרון ולרוחב פס, גם כשלא משתמשים בליבות Tensor.
בטבלה הבאה, הערך N/A מציין שהמדד לא רלוונטי או לא זמין למודל ה-GPU הזה. ההערה הבאה רלוונטית גם:
- A4X Max (GB300) FP64: הביצועים של FP64 ב-GB300 מופחתים כדי לתת עדיפות לביצועים של FP4.
| סוג המכונה (דגם ה-GPU) | FP64 (TFLOPS) | FP32 (TFLOPS) | FP16 (TFLOPS) |
|---|---|---|---|
| A4X Max (GB300) | 1.39 | 45 | לא רלוונטי |
| A4X (GB200) | 45 | 45 | לא רלוונטי |
| A4 (B200) | 40 | 80 | לא רלוונטי |
| G4 (RTX PRO 6000) | 1.8 | 117 | 117 |
ארכיטקטורות Hopper, Ada Lovelace ו-Ampere
בסדרת A3 נעשה שימוש בארכיטקטורת Hopper, שבה הושקו מנועים ייעודיים למודלים של טרנספורמרים. בסדרה A2 נעשה שימוש בארכיטקטורת Ampere, שמספקת בסיס מאוזן לאימון ולהסקת מסקנות בביצועים גבוהים. סדרת G2 משתמשת בארכיטקטורת Ada Lovelace, שמספקת האצה רב-תכליתית וחסכונית באנרגיה להסקת AI, להמרת קידוד של וידאו ולעומסי עבודה גרפיים.
Tensor Core
הארכיטקטורות Hopper, Ada Lovelace ו-Ampere כוללות ליבות Tensor מתקדמות שמאיצות את סוגי הנתונים TF32, FP16, FP8 ו-INT8, ומספקות תפוקה גבוהה לאימון ולהסקת מסקנות ברמת דיוק משולבת.
בטבלה הבאה, הערך N/A מציין שהמדד לא רלוונטי או לא זמין למודל ה-GPU הזה. הערות נוספות:
- TF32, Mixed FP16/32, INT8 ו-FP8: הארכיטקטורות Hopper, Ada Lovelace ו-Ampere תומכות בדלילות מבנית למדדי הדיוק האלה (וגם ל-INT4), מה שיכול להכפיל את קצב העיבוד החישובי. ערכי הביצועים בטבלה הזו מבוססים על כפל מטריצות צפופות. אם משתמשים בדלילות מבנית, הביצועים מוכפלים.
- Mixed FP16/32: לאימון ברמת דיוק משולבת, מעבדי GPU של NVIDIA H200, H100, A100 ו-L4 תומכים גם בסוג הנתונים
bfloat16.
| סוג המכונה (דגם ה-GPU) | FP64 (TFLOPS) | TF32 (TFLOPS) | FP16/32 מעורב (TFLOPS) | INT8 (TOPS) | FP8 (TFLOPS) |
|---|---|---|---|---|---|
| A3 Ultra (H200) | 67 | 494.5 | 989.5 | 1,979 | 1,979 |
| A3 Mega/High/Edge (H100) | 67 | 494.5 | 989.5 | 1,979 | 1,979 |
| A2 Ultra (A100 80GB) | 19.5 | 156 | 312 | 624 | לא רלוונטי |
| A2 Standard (A100 40GB) | 19.5 | 156 | 312 | 624 | לא רלוונטי |
| G2 (L4) | לא רלוונטי | 60 | 121 | 242.5 | 121 |
ליבות CUDA רגילות
סוגי המכונות שמשתמשים בארכיטקטורות Hopper, Ada Lovelace ו-Ampere מספקים פעולות FP64 ו-FP32 עם ביצועים גבוהים לעומסי עבודה תובעניים של HPC ו-AI.
בטבלה הבאה, N/A מציין שהמדד לא רלוונטי או לא זמין למודל ה-GPU הזה.
| סוג המכונה (דגם ה-GPU) | FP64 (TFLOPS) | FP32 (TFLOPS) |
|---|---|---|
| A3 Ultra (H200) | 34 | 67 |
| A3 Mega, High, Edge (H100) | 34 | 67 |
| A2 Ultra (A100 80GB) | 9.7 | לא רלוונטי |
| A2 Standard (A100 40GB) | 9.7 | לא רלוונטי |
| G2 (L4) | לא רלוונטי | 30.3 |
ארכיטקטורות Volta, Pascal ו-Turing
בסוגי המכונות N1 נעשה שימוש בארכיטקטורות ה-GPU הבאות:
Tensor Core
ארכיטקטורות Turing ו-Volta של NVIDIA, שזמינות במכונות N1, מספקות תמיכה ב-Tensor Core לפעולות של דיוק משולב, INT8 ו-INT4, ומציעות האצה בסיסית להסקת מסקנות בלמידה עמוקה.
המעבדים הגרפיים האלה הציגו את הדורות הראשונים של ליבות Tensor, שמשמשות בעיקר לאימון FP16 ולקוונטיזציה של INT8 ו-INT4 בהסקת מסקנות. הטבלה הזו לא כוללת את סוג המכונה N1 (P4) כי אין לה ליבות Tensor.
בטבלה הבאה, הערך N/A מציין שהמדד לא רלוונטי או לא זמין למודל ה-GPU הזה.
| סוג המכונה (דגם ה-GPU) | FP16/32 מעורב (TFLOPS) | INT8 (TOPS) | INT4 (TOPS) |
|---|---|---|---|
| N1 (V100) | 125 | לא רלוונטי | לא רלוונטי |
| N1 (T4) | 65 | 130 | 260 |
ליבות CUDA רגילות
סוגי המכונות שמשתמשים בארכיטקטורות Volta, Pascal ו-Turing מצוידים בליבות FP64 ו-FP32 CUDA כדי להאיץ מגוון עומסי עבודה של HPC ו-AI.
בטבלה הבאה, הערך N/A מציין שהמדד לא רלוונטי או לא זמין למודל ה-GPU הזה.
| סוג המכונה (דגם ה-GPU) | FP64 (TFLOPS) | FP32 (TFLOPS) |
|---|---|---|
| N1 (V100) | 7.8 | 15.6 |
| N1 (T4) | לא רלוונטי | 8.1 |
| N1 (P4) | 0.2 | 5.5 |