מכונות GPU ורשתות

במאמר הזה מפורטות היכולות וההגדרות של רוחב הפס ברשת למכונות Compute Engine עם מעבדי GPU מצורפים. כאן נסביר על רוחב הפס המקסימלי של הרשת, על ההגדרות של כרטיס הרשת (NIC) ועל ההגדרות המומלצות של רשת VPC לסוגי מכונות שונים עם GPU, כולל הסדרות A5X,‏ A4X Max,‏ A4X,‏ A4,‏ A3,‏ A2,‏ G4,‏ G2 ו-N1. הבנת ההגדרות האלה יכולה לעזור לכם לשפר את הביצועים של עומסי העבודה המבוזרים ב-Compute Engine.

סקירה כללית

בטבלה הבאה מוצגת השוואה כללית בין יכולות הרשת של סוגי מכונות עם GPU.

סוג המכונה	דגם ה-GPU	רוחב הפס הכולל המקסימלי	טכנולוגיית רישות בין יחידות GPU
A5X	שבבי-על NVIDIA Vera Rubin	7,200 Gbps	GPUDirect RDMA
A4X Max	שבבי-על NVIDIA GB300 Ultra	3,600 Gbps	GPUDirect RDMA
A4X	שבבי-על NVIDIA GB200	‫2,000 Gbps	GPUDirect RDMA
A4	NVIDIA B200	3,600 Gbps	GPUDirect RDMA
A3 Ultra	NVIDIA H200	3,600 Gbps	GPUDirect RDMA
A3 Mega	NVIDIA H100 80GB	1,800 Gbps	GPUDirect-TCPXO
A3 High	NVIDIA H100 80GB	1,000 Gbps	GPUDirect-TCPX
A3 Edge	NVIDIA H100 80GB	600 Gbps	GPUDirect-TCPX
G4	NVIDIA RTX PRO 6000	400 Gbps	לא רלוונטי
‫A2 Standard ו-A2 Ultra	NVIDIA A100 40GB, NVIDIA A100 80GB	100 Gbps	לא רלוונטי
G2	NVIDIA L4	100 Gbps	לא רלוונטי
N1 (T4, V100)	NVIDIA T4, NVIDIA V100	100 Gbps	לא רלוונטי
N1 (P4)	NVIDIA P4	32 Gbps	לא רלוונטי

פונקציות GPUDirect RDMA ו-MRDMA

בסוגים מסוימים של מכונות שעברו אופטימיזציה למאיצים, Cloud de Confiance by S3NS משתמש ב-MRDMA כהטמעה של ממשק הרשת לחיבור בין GPU ל-GPU שתומך ב-GPUDirect RDMA.

‫GPUDirect RDMA היא טכנולוגיה של NVIDIA שמאפשרת לכרטיס רשת (NIC) לגשת ישירות לזיכרון ה-GPU דרך PCIe, בלי לעבור דרך המעבד (CPU) המארח וזיכרון המערכת. התקשורת הזו בין רכיבי NIC ל-GPU מפחיתה באופן משמעותי את זמן האחזור בתקשורת בין צומתי GPU.

‫MRDMA הוא ממשק הרשת שמשמש במכונות מסוג A5X,‏ A4X Max,‏ A4X,‏ A4 ו-A3 Ultra כדי לספק יכולות GPUDirect RDMA. ‫MRDMA מבוסס על כרטיסי רשת של NVIDIA ConnectX, ואפשר לפרוס אותו באחת מהדרכים הבאות:

• פונקציות וירטואליות (VF) של MRDMA: משמשות בסדרות A3 Ultra,‏ A4 ו-A4X.
• ‫פונקציות פיזיות (PF) של MRDMA: משמשות בסדרות A5X ו-A4X Max.

פונקציות MRDMA וכלים לניטור רשתות

במכונות מסוג A4X, ‏ A4 ו-A3 Ultra, רשתות GPU-to-GPU עם ביצועים גבוהים מיושמות באמצעות פונקציות וירטואליות (VF) של MRDMA. מכיוון שמדובר בישויות וירטואליות, יכולות מסוימות של מעקב ברמת החומרה מוגבלות בהשוואה לפונקציות פיזיות (PF).

ב-MRDMA VF, מוני יציאות פיזיות רגילות (כמו אלה שמסתיימים ב-_phy) מופיעים בפלט של ethtool -S אבל לא מתעדכנים במהלך הפעילות ברשת. זה מאפיין של ארכיטקטורת MRDMA VF. כדי לעקוב בצורה מדויקת אחרי ביצועי הרשת בממשקים האלה, צריך לבדוק את הרשומות ב-vPort Counter Table במקום ב-Physical Port Counter Table.

בסוגי המכונות A5X ו-A4X Max משתמשים ב-MRDMA PF. בניגוד לסוגי המכונות שמבוססים על MRDMA VF, ‏ A5X ו-A4X Max תומכים בכל המונים של היציאות הפיזיות לרשתות GPU.

מושגים בנושא רשתות לסוגי מכונות עם GPU

בקטע הבא מפורטים סידור הרשת ומהירות רוחב הפס לכל סוג מכונה עם GPU.

סוגי המכונות A5X,‏ A4X Max ו-A4X

סדרות המכונות A5X,‏ A4X Max ו-A4X מיועדות לעומסי עבודה מבוזרים גדולים ומורכבים של AI. ההבדל העיקרי בין הסדרות האלה הוא המאיצים וחומרת הרשת שמצורפים אליהן, כמו שמתואר בטבלה הבאה:

תכונה	סדרת מכונות A5X	סדרת מכונות A4X Max	סדרת מכונות A4X
חומרה מחוברת	שבבי-על NVIDIA Vera Rubin	שבבי-על NVIDIA GB300 Ultra	שבבי-על NVIDIA GB200
רשת GPU ל-GPU	‫8 כרטיסי רשת SuperNIC מסוג NVIDIA ConnectX-9 (CX-9) שמספקים רוחב פס של 6,400Gbps בטופולוגיה של 8 מישורים בארכיטקטורת rail-aligned: לכל GPU יש שני כרטיסי רשת של 800Gbps, שכל אחד מהם מפוצל ל-4 יציאות של 200Gbps, ו-8 היציאות של כל GPU מתחברות ל-8 מישורי רשת נפרדים	‫4 כרטיסי NVIDIA ConnectX-8 (CX-8) SuperNIC שמספקים רוחב פס של 3,200Gbps בארכיטקטורת rail-aligned עם 8 כיוונים	‫4 כרטיסי רשת (NIC) מסוג NVIDIA ConnectX-7 ‏(CX-7) שמספקים רוחב פס של 1,600Gbps בארכיטקטורת rail-aligned עם 4 כיוונים
הטמעת רשת GPU ל-GPU	‫32 פונקציות פיזיות (PF) של MRDMA שמוגדרות כ-4 פונקציות פיזיות לכל כרטיס רשת (NIC)	‫8 פונקציות פיזיות (PF) של MRDMA שמוגדרות כשתי פונקציות פיזיות לכל כרטיס רשת (NIC)	‫4 פונקציות וירטואליות (VF) של MRDMA שמוגדרות כ-VF אחד לכל NIC
רשתות מארחים (Titanium)	‫2 כרטיסי רשת חכמים מסוג Titanium שמספקים רוחב פס של 800Gbps	‫2 כרטיסי רשת חכמים מסוג Titanium שמספקים רוחב פס של ‎400 Gbps	‫2 כרטיסי רשת חכמים מסוג Titanium שמספקים רוחב פס של ‎400 Gbps
רוחב הפס המקסימלי הכולל של הרשת	7,200 Gbps	3,600 Gbps	‫2,000 Gbps

ארכיטקטורת רשת רב-שכבתית

במכונות A5X,‏ A4X Max ו-A4X יש ארכיטקטורת רשת היררכית עם כמה שכבות, שמותאמת בארכיטקטורת rail-aligned כדי לשפר את הביצועים של סוגי תקשורת שונים. בטופולוגיה הזו, המכונות מתחברות דרך כמה מישורי רשת נפרדים, שנקראים מסילות.

• במכונות A5X נעשה שימוש בטופולוגיה של 8 מישורים בארכיטקטורת rail-aligned: לכל GPU יש שני כרטיסי CX-9 SuperNIC של 800Gbps, שכל אחד מהם מפוצל לארבע יציאות של 200Gbps, ושמונה היציאות של כל GPU מתחברות לשמונה מישורי רשת נפרדים.
• במכונות A4X Max נעשה שימוש בארכיטקטורת rail-aligned עם 8 כיוונים, שבה כל אחד מארבעת כרטיסי ה-NIC מסוג ConnectX-8 במהירות 800Gbps מתחבר לשני מסלולים נפרדים במהירות 400Gbps.
• במכונות A4X נעשה שימוש בארכיטקטורת rail-aligned עם 4 מסילות, שבה כל אחד מארבעת כרטיסי הרשת ConnectX-7 מתחבר למסילה נפרדת.

אלה שכבות הרשת של סוגי המכונות האלה:

• תקשורת בתוך הצומת ובתוך תת-הבלוק (NVLink): מארג NVLink במהירות גבוהה מחבר בין יחידות ה-GPU לתקשורת ברוחב פס גבוה ובזמן אחזור נמוך. הוא מחבר את כל ה-GPU במכונה אחת ומתפרס על פני בלוק משנה, שמורכב מ-18 מכונות של A5X,‏ A4X Max או A4X (סה"כ 72 יחידות GPU). כך כל 72 יחידות ה-GPU בבלוק המשנה יכולות לתקשר כאילו הן נמצאות בשרת GPU אחד גדול.

• תקשורת בין תת-בלוקים (כרטיסי רשת ConnectX עם RoCE): כדי להרחיב את עומסי העבודה מעבר לתת-בלוק אחד, המכונות האלה משתמשות בכרטיסי רשת של NVIDIA ConnectX. כרטיסי ה-NIC האלה משתמשים ב-RDMA over Converged Ethernet ‏(RoCE) כדי לספק תקשורת ברוחב פס גבוה וזמן אחזור קצר בין תת-בלוקים, וכך מאפשרים לכם ליצור אשכולות אימון בקנה מידה גדול עם אלפי יחידות GPU.

• רשתות מארחות (Titanium Smart NICs): בנוסף לרשתות ה-GPU הייעודיות, לכל מכונה יש שני ממשקי רשת מארחים, שמספקים רוחב פס משולב של 800Gbps במכונות A5X או רוחב פס של 400Gbps במכונות A4X Max ו-A4X. ממשקי הרשת של המארח משמשים לאחסון, לניהול ולחיבור לשירותים אחרים של Cloud de Confiance by S3NS או לאינטרנט הציבורי.

ארכיטקטורת A5X

ארכיטקטורת A5X משתמשת בשבבי-על של NVIDIA Vera Rubin. כל מכונה כוללת שמונה כרטיסי רשת מסוג NVIDIA ConnectX-9 (CX-9) SuperNIC במהירות 800Gbps, שניים לכל GPU. לכל SuperNIC יש ארבע יציאות של 200Gbps, והוא מופיע במכונה כארבעה MRDMA PFs, עבור 32 MRDMA PFs ורוחב פס של 6,400Gbps בין GPU ל-GPU. כל מכונה כוללת גם שני כרטיסי רשת חכמים (NIC) מסוג Titanium במהירות 400Gbps, שמספקים רוחב פס של 800Gbps לרשת המארחת.

ארכיטקטורת A4X Max

הארכיטקטורה של A4X Max מבוססת על שבבי העל NVIDIA GB300 Ultra. אחד מהמאפיינים העיקריים של התכנון הזה הוא החיבור הישיר של ארבעת כרטיסי הרשת SuperNIC של NVIDIA ConnectX-8 (CX-8)‎ במהירות 800Gbps למעבדי ה-GPU. כל ConnectX-8 הוא כרטיס רשת עם שתי יציאות, שמוצג למכונה כשתי פונקציות פיזיות (PF). כרטיסי ה-NIC האלה הם חלק מטופולוגיית רשת עם 8 מסילות, שבה כל כרטיס NIC מתחבר לשתי מסילות נפרדות של 400Gbps. הנתיב הישיר הזה מאפשר RDMA, ומספק רוחב פס גבוה וזמן אחזור נמוך לתקשורת בין מעבדים גרפיים בבלוקים שונים. המכונות האלה של Compute Engine כוללות גם כונני SSD מקומיים עם ביצועים גבוהים שמחוברים לכרטיסי הרשת ConnectX-8, ועוקפים את אפיק ה-PCIe כדי לאפשר גישה מהירה יותר לנתונים.

ארכיטקטורת A4X

הארכיטקטורה של A4X משתמשת בשבבי-על מסוג NVIDIA GB200. בהגדרה הזו, ארבעת כרטיסי ה-NIC מסוג NVIDIA ConnectX-7‏ (CX-7) מחוברים למעבד המארח. ההגדרה הזו מספקת רשת עם ביצועים גבוהים לתקשורת בין GPU ל-GPU בין בלוקי משנה.

הגדרת רשת של ענן וירטואלי פרטי (VPC) ב-A5X, ב-A4X Max וב-A4X

כדי להשתמש בכל יכולות הרשת של סוגי המכונות האלה, צריך ליצור רשתות VPC ולצרף אותן למכונות. כדי להשתמש בכל כרטיסי ה-NIC הזמינים, צריך ליצור רשתות VPC באופן הבא:

• שתי רשתות VPC רגילות לכרטיסי הרשת החכמים של Titanium. ב-A5X, רשתות ה-VPC האלה תומכות בכתובות IPv4,‏ IPv6 והעברת כתובות IP משלכם (BYOIP). עם זאת, טווחי רשתות משנה חיצוניות של IPv6 ב-BYOIP נתמכים רק במכונות וירטואליות.

  • ב-A5X וב-A4X Max, רשתות ה-VPC האלה משתמשות במנהל ההתקן של Intel IDPF LAN PF.
  • ב-A4X, רשתות ה-VPC האלה משתמשות בממשק הרשת Google Virtual NIC (gVNIC)‎.

• כשיוצרים אשכולות של כמה בלוקים משניים של A5X,‏ A4X Max או A4X, צריך רשת VPC אחת עם פרופיל רשת RoCE בשביל כרטיסי הרשת של ConnectX. אם אתם משתמשים בבלוק משנה אחד, אתם יכולים להשמיט את רשת ה-VPC הזו כי מארג ה-NVLink עם כמה צמתים מטפל בתקשורת ישירה בין GPU ל-GPU.

  • במכונות פיזיות מסוג A5X ו-A4X Max, יוצרים רשת VPC מסוג RoCE למכונות פיזיות (roce-metal), שמספקת באופן אוטומטי רשת משנה אחת עם IPv6 בלבד לכל ממשקי הרשת של MRDMA (‏32 ב-A5X, ‏8 ב-A4X Max).
  • במכונות וירטואליות מסוג A4X, יוצרים רשת VPC מסוג RoCE למכונות וירטואליות (roce), ואז יוצרים ידנית ארבע רשתות משנה מסוג IPv4 בלבד ברשת הזו, רשת משנה אחת לכל מסילת רשת.

כדי להגדיר את הרשתות האלה, תוכלו להיעזר במדריכים הבאים במסמכי התיעוד של AI Hypercomputer:

• במכונות A5X, פנו לצוות ניהול החשבון כדי לשריין קיבולת ולקבל הוראות ליצירת מכונות ואשכולות.
• במכונות A4X Max, קראו את המאמר יצירת רשתות VPC ל-A4X Max.
• במכונות A4X, קראו את המאמר יצירת רשתות VPC ל-A4X.

סוגי המכונות A5X,‏ A4X Max ו-A4X

סוגי מכונות A4 ו-A3 Ultra

לסוגי המכונות A4 מצורפים מעבדי GPU מסוג NVIDIA B200, ולסוגי המכונות A3 Ultra מצורפים מעבדי GPU מסוג NVIDIA H200.

סוגי המכונות האלה כוללים שמונה כרטיסי רשת (NIC) מסוג NVIDIA ConnectX-7 (CX-7) ושני כרטיסי רשת וירטואליים של Google‏ (gVNIC). שמונת כרטיסי ה-NIC מסוג CX-7 מספקים רוחב פס כולל של ‎3,200 Gbps ברשת. כרטיסי ה-NIC האלה מיועדים רק לתקשורת בין מעבדי GPU ברוחב פס גבוה, ואי אפשר להשתמש בהם לצרכים אחרים של הרשת, כמו גישה לאינטרנט הציבורי. כמו שמוצג בתרשים הבא, כל CX-7 NIC מותאם ל-GPU אחד כדי לבצע אופטימיזציה של גישה לא אחידה לזיכרון (NUMA). כל שמונת ה-GPU יכולים לתקשר במהירות זה עם זה באמצעות גשר NVLink שמחבר ביניהם. שני כרטיסי הרשת האחרים של gVNIC הם כרטיסי רשת חכמים שמספקים רוחב פס נוסף של 400Gbps לדרישות כלליות של הרשת. ביחד, כרטיסי הרשת מספקים רוחב פס מקסימלי של 3,600Gbps למכונות האלה.

הרשת עם הביצועים הגבוהים בין GPU ל-GPU במכונות A4 ו-A3 Ultra מיושמת באמצעות פונקציות וירטואליות (VF) של MRDMA לכל אחד משמונת כרטיסי הרשת ConnectX-7.

כדי להשתמש בכרטיסי ה-NIC האלה, צריך ליצור 3 רשתות של ענן וירטואלי פרטי (VPC) באופן הבא:

• שתי רשתות VPC רגילות: כל gVNIC צריך להיות מחובר לרשת VPC אחרת
• רשת VPC אחת של RoCE: כל שמונת מתאמי ה-NIC של CX-7 משתפים את אותה רשת VPC של RoCE

כדי להגדיר את הרשתות האלה, עיינו במאמר יצירת רשתות VPC במסמכי התיעוד של AI Hypercomputer.

סוגי המכונות A3 Mega,‏ High ו-Edge

לסוגי המכונות האלה מצורפים מעבדי GPU מסוג H100. לכל אחד מסוגי המכונות האלה יש מספר קבוע של מעבדי GPU, מספר קבוע של מעבדי vCPU וגודל זיכרון קבוע.

• מכונות וירטואליות מסוג A3 עם כרטיס רשת אחד: במכונות וירטואליות מסוג A3 עם 1 עד 4 יחידות GPU, יש רק כרטיס רשת פיזי אחד.
• מכונות וירטואליות מסוג A3 עם multi-NIC: במכונות וירטואליות מסוג A3 עם 8 יחידות GPU מצורפות, יש כמה כרטיסי NIC פיזיים. בסוגי המכונות האלה של A3, כרטיסי ה-NIC מסודרים באופן הבא באפיק Peripheral Component Interconnect Express‏ (PCIe):
  • בסוג המכונה A3 Mega: זמינה תצורת NIC של 8+1. במערך הזה, 8 כרטיסי רשת חולקים את אותו אפיק PCIe, וכרטיס רשת אחד נמצא באפיק PCIe נפרד.
  • במכונות מסוג A3 High: אפשר להשתמש ב-4+1 כרטיסי רשת. במערך הזה, 4 כרטיסי רשת חולקים את אותו אפיק PCIe, וכרטיס רשת אחד נמצא באפיק PCIe נפרד.
  • לסוג המכונה A3 Edge: אפשר להגדיר מערך של 4+1 כרטיסי רשת. במערך הזה, 4 כרטיסי רשת חולקים את אותו אפיק PCIe, וכרטיס רשת אחד נמצא באפיק PCIe נפרד. חמשת כרטיסי ה-NIC האלה מספקים רוחב פס כולל של 400Gbps לכל מכונה וירטואלית.

  לכרטיסי רשת שחולקים את אותו אפיק PCIe יש מערך גישה לא אחידה לזיכרון (NUMA) של כרטיס רשת אחד לכל שני מעבדי NVIDIA H100 GPU. כרטיסי ה-NIC האלה מתאימים במיוחד לתקשורת ייעודית בין יחידות GPU ברוחב פס גבוה. כרטיס הרשת הפיזי שנמצא באפיק PCIe נפרד מתאים לצרכים אחרים של הרשת. במאמר הגדרת רשתות MTU של מסגרות ג'מבו מוסבר איך מגדירים רשתות למכונות וירטואליות מסוג A3 High ו-A3 Edge.

ההערות הבאות מתייחסות לטבלה שלמעלה:

• ‫vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
• רוחב פס מקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס של רשת, קראו את המאמר רוחב פס של רשת.
• זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.

סוגי מכונות A2

לכל סוג מכונה מסוג A2 יש מספר קבוע של מעבדי GPU מסוג NVIDIA A100 40GB או NVIDIA A100 80GB. לכל סוג מכונה יש גם מספר קבוע של מעבדי vCPU וגודל זיכרון.

יש שני סוגים של סדרות מכונות A2:

• ‫A2 Ultra: למכונות מהסוג הזה יש מעבדי GPU מדגם A100 80GB ודיסקים מקומיים מסוג SSD.
• ‫A2 Standard: לסוגי המכונות האלה מצורפים מעבדי GPU מסוג A100 40GB.

ההערות הבאות מתייחסות לטבלה שלמעלה:

• ‫vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
• רוחב פס מקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס של רשת, קראו את המאמר רוחב פס של רשת.
• זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.

סוגי מכונות G4

סוגי המכונות G4 עם אופטימיזציה למאיצים משתמשים ב מעבדי GPU מסוג NVIDIA RTX PRO 6000 Blackwell Server Edition (nvidia-rtx-pro-6000) ומתאימים לעומסי עבודה של סימולציות ב-NVIDIA Omniverse, לאפליקציות שדורשות עיבוד גרפי אינטנסיבי, להמרת קידוד של וידאו ולמחשבים וירטואליים. סוגי המכונות G4 מספקים גם פתרון זול להסקת מסקנות במארח יחיד ולכוונון מודלים בהשוואה לסוגי המכונות מסדרה A.

אפשר גם להוסיף דיסקים של Titanium SSD כשיוצרים מכונה מסוג G4. כדי לדעת כמה דיסקים אפשר לחבר, קראו את המאמר סוגי מכונות שצריך לבחור בהם מספר של דיסקי SSD מקומיים. מידע נוסף על המגבלות של סוגי המכונות מופיע במאמר המגבלות של G4.

סוג המכונה	מספר מעבדי ה-vCPU	זיכרון המכונה (GB)	הנפח המקסימלי של Titanium SSD שנתמך (GiB)	מספר כרטיסי הרשת הפיזיים	רוחב הפס המקסימלי של הרשת (Gbps)	מספר יחידות GPU מסוג NVIDIA RTX PRO 6000	זיכרון GPU (GB GDDR7)
g4-standard-6	6	22	0	1	20	1/8	12
g4-standard-12	12	45	375	1	20	1/4	24
g4-standard-24	24	90	750	1	20	1/2	48
g4-standard-48	48	180	1,500	1	50	1	96
g4-standard-96	96	360	3,000	1	100	2	192
g4-standard-192	192	720	6,000	1	200	4	384
g4-standard-384	384	1,440	12,000	2	400	8	768

ההערות הבאות מתייחסות לטבלה שלמעלה:

• ‫vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
• רוחב פס מקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב פס של רשת זמין במאמר רוחב פס של רשת.
• זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.

סוגי מכונות G2

סוגי המכונות G2 accelerator-optimized כוללים מעבדי NVIDIA L4 GPU, והם מתאימים במיוחד לעומסי עבודה של הסקת מסקנות, גרפיקה אינטנסיבית ומחשוב עם ביצועים גבוהים (HPC) שמותאמים לעלות.

לכל סוג מכונה G2 יש גם זיכרון שמוגדר כברירת מחדל וטווח זיכרון בהתאמה אישית. טווח הזיכרון בהתאמה אישית מגדיר את נפח הזיכרון שאפשר להקצות למכונה לכל סוג מכונה. אפשר גם להוסיף דיסקים של Local SSD כשיוצרים מכונה מסוג G2. כדי לדעת כמה דיסקים אפשר לחבר, קראו את המאמר סוגי מכונות שצריך לבחור בהם מספר של דיסקי SSD מקומיים.

כדי להחיל את קצבי רוחב הפס הגבוהים יותר של הרשת (‎50 Gbps ומעלה) על רוב המכונות של ה-GPU, מומלץ להשתמש ב-Google Virtual NIC ‏(gVNIC). מידע נוסף על יצירת מכונות GPU שמשתמשות ב-gVNIC זמין במאמר יצירת מכונות GPU שמשתמשות ברוחבי פס גדולים יותר.

סוג המכונה	מספר מעבדי ה-vCPU	זיכרון ברירת המחדל של המכונה (GB)	טווח זיכרון מותאם אישית למכונה (GB)	נפח מקסימלי נתמך של כונן SSD מקומי (GiB)	רוחב הפס המקסימלי של הרשת (Gbps)	מספר יחידות ה-GPU מסוג NVIDIA L4	זיכרון GPU (GB GDDR6)
g2-standard-4	4	16	‫16 עד 32	375	10	1	24
g2-standard-8	8	32	32 עד 54	375	16	1	24
g2-standard-12	12	48	48 עד 54	375	16	1	24
g2-standard-16	16	64	‫54 עד 64	375	32	1	24
g2-standard-24	24	96	96 עד 108	750	32	2	48
g2-standard-32	32	128	96 עד 128	375	32	1	24
g2-standard-48	48	192	‫192 עד 216	1,500	50	4	96
g2-standard-96	96	384	‫384 עד 432	3,000	100	8	192

ההערות הבאות מתייחסות לטבלה שלמעלה:

• ‫vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
• רוחב פס מקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס של רשת, קראו את המאמר רוחב פס של רשת.
• זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.

סוגי מכונות N1 + GPU

במכונות וירטואליות (VM) לשימוש כללי מסוג N1 שמחוברים אליהן מעבדי GPU מסוג T4 ו-V100, אתם יכולים לקבל רוחב פס מקסימלי של עד 100Gbps, בהתאם לשילוב של מספר מעבדי ה-GPU ומספר מעבדי ה-vCPU. לכל שאר מכונות ה-GPU מסוג N1, ראו סקירה כללית.

בקטע הבא מוסבר איך לחשב את רוחב הפס המקסימלי של הרשת שזמין למכונות T4 ו-V100, על סמך מודל ה-GPU, מספר ה-vCPU ומספר ה-GPU.

הגדרות MTU וסוגי מכונות GPU

כדי להגדיל את קצב העברת הנתונים ברשת, מגדירים ערך גבוה יותר של יחידת העברה מקסימלית (MTU) ברשתות ה-VPC. ערכי MTU גבוהים יותר מגדילים את גודל החבילה ומפחיתים את התקורה של כותרת החבילה, וכך מגדילים את קצב העברת הנתונים של המטען הייעודי (payload).

לסוגי מכונות GPU, מומלץ להשתמש בהגדרות ה-MTU הבאות ברשתות ה-VPC.

סוג מכונה של GPU	יחידת ה-MTU המומלצת (בבייטים)
	רשת VPC רגילה	רשת VPC של RoCE
A5X A4X Max A4X A4 A3 Ultra	8896	8896
A3 Mega A3 High A3 Edge	8244	לא רלוונטי
A2 Standard A2 Ultra G4 G2 סוגי מכונות N1 שתומכים במעבדי GPU	8896	לא רלוונטי

כשמגדירים את ערך ה-MTU, חשוב לשים לב לדברים הבאים:

• ‫8192 הוא שני דפים של 4KB.
• מומלץ להשתמש ב-8244 במכונות וירטואליות מסוג A3 Mega,‏ A3 High ו-A3 Edge לכרטיסי רשת של GPU שמופעל בהם פיצול כותרות.
• צריך להשתמש בערך 8896, אלא אם צוין אחרת בטבלה.

יצירת מכונות GPU עם רוחב פס גבוה

כדי ליצור מכונות GPU שמשתמשות ברוחבי פס גדולים יותר, צריך להשתמש באחת מהשיטות הבאות, בהתאם לסוג המכונה:

• כדי ליצור מכונות מסוג A2,‏ G2 ו-N1 שמשתמשות ברוחב פס גדול יותר, קראו את המאמר שימוש ברוחב פס גדול יותר במכונות מסוג A2,‏ G2 ו-N1. כדי לבדוק או לאמת את מהירות רוחב הפס של המכונות האלה, אתם יכולים להשתמש בבדיקת השוואה (benchmarking). איך בודקים את רוחב הפס של הרשת

• כדי ליצור מכונות A3 Mega שמשתמשות ברוחבי פס גדולים יותר, קראו את המאמר פריסת אשכול A3 Mega Slurm לאימון ML. כדי לבדוק או לאמת את מהירות רוחב הפס של המכונות האלה, משתמשים בבדיקת השוואה לפי השלבים שמפורטים בקטע בדיקת רוחב הפס של הרשת.

• במכונות A3 High ו-A3 Edge שמשתמשות ברוחבי פס גדולים יותר, קראו את המאמר יצירת מכונת A3 עם GPUDirect-TCPX מופעל. כדי לבדוק או לאמת את מהירות רוחב הפס של המכונות האלה, אתם יכולים להשתמש בבדיקת השוואה (benchmarking). איך בודקים את רוחב הפס של הרשת

• בסוגי מכונות אחרים שעברו אופטימיזציה למאיצים, לא צריך לעשות שום דבר כדי להשתמש ברוחב פס גבוה יותר ברשת. כשיוצרים מכונה כמו שמתואר במסמכים, היא כבר משתמשת ברוחב פס גבוה ברשת. במאמר יצירת מכונה וירטואלית עם מעבדי GPU מצורפים מוסבר איך יוצרים מכונות לסוגי מכונות אחרים שמותאמים למאיצים.

מה השלב הבא?

• thought מידע נוסף על פלטפורמות GPU
• איך יוצרים מכונות עם מעבדי GPU מצורפים
• מידע נוסף על שימוש ברוחב פס גדול יותר ברשת
• מידע על התמחור של GPU