במסמך הזה מתוארות התכונות והמגבלות של Exapools. Hyperdisk Exapools הם Hyperdisk pools שמיועדים לעומסי עבודה שבהם Hyperdisk Storage Pools לא מספקים מספיק אחסון Hyperdisk באזור אחד. עם Exapools, אתם רוכשים נפח אחסון וביצועים בכמות גדולה, ואז יוצרים דיסקים במאגר כדי להשתמש בנפח האחסון.
מתי כדאי להשתמש ב-Hyperdisk Exapools
Exapools מיועדים לעומסי עבודה גדולים עם עשרות אלפי דיסקים באזור יחיד, שדורשים אחסון בלוקים עמיד בנפח של 500 TiB עד 2.5 EiB. אם עומס העבודה שלכם דורש קיבולת או ביצועים ברמה נמוכה יותר, השתמשו בHyperdisk Storage Pool או צרו דיסקים מחוץ למאגר.
Exapools מציעים אחסון וביצועים בקנה מידה הגדול ביותר שזמין ב-Compute Engine, וגם מאפשרים לכם לחסוך בעלויות. אתם יכולים להקצות יותר ביצועים ויכולת ממה שאתם צריכים, אבל לשלם רק על מה שאתם משתמשים בו.
Hyperdisk Exapools הם פתרון אידיאלי ל-AI בקנה מידה גדול, ללמידת מכונה (ML) ולעומסי עבודה גדולים של מערכות קבצים מקבילות מבוזרות. דוגמאות לעומסי עבודה:
דוגמאות לעומסי עבודה ב-Hyperdisk Exapools:
- עומסי עבודה של AI/ML שכוללים 4,000 מכונות וירטואליות של TPU ומשתמשים ב-2 PiB של Hyperdisk Balanced עם ביצועים מוקצים של 20,000,000 IOPS וקצב העברת נתונים של 3 TiB/s, שמניבים קצב העברת נתונים מצטבר מקסימלי של 500 GiB/s.
- עומסי עבודה של אימון AI/ML עם 15,000 מכונות GPU באמצעות Hyperdisk Balanced לאתחול ולדיסקים זמניים עם קיבולת כוללת של 8 PiB, שמניבים תפוקה מצטברת מקסימלית בו-זמנית של 1 TiB/s.
- מערכת קבצים מקבילית עם קיבולת של 6 PiB ומעלה, ותפוקה מצטברת מקבילית של 800 GiB/s של קריאה אינטנסיבית.
איך Exapools עובד
אתם יוצרים Exapool עם הקיבולת והביצועים המצטברים שכל הדיסקים של עומס העבודה שלכם יצטרכו בתוך אזור מסוים, ואז יוצרים דיסקים במאגר לפי הצורך. אתם יכולים להשתמש בדיסקים ב-Exapool כדיסקים לאתחול או כדיסקים של נתונים עבור המכונות והקונטיינרים של Compute Engine.
כשיוצרים דיסק ב-Exapool, מקצים לדיסק חלק מהמשאבים של המאגר (גודל וביצועים). כשמוחקים דיסק במאגר, המשאבים שהוקצו לדיסק מוחזרים למאגר לשימוש של דיסקים אחרים.
לדוגמה, נניח שאתם יוצרים Hyperdisk Balanced Exapool עם קיבולת של 50 PiB. אם יוצרים במאגר 100 דיסקים בנפח 10 TiB, הקיבולת הפנויה שנותרה במאגר תפחת ב-1,000 TiB.
סוגי Exapool
כשיוצרים Exapool, צריך לבחור סוג Hyperdisk לדיסקים שיהיו במאגר. אלה הסוגים שזמינים:
- Hyperdisk Balanced Exapools: כל הדיסקים ב-Exapool הם Hyperdisk Balanced volumes.
- Hyperdisk Throughput Exapool: כל הדיסקים ב-Exapool הם Hyperdisk Throughput volumes.
מידע נוסף על בחירת סוג Hyperdisk מופיע במאמר בחירת סוג Hyperdisk לעומס העבודה.
תמיכה בסדרת מכונות
יש תמיכה ב-Hyperdisk Throughput Exapools וב-Hyperdisk Balanced Exapools באותן סדרות מכונות שבהן יש תמיכה ב-Hyperdisk Throughput וב-Hyperdisk Balanced, בהתאמה. רשימת סדרות המכונות הנתמכות זמינה במאמרים תמיכה בסדרות מכונות לשימוש ב-Hyperdisk Throughput ותמיכה בסדרות מכונות לשימוש ב-Hyperdisk Balanced.
הקצאת משאבים לביצועים ולקיבולת של Exapools
סוג ההקצאה של מאגר קובע איך הדיסקים במאגר צורכים משאבים.
ב-Exapools נעשה שימוש בהקצאת משאבים מתקדמת גם לקיבולת וגם לביצועים, וכך אפשר לחסוך הכי הרבה בעלויות ובזמן.
הקצאת נפח אחסון מתקדם
כל מאגרי Exapools משתמשים בהקצאת קיבולת מתקדמת, שמציעה את היתרונות הבאים:
- הקצאת אחסון לפי צורך (Thin Provisioning): מערכת Compute Engine מקצה נתונים לדיסקים במאגר לפי הצורך, ולא כשהדיסק מוקצה.
- הקצאת יתר: אתם יכולים להקצות את הדיסקים במאגר עם קיבולת גדולה עד פי 50 מהקיבולת שרכשתם עבור Exapool. כך אפשר לפשט את תכנון הקיבולת ולמנוע השבתה של המערכת לצורך שינוי גודל הדיסק באופן ידני.
הסבר מפורט על הקצאת קיבולת מתקדמת זמין במאמר בנושא הקצאת קיבולת מתקדמת.
הקצאת משאבים מתקדמת לשיפור הביצועים
ב-Exapools נעשה שימוש בהקצאת משאבים מתקדמת לשיפור הביצועים, שמציעה את היתרונות הבאים:
- הקצאת אחסון לפי צורך (Thin Provisioning): מערכת Compute Engine מקצה משאבי ביצועים לדיסקים במאגר לפי הצורך. רק הכמות של IOPS ושל קצב העברת הנתונים שדיסק ב-Exapool משתמש בהם צורכת ביצועים.
- הקצאת יתר: הביצועים הכוללים של כל הדיסקים במאגר יכולים להיות עד פי 50 מביצועי הכתיבה שהוקצו למאגר.
- ביצועים משותפים: דיסקים ב-Exapool חולקים את הביצועים שהוקצו למאגר עד למגבלה של כל דיסק, וכך חוסכים בעלויות של דיסקים עם זמני שימוש שונים בשיא.
הסבר מפורט על הקצאת משאבים מתקדמת לשיפור הביצועים זמין במאמר בנושא הקצאת משאבים מתקדמת לשיפור הביצועים.
רכישת קיבולת וביצועים
הביצועים המוקצים של Exapool, או כמות ה-IOPS והתפוקה שאפשר להקצות לדיסקים בתוך המאגר, תלויים בגורמים הבאים:
- מספר יחידות הקיבולת במאגר
- סוג הדיסק של Exapool
איך יחידות הקיבולת פועלות
יחידת קיבולת כוללת קיבולת של 1 GiB וכמות קבועה של ביצועים (IOPS ו-Throughput) לכל GiB. לדוגמה, כדי להוסיף 1 PiB של קיבולת למאגר, צריך לרכוש 1,048,576 יחידות קיבולת (1,048,576 GiB = 1 PiB). יש שלוש אפשרויות לבחירה של יחידות קיבולת ב-Exapools. כמות הביצועים שמתווספת למאגר תלויה בסוג יחידות הקיבולת:
- יחידות שעברו אופטימיזציה לקיבולת: מציעות קצב מאוזן של IOPS ו-Throughput לקריאה ולכתיבה.
- יחידות עם אופטימיזציה לקריאה: מציעות את שיעור הפעולות הכי גבוה של קריאה ושל קצב העברת נתונים לכל GiB.
- יחידות עם אופטימיזציה לכתיבה: מציעות את שיעור הפעולות הגבוה ביותר של כתיבה וקצב העברת נתונים לכל GiB.
אם עומס העבודה כולל יותר פעולות קריאה מאשר פעולות כתיבה, או אם הוא דורש תפוקת קריאה גבוהה יותר מתפוקת כתיבה, כדאי לקנות יחידות שעברו אופטימיזציה לקריאה כדי לקבל את התמורה הטובה ביותר.
אתם יכולים לשלב בין סוגים שונים של יחידות קיבולת כשאתם מקצים או מרחיבים Exapool. הסוג והמספר של יחידות הקיבולת שאתם רוכשים למאגר נקראים שילוב של יחידות קיבולת.
השילוב של היחידות ב-Exapool לא משפיע על הביצועים של הדיסקים ב-Exapool. השילוב של היחידות משפיע רק על הגורמים הבאים:
- איך מתבצע החיוב על Exapool.
- הביצועים המקסימליים שהוקצו ל-Exapool.
בחירת שילוב של יחידות קיבולת ל-Exapool
כדי לעמוד בדרישות של עומס העבודה בצורה הכי חסכונית, כדאי לעבוד עם צוות התמיכה בחשבון כדי לבחור שילוב של יחידות קיבולת שמתאים לעומס העבודה. לדוגמה, אתם יכולים ליצור Exapool עם מספר גדול של יחידות שעברו אופטימיזציה לקריאה לכל הדיסקים בפרויקט שנדרשת בהם קריאה אינטנסיבית.
יחסי יחידות הקיבולת של Hyperdisk Throughput Exapools
ל-Hyperdisk Throughput Exapools יש יחסי ביצועים כאלה על סמך כמות הקיבולת שנרכשה:
| סוג יחידת הקיבולת | יחידות קיבולת שנרכשו | קיבולת Exapool (TiB) | תפוקת קריאה (MiB/s) | תפוקת כתיבה (MiB/s) |
|---|---|---|---|---|
| מותאמת לקיבולת | 1,024 | 1 | 0.97 | 0.10 |
| מותאם לקריאה | 1,024 | 1 | 3.38 | 0.10 |
| מותאם לכתיבה | 1,024 | 1 | 0.97 | 1.84 |
יחסי יחידות הקיבולת של Hyperdisk Balanced Exapool
ל-Hyperdisk Balanced Exapools יש יחסי ביצועים כאלה על סמך כמות הקיבולת שנרכשה:
| סוג יחידת הקיבולת | יחידות קיבולת שנרכשו | קיבולת Exapool (TiB) | תפוקת קריאה (MiB/s) | תפוקת כתיבה (MiB/s) | קריאת IOPS | פעולות קלט/פלט בשנייה (IOPS) של כתיבה |
|---|---|---|---|---|---|---|
| מותאמת לקיבולת | 1,024 | 1 | 5.12 | 1.02 | 275 | 102 |
| מותאם לקריאה | 1,024 | 1 | 378.88 | 30.72 | 21,311 | 3,072 |
| מותאם לכתיבה | 1,024 | 1 | 220.16 | 71.68 | 12,288 | 6,656 |
איך יחידות קיבולת משפיעות על ביצועי הדיסק
השילוב של יחידות הקיבולת ב-Exapool לא משפיע על צריכת הביצועים של הדיסקים ב-Exapool. לא מחייבים אתכם באופן שונה על פעולות קריאה וכתיבה נפרדות של הדיסקים במאגר. רכישת יחידות מסוג מסוים לא מגבילה את הדיסקים לכמות קבועה של פעולות קלט/פלט בשנייה (IOPS) לקריאה או לכתיבה. בנוסף, כשיוצרים דיסק ב-Exapool, לא מציינים מגבלה של IOPS לקריאה או IOPS לכתיבה, אלא רק מגבלה של IOPS שהוקצו.
לדוגמה, נניח שיש שני מאגרי Hyperdisk Balanced Exapools, Pool-1 ו-Pool-2.. בשניהם יש 100,000,000 יחידות של נפח אחסון מותאם. Pool-1 כולל גם 5,000,000 יחידות שעברו אופטימיזציה לכתיבה, ו-Pool-2 כולל 5,000,000 יחידות שעברו אופטימיזציה לקריאה.
מכיוון שבשני המאגרים יש סך הכול 105,000,000 יחידות, הקיבולת הכוללת שלהם תהיה זהה: 100.1 PiB (105,000,000 GiB). עם זאת, מכיוון שיש להם סוגים שונים של יחידות קיבולת, יש למאגרי הקיבולת מגבלות ביצועים מקסימליות שונות ועלויות שונות. אין הבדל בביצועים בין הדיסקים בשתי קבוצות הדיסקים.
דוגמה
נניח של-Hyperdisk Balanced Exapool יש 12,400,000 יחידות קיבולת, שכוללות:
- 5,000,000 יחידות שעברו אופטימיזציה לפי קיבולת
- 2,400,000 יחידות עם אופטימיזציה לקריאה
- 5,000,000 יחידות שעברו אופטימיזציה לכתיבה
ל-Exapool יש קיבולת של 12,109.4 TiB (1 TiB לכל 1,024 יחידות).
ל-Exapool יש 151,488,476 IOPS, שמחושבים כך:
IOPS מ-5,000,000 יחידות שעברו אופטימיזציה לקיבולת: 1,840,820 (1,342,773 קריאות IOPS + 498,047 כתיבות IOPS)
IOPS מ-2,400,000 יחידות עם אופטימיזציה לקריאה: 57,147,656 (49,947,656 IOPS לקריאה + 7,200,000 IOPS לכתיבה)
IOPS מ-5,000,000 יחידות עם אופטימיזציה לכתיבה: 92,500,000 (60,000,000 IOPS לקריאה + 32,500,000 IOPS לכתיבה)
בדיקת הביצועים וניצול הקיבולת
ב-Compute Engine יש מדדים שבעזרתם אפשר לעקוב אחרי Exapools. המדדים האלה יעזרו לכם לענות על שאלות כמו:
- כמה פעולות קלט/פלט של קריאה וכתיבה נותרו ב-Exapool?
- כמה קיבולת הוקצתה לדיסקים ב-Exapool?
- כמה דיסקים יש ב-Exapool?
אפשר לראות את המדדים האלה ב-Cloud Monitoring. מידע נוסף זמין במאמר בנושא מעקב אחרי מאגרי Hyperdisk.
מגבלות גודל וביצועים של Hyperdisk Exapools
בקטע הזה מפורטות המגבלות לכל סוג של Exapool.
| מאפיין (property) | Hyperdisk Balanced Exapools | Hyperdisk Throughput Exapools |
|---|---|---|
| קיבולת מינימלית | 500 TiB | 500 PiB |
| קיבולת מקסימלית | 1 EiB | 5 EiB |
| תפוקה מקסימלית | 10 TiB/s | 10 TiB/s |
| מספר הדיסקים המקסימלי בכל מאגר | 500,000 | 500,000 |
| הגדלת הקיבולת | 1 TiB | 1 PiB |
| מספר מקסימלי של Exapools לכל פרויקט לכל אזור | 1 | 1 |
| יחסי ביצועים | גודל קלט/פלט של 32KB לרוחב פס של קריאה וכתיבה; גודל קלט/פלט של 4KB ל-IOPS של קריאה וכתיבה | גודל קלט/פלט של 1MB לקריאות, גודל קלט/פלט של 256K לכתיבות |
מגבלות על גודל וביצועים של דיסקים ב-Exapool
לדיסקים ב-Exapool יש את אותם גודל ומגבלות ביצועים כמו לדיסקים שלא נמצאים ב-Pool, באופן הבא:
| סוג Hyperdisk | הביצועים המקסימליים שאפשר להקצות לכל דיסק | תפוקה שניתנת להתאמה אישית | IOPS שניתן להתאמה אישית |
|---|---|---|---|
| Hyperdisk Balanced | 160,000 IOPS; תפוקה של 2,400 MiB/s |
כן | כן |
| Hyperdisk Throughput | תפוקה של 2,400 MiB/s | כן | לא; 4 פעולות קלט/פלט בשנייה לכל MiB/s של קצב העברת נתונים, עד 9,600 פעולות קלט/פלט בשנייה |
אפשר לציין מגבלת ביצועים לדיסק בזמן היצירה ולשנות את מגבלת הביצועים בזמן שהדיסק בשימוש.
פרטים על מגבלות הגודל והביצועים זמינים במאמרים מגבלות הגודל והביצועים של Hyperdisk Throughput ומגבלות הגודל והביצועים של Hyperdisk Balanced.
זמינות אזורית
Hyperdisk Balanced Exapools ו-Hyperdisk Throughput Exapools זמינים בכל האזורים.
הצפנה
הצפנת דיסקים במאגר Hyperdisk פועלת באותו אופן כמו הצפנת דיסקים מחוץ למאגר.
מידע נוסף זמין במאמר מידע על הצפנת דיסקים.
הזמנות
אתם יכולים להזמין קיבולת של Exapools יחד עם מכונות וירטואליות לחישוב באמצעות הזמנות עתידיות של בלוקים של קיבולת. אפשר גם לצרף דיסקים מ-Exapool למופעי מחשוב שצורכים הזמנה.
מידע נוסף זמין במאמר בנושא שמירת מקום למאגרי משאבים.
תמחור
החיוב על Exapools מתבצע על סמך מספר היחידות וסוג היחידות של הקיבולת והביצועים שרכשתם עבור המאגר. לא נחייב אתכם על פעולות קלט/פלט בשנייה, על תפוקה או על קיבולת של הדיסקים שנוצרו במאגר.
אפשר לקבל הנחות תמורת התחייבות לשימוש (CUD) במשאבים של Hyperdisk Exapools, עם התחייבות מינימלית לשנה אחת או עד 3 שנים. כשרוכשים Exapool לשנה או ל-3 שנים, מקבלים באופן אוטומטי הנחות תמורת התחייבות לשימוש במשאבים בהתחייבויות לשנה או ל-3 שנים. מידע נוסף זמין במאמר בנושא תמחור דיסקים.
מגבלות
המגבלות הבאות חלות על Exapools.
- כדי ליצור, לשנות או למחוק Hyperdisk Exapool, צריך לפנות לצוות ניהול החשבון.
- כמות הביצועים שאפשר להקצות ל-Exapool תלויה בסוג ובמספר של יחידות הקיבולת של ה-Exapool. עם זאת, הביצועים של דיסקים שנוצרו ב-Exapool לא תלויים בשילוב של יחידות הקיבולת במאגר.
- אי אפשר להשתמש במצב סודי לנפחי Hyperdisk Balanced ב-Exapool.
- ב-Exapools נעשה שימוש רק בהקצאת קיבולת מתקדמת ובהקצאת ביצועים מתקדמת. הם לא תומכים בהקצאת קיבולת רגילה או בביצועים רגילים.
- ב-Exapools לא מתבצעת דחיסת נתונים.
- ב-Exapools אין תמיכה בהגדלה אוטומטית של הביצועים או הקיבולת. אתם צריכים לעקוב בעצמכם אחרי השימוש בביצועים ובקיבולת של Exapool. כדי לשפר את הביצועים או את הקיבולת של המאגר, צריך לפנות לצוות ניהול החשבון.
- אפשר ליצור מאגר רק מדיסקים חדשים שנמצאים באותו פרויקט ואותו אזור.
- אי אפשר להעביר דיסקים אל מאגר או ממאגר, צריך ליצור מחדש את הדיסק מתמונת מצב רגילה. מידע נוסף זמין במאמר בנושא שינוי סוג הדיסק.
- כדי ליצור דיסקים לאתחול במאגר, צריך להשתמש ב-Hyperdisk Balanced Storage Pool או ב-Hyperdisk Balanced Exapool.
- מאגרי משאבים לא תומכים בדיסקים אזוריים.
- אי אפשר לשכפל, ליצור תמונות מצב מיידיות או להגדיר שכפול אסינכרוני לדיסקים במאגר.