במאמר הזה מתוארות התכונות והמגבלות של Exapools. Hyperdisk Exapools הם Hyperdisk pools שמיועדים לעומסי עבודה שבהם Hyperdisk Storage Pools לא מספקים מספיק נפח אחסון של Hyperdisk באזור יחיד. עם Exapools, אתם קונים נפח אחסון וביצועים בכמות גדולה, ואז יוצרים דיסקים במאגר כדי להשתמש בנפח האחסון.
מתי כדאי להשתמש ב-Hyperdisk Exapools
Exapools מיועדים לעומסי עבודה גדולים עם עשרות אלפי דיסקים באזור יחיד, שדורשים אחסון בלוקים עמיד בנפח של 500 TiB עד 2.5 EiB. אם עומס העבודה שלכם דורש קיבולת או ביצועים ברמה נמוכה יותר, תוכלו להשתמש במאגר אחסון של Hyperdisk או ליצור דיסקים מחוץ למאגר.
Exapools מציעים אחסון וביצועים בקנה מידה הגדול ביותר שזמין ב-Compute Engine, וגם מאפשרים לכם לחסוך בעלויות. אתם יכולים להקצות יותר ביצועים ויכולת ממה שאתם צריכים, אבל לשלם רק על מה שאתם משתמשים בו.
מאגרי Hyperdisk Exapools הם פתרון אידיאלי ל-AI בהיקף גדול, ללמידת מכונה (ML) ולעומסי עבודה גדולים של מערכות קבצים מקביליות מבוזרות. הנה כמה דוגמאות לעומסי עבודה:
דוגמאות לעומסי עבודה ב-Hyperdisk Exapools:
- עומסי עבודה של AI/ML שכוללים 4,000 מכונות וירטואליות של TPU ושימוש ב-2 PiB של Hyperdisk Balanced עם ביצועים מוקצים של 20,000,000 IOPS וקצב העברת נתונים של 3 TiB/s, שמניבים קצב העברת נתונים מצטבר מקסימלי של 500 GiB/s.
- עומסי עבודה של אימון AI/ML עם 15,000 מכונות GPU באמצעות Hyperdisk Balanced לאתחול ולדיסקים זמניים עם קיבולת כוללת של 8 PiB, שמניבים תפוקה מצטברת מקסימלית בו-זמנית של 1 TiB/s.
- מערכת קבצים מקבילית עם קיבולת של 6 PiB ומעלה, ושיאי צבירה מקבילים של תפוקה גבוהה של קריאה של 800 GiB/s.
איך פועלים מאגרי נתונים של חשיפות
יוצרים Exapool עם הקיבולת והביצועים המצטברים שכל הדיסקים של עומס העבודה בתחום מסוים יצטרכו, ואז יוצרים דיסקים במאגר לפי הצורך. אתם יכולים להשתמש בדיסקים ב-Exapool כדיסקים לאתחול או כדיסקים של נתונים עבור המכונות והקונטיינרים של Compute Engine.
כשיוצרים דיסק ב-Exapool, מקצים לדיסק חלק מהמשאבים של המאגר (גודל וביצועים). כשמוחקים דיסק במאגר, המשאבים שהוקצו לדיסק מוחזרים למאגר לשימוש של דיסקים אחרים.
לדוגמה, נניח שאתם יוצרים Hyperdisk Balanced Exapool עם קיבולת של 50 PiB. אם יוצרים במאגר 100 דיסקים בנפח 10 TiB, הקיבולת הפנויה שנותרה במאגר תפחת ב-1,000 TiB.
סוגי Exapool
כשיוצרים Exapool, צריך לבחור סוג Hyperdisk לדיסקים שיהיו במאגר. אלה הסוגים שזמינים:
- Hyperdisk Balanced Exapools: כל הדיסקים ב-Exapool הם Hyperdisk Balanced volumes.
- Hyperdisk Throughput Exapool: כל הדיסקים ב-Exapool הם Hyperdisk Throughput volumes.
מידע נוסף על בחירת סוג Hyperdisk זמין במאמר בחירת סוג Hyperdisk לעומס העבודה.
תמיכה בסדרת מכונות
יש תמיכה ב-Hyperdisk Throughput Exapools וב-Hyperdisk Balanced Exapools באותן סדרות מכונות שבהן יש תמיכה ב-Hyperdisk Throughput וב-Hyperdisk Balanced, בהתאמה. רשימת סדרות המכונות הנתמכות זמינה במאמרים בנושא תמיכה בסדרות מכונות לשימוש ב-Hyperdisk Throughput ותמיכה בסדרות מכונות לשימוש ב-Hyperdisk Balanced.
הקצאת משאבים לביצועים ולקיבולת של Exapools
סוג ההקצאה של המאגר קובע איך הדיסקים במאגר צורכים משאבים.
ב-Exapools נעשה שימוש בהקצאת משאבים מתקדמת לקיבולת ולביצועים, וכך אפשר לחסוך הכי הרבה בעלויות ובזמן.
הקצאת נפח אחסון מתקדם
כל מאגרי Exapools משתמשים בהקצאת קיבולת מתקדמת, שמציעה את היתרונות הבאים:
- הקצאת אחסון לפי צורך (Thin Provisioning): מערכת Compute Engine מקצה נתונים לדיסקים במאגר לפי הצורך, ולא בזמן הקצאת הדיסק.
- הקצאת יתר: אתם יכולים להקצות את הדיסקים במאגר עם קיבולת גדולה עד פי 50 מהקיבולת שרכשתם עבור Exapool. כך אפשר לפשט את תכנון הקיבולת ולמנוע השבתה של המערכת לצורך שינוי גודל הדיסק באופן ידני.
הסבר מפורט על הקצאת קיבולת מתקדמת זמין במאמר בנושא הקצאת קיבולת מתקדמת.
הקצאת משאבים מתקדמת לשיפור הביצועים
ב-Exapools נעשה שימוש בהקצאת משאבים מתקדמת לשיפור הביצועים, שמציעה את היתרונות הבאים:
- הקצאת אחסון לפי צורך (Thin Provisioning): מערכת Compute Engine מקצה משאבי ביצועים לדיסקים במאגר לפי הצורך. רק הכמות של IOPS ושל קצב העברת הנתונים שבהם נעשה שימוש בדיסק ב-Exapool צורכת ביצועים.
- הקצאת יתר: הביצועים הכוללים של כל הדיסקים במאגר יכולים להיות עד פי 50 מביצועי הכתיבה שהוקצו למאגר.
- ביצועים משותפים: דיסקים ב-Exapool חולקים את הביצועים שהוקצו למאגר עד למגבלה של כל דיסק, וכך חוסכים בעלויות של דיסקים עם זמני שימוש שונים בשיא.
הסבר מפורט על הקצאת משאבים מתקדמת לשיפור הביצועים זמין במאמר בנושא הקצאת משאבים מתקדמת לשיפור הביצועים.
קיבולת וביצועים של רכישות
הביצועים המוקצים של Exapool, או כמות ה-IOPS והתפוקה שאפשר להקצות לדיסקים בתוך המאגר, תלויים בגורמים הבאים:
- מספר יחידות הקיבולת במאגר
- סוג הדיסק של Exapool
איך יחידות הקיבולת פועלות
יחידת קיבולת כוללת קיבולת של 1 GiB וכמות קבועה של ביצועים (IOPS וקצב העברת נתונים) לכל GiB. לדוגמה, כדי להוסיף 1 PiB של קיבולת למאגר, צריך לרכוש 1,048,576 יחידות קיבולת (1,048,576 GiB = 1 PiB). יש שלושה סוגים של יחידות קיבולת לבחירה ב-Exapools. כמות הביצועים שמתווספת למאגר תלויה בסוג יחידות הקיבולת:
- יחידות עם אופטימיזציה של הקיבולת: מציעות קצב מאוזן של IOPS ו-Throughput לקריאה ולכתיבה.
- יחידות שעברו אופטימיזציה לקריאה: מציעות את שיעור הפעולות הגבוה ביותר של קריאה ושל קצב העברת הנתונים לכל GiB.
- יחידות עם אופטימיזציה לכתיבה: מציעות את שיעור הפעולות הגבוה ביותר של כתיבה ושל קצב העברת נתונים לכל GiB.
אם עומס העבודה כולל יותר פעולות קריאה מאשר פעולות כתיבה, או אם הוא דורש תפוקת קריאה גבוהה יותר מתפוקת כתיבה, כדאי לקנות יחידות שמותאמות לקריאה כדי לקבל את התמורה הטובה ביותר.
אתם יכולים לשלב בין סוגים שונים של יחידות קיבולת כשאתם מקצים או מרחיבים Exapool. הסוג והמספר של יחידות הקיבולת שאתם רוכשים עבור מאגר נקראים שילוב של יחידות קיבולת.
השילוב של היחידות ב-Exapool לא משפיע על הביצועים של הדיסקים ב-Exapool. השילוב של היחידות משפיע רק על הגורמים הבאים:
- איך מתבצע החיוב על Exapool.
- הביצועים המקסימליים שהוקצו ל-Exapool.
בחירת שילוב של יחידות קיבולת ל-Exapool
כדי לענות על הצרכים של עומס העבודה בצורה הכי חסכונית, מומלץ לעבוד עם צוות התמיכה בחשבון כדי לבחור שילוב של יחידות קיבולת שמתאים לעומס העבודה. לדוגמה, אפשר ליצור Exapool עם מספר גדול של יחידות שעברו אופטימיזציה לקריאה עבור כל הדיסקים בפרויקט שנדרשת בהם קריאה אינטנסיבית.
יחסי יחידות הקיבולת של Hyperdisk Throughput Exapools
ל-Hyperdisk Throughput Exapools יש את יחסי הביצועים הבאים על סמך כמות הקיבולת שנרכשה:
| סוג יחידת הקיבולת | יחידות קיבולת שנרכשו | קיבולת Exapool (TiB) | תפוקת קריאה (MiB/s) | קצב העברת נתונים בכתיבה (MiB/s) |
|---|---|---|---|---|
| מותאמת לקיבולת (capacity-optimized) | 1,024 | 1 | 0.97 | 0.10 |
| אופטימיזציה לקריאה | 1,024 | 1 | 3.38 | 0.10 |
| מותאמת לכתיבה | 1,024 | 1 | 0.97 | 1.84 |
יחסי יחידות הקיבולת של Hyperdisk Balanced Exapool
ל-Hyperdisk Balanced Exapools יש את יחסי הביצועים הבאים על סמך כמות הקיבולת שנרכשה:
| סוג יחידת הקיבולת | יחידות קיבולת שנרכשו | קיבולת Exapool (TiB) | תפוקת קריאה (MiB/s) | קצב העברת נתונים בכתיבה (MiB/s) | קריאת IOPS | IOPS של כתיבה |
|---|---|---|---|---|---|---|
| מותאמת לקיבולת (capacity-optimized) | 1,024 | 1 | 5.12 | 1.02 | 275 | 102 |
| אופטימיזציה לקריאה | 1,024 | 1 | 378.88 | 30.72 | 21,311 | 3,072 |
| מותאמת לכתיבה | 1,024 | 1 | 220.16 | 71.68 | 12,288 | 6,656 |
איך יחידות קיבולת משפיעות על ביצועי הדיסק
השילוב של יחידות הקיבולת ב-Exapool לא משפיע על צריכת הביצועים של הדיסקים ב-Exapool. לא מחייבים אתכם באופן שונה על פעולות קריאה וכתיבה נפרדות של הדיסקים במאגר. רכישת יחידות מסוג מסוים לא מגבילה את הדיסקים לכמות קבועה של פעולות קלט/פלט בשנייה (IOPS) לקריאה או לכתיבה. בנוסף, כשיוצרים דיסק ב-Exapool, לא מציינים מגבלה של IOPS לקריאה או IOPS לכתיבה, אלא רק מגבלה של IOPS מוקצה.
לדוגמה, נניח שיש שני מאגרי Hyperdisk Balanced Exapools, Pool-1 ו-Pool-2.. לשניהם יש 100,000,000 יחידות של קיבולת אופטימלית. ב-Pool-1 יש גם 5,000,000 יחידות שעברו אופטימיזציה לכתיבה, וב-Pool-2 יש 5,000,000 יחידות שעברו אופטימיזציה לקריאה.
מכיוון שבשני המאגרים יש סך של 105,000,000 יחידות, קיבולת האחסון הכוללת שלהם תהיה זהה – 100.1 PiB (105,000,000 GiB). עם זאת, מכיוון שיש להם סוגים שונים של יחידות קיבולת, יש למאגרי הקיבולת מגבלות ביצועים מקסימליות ועלויות שונות. אין הבדל בביצועים בין הדיסקים בשתי קבוצות הדיסקים.
דוגמה
נניח של-Hyperdisk Balanced Exapool יש 12,400,000 יחידות קיבולת, שכוללות:
- 5,000,000 יחידות שעברו אופטימיזציה לפי קיבולת
- 2,400,000 יחידות שעברו אופטימיזציה לקריאה
- 5,000,000 יחידות שעברו אופטימיזציה לכתיבה
ל-Exapool יש קיבולת של 12,109.4 TiB (1 TiB לכל 1,024 יחידות).
ל-Exapool יש 151,488,476 IOPS, שמחושבים כך:
IOPS מ-5,000,000 יחידות עם אופטימיזציה של הקיבולת: 1,840,820 (1,342,773 קריאות IOPS + 498,047 כתיבות IOPS)
IOPS מ-2,400,000 יחידות עם אופטימיזציה לקריאה: 57,147,656 (49,947,656 קריאות IOPS + 7,200,000 כתיבות IOPS)
IOPS מ-5,000,000 יחידות שעברו אופטימיזציה לכתיבה: 92,500,000 (60,000,000 IOPS לקריאה + 32,500,000 IOPS לכתיבה)
בדיקת הביצועים וניצול הקיבולת
ב-Compute Engine יש מדדים שבעזרתם אפשר לעקוב אחרי Exapools. המדדים האלה עוזרים לענות על שאלות כמו:
- כמה פעולות קלט/פלט של קריאה וכתיבה נותרו ב-Exapool?
- כמה קיבולת הוקצתה לדיסקים ב-Exapool?
- כמה דיסקים יש ב-Exapool?
אפשר לראות את המדדים האלה ב-Cloud Monitoring. מידע נוסף זמין במאמר בנושא מעקב אחרי מאגרי Hyperdisk.
מגבלות גודל וביצועים של Hyperdisk Exapools
בקטע הזה מפורטות המגבלות לכל סוג של Exapool.
| מאפיין (property) | Hyperdisk Balanced Exapools | Hyperdisk Throughput Exapools |
|---|---|---|
| תפוסה מינימלית | 500 TiB | 500 PiB |
| קיבולת מקסימלית | 1 EiB | 5 EiB |
| תפוקה מינימלית | 1 TiB/s | 250 GiB/s |
| תפוקה מקסימלית | 10 TiB/s | 10 TiB/s |
| מספר הדיסקים המקסימלי בכל מאגר | 500,000 | 500,000 |
| רמות הקיבולת | 1 TiB | 1 PiB |
| המספר המקסימלי של Exapools לכל פרויקט בכל אזור | 1 | 1 |
| יחסי ביצועים | גודל קלט/פלט של 32KB לרוחב פס של קריאה וכתיבה; גודל קלט/פלט של 4KB ל-IOPS של קריאה וכתיבה | גודל קלט/פלט של 1MB לקריאות, גודל קלט/פלט של 256K לכתיבות |
מגבלות על גודל וביצועים של דיסקים ב-Exapool
לדיסקים ב-Exapool יש את אותם גודל ומגבלות ביצועים כמו לדיסקים שלא נמצאים ב-Pool, באופן הבא:
| סוג Hyperdisk | הביצועים המקסימליים שאפשר להקצות לכל דיסק | תפוקה שניתנת להתאמה אישית | IOPS שניתן להתאמה אישית |
|---|---|---|---|
| Hyperdisk Balanced | 160,000 IOPS; תפוקה של 2,400 MiB/s |
כן | כן |
| Hyperdisk Throughput | תפוקה של 2,400 MiB/s | כן | לא; 4 IOPS לכל MiB/s של קצב העברת נתונים, עד 9,600 IOPS |
אפשר לציין מגבלת ביצועים לדיסק בזמן היצירה שלו ולשנות את מגבלת הביצועים בזמן שהדיסק בשימוש.
פרטים על מגבלות הגודל והביצועים זמינים במאמרים בנושא מגבלות הגודל והביצועים של Hyperdisk Throughput ומגבלות הגודל והביצועים של Hyperdisk Balanced.
זמינות אזורית
Hyperdisk Balanced Exapools ו-Hyperdisk Throughput Exapools זמינים בכל האזורים.
הצפנה
הצפנת דיסקים במאגר Hyperdisk פועלת באותו אופן כמו הצפנת דיסקים מחוץ למאגר.
מידע נוסף זמין במאמר מידע על הצפנת דיסקים.
תמחור
החיוב על Exapools מתבצע על סמך המספר והסוג של יחידות הקיבולת והביצועים שרכשתם עבור המאגר. לא נחייב אתכם על פעולות קלט/פלט בשנייה (IOPS), על קצב העברת הנתונים או על הקיבולת של הדיסקים שנוצרו במאגר.
אפשר לקבל הנחות תמורת התחייבות לשימוש (CUD) במשאבים של Hyperdisk Exapools, עם התחייבות מינימלית לשנה אחת או עד 3 שנים. כשרוכשים Exapool לשנה או ל-3 שנים, מקבלים באופן אוטומטי הנחות CUD על משאבים בהתחייבויות לשנה או ל-3 שנים.
מידע נוסף מפורט במאמר בנושא תמחור דיסקים.
מגבלות
ההגבלות הבאות חלות על Exapools.
- כדי ליצור, לשנות או למחוק Hyperdisk Exapool, צריך לפנות לצוות ניהול החשבון שלכם.
- כמות הביצועים שאפשר להקצות ל-Exapool תלויה בסוג ובמספר של יחידות הקיבולת של ה-Exapool. עם זאת, הביצועים של דיסקים שנוצרו ב-Exapool לא תלויים בשילוב של יחידות הקיבולת במאגר.
- אי אפשר להשתמש במצב סודי לנפחי Hyperdisk Balanced ב-Exapool.
- ב-Exapools נעשה שימוש רק בקיבולת מתקדמת ובאספקת ביצועים מתקדמת. הם לא תומכים בהקצאת קיבולת רגילה או ביצועים רגילים.
- ב-Exapools לא נעשה שימוש בדחיסת נתונים.
- ב-Exapools אין תמיכה בהגדלה אוטומטית של הביצועים או הקיבולת. אתם צריכים לעקוב בעצמכם אחרי השימוש בביצועים ובקיבולת של Exapool. אם אתם צריכים לשפר את הביצועים או את הקיבולת של המאגר, אתם צריכים לפנות לצוות ניהול החשבון.
- אי אפשר להעביר דיסקים קיימים אל Exapool או ממנו. צריך ליצור קובץ snapshot רגיל של הדיסק, ואז להשתמש בקובץ ה-snapshot כדי ליצור דיסק חדש.
המאמרים הבאים
- כדי ליצור Exapool, צריך לפנות לצוות ניהול החשבון.
- הצגת המאפיינים של מאגר Hyperdisk
- הוספת דיסקים במאגר למכונות וירטואליות