Rapid Bucket

בדף הזה מוסבר על Rapid Bucket, יכולת שמאפשרת לאחסן אובייקטים בסוג האחסון Rapid Storage על ידי הגדרת אזור כמיקום של קטגוריה. הגישה הזו מאפשרת לכם למקם את אחסון הנתונים באותו מיקום עם משאבי המחשוב, וכך לקבל זמן אחזור נמוך משמעותית וקצב העברת נתונים גבוה יותר בהשוואה לסוגי אחסון אחרים ב-Cloud Storage. עומסי עבודה באזורים אחרים יכולים גם לגשת לדלי, עם ביצועים יחסיים למרחק ברשת.

כדי ליצור קטגוריה אזורית באמצעות Rapid Bucket, ראו יצירת קטגוריות אזוריות. רשימת המיקומים הנתמכים מופיעה בקטע אזורים. במאמר שימוש באובייקטים בקטגוריות אזוריות מוסבר איך לקרוא אובייקטים בקטגוריות אזוריות ולצרף אליהם נתונים.

כדי להפעיל את Rapid Bucket בקטגוריה, צריך להפעיל בקטגוריה גם מרחב שמות היררכי וגם גישה אחידה ברמת הקטגוריה.

יכולות ויתרונות

‫Rapid Bucket נועד להסיר צווארי בקבוק באחסון, והוא אידיאלי לשימוש באפליקציות הכי עתירות נתונים, כמו AI/ML וניתוח נתונים. ‫Rapid Bucket תומך בחביון של פחות מאלפית השנייה, בנפח נתונים כולל של עד 15TB/s וב-20 מיליון שאילתות לשנייה (QPS). זמן טעינה קצר במיוחד מאפשר שליפה מיידית של נתונים, ומאפשר לאפליקציות של היקש בזמן אמת לפעול בקנה מידה גדול. התפוקה הגבוהה וה-QPS הגבוה עוזרים לשמור על רמת ניצול מלאה של אשכולות ה-GPU היקרים, וכך לקצר משמעותית את הזמן שנדרש לאימון המודלים.

בנוסף לזמן אחזור נמוך ולתפוקה גבוהה, באחסון בדליים אזוריים אפשר:

  • הוספה לאובייקטים בקטגוריה אזורית בלי לבצע כתיבה מחדש מלאה של האובייקט

  • פתיחת אובייקטים ושמירה על סטרימינג בזמן ביצוע פעולות, כדי לאפשר לכם להאיץ קריאות וכתיבות עתידיות

תרחישים לדוגמה

השימוש ב-Rapid Bucket מתאים במיוחד לעומסי עבודה של AI/ML או לעומסי עבודה אחרים שדורשים הרבה נתונים. דוגמאות לעומסי עבודה כאלה הן נקודות ביקורת (checkpointing) של מודלים, הערכה והצגה, וגם תורים של רישום ביומן והודעות. אפשר להשתמש בו גם להזרמת נתונים או לאחסון מסדי נתונים.

כדי ליהנות באופן מלא מזמן האחזור הקצר ומהתפוקה הגבוהה שמספק Rapid Bucket, חשוב להפעיל קישוריות ישירה של gRPC.

מינוח של Rapid Bucket

במאמרי העזרה של Cloud Storage נעשה שימוש במונחים הבאים:

  • ‫Rapid Bucket: מוצר שמאפשר ליצור קטגוריות עם מיקום אזורי וסוג אחסון Rapid.

  • אחסון מהיר: סוג האחסון שמציע את הביצועים הכי גבוהים של גישה לנתונים ושל פעולות קלט/פלט ב-Cloud Storage. כשמשתמשים ב-Rapid Bucket, יוצרים קטגוריה שמשתמשת ב-Rapid Storage. מידע נוסף על Rapid Storage זמין במאמר בנושא סוגי אחסון.

  • קטגוריה אזורית: קטגוריה שממוקמת באזור. אובייקטים בקטגוריות אזוריות תמיד מאוחסנים ב-Rapid Storage, ואפשר להוסיף להם נתונים.

גישה לאובייקטים בקטגוריות אזוריות

כדי ליהנות מיתרונות הביצועים של קטגוריה אזורית, חשוב לפתוח אובייקטים להזרמה ולשמור על הזרמה בזמן ביצוע פעולות על האובייקטים. כשיוצרים ומנהלים זרם, אפשר לבצע פעולות קריאה או כתיבה לאובייקט עם השהיה נמוכה מאוד. לדוגמה, כשקוראים קובץ Parquet, אפשר לבצע גם את הקריאה הראשונית של המטא-נתונים של הקובץ (הכותרת התחתונה) וגם את הקריאה הבאה של שורות ספציפיות בבקשה אחת. הגישה הזו יעילה יותר משימוש בבקשות נפרדות לכל שלב.

אחרי שיוצרים אותם, זרמי אובייקטים נשארים פתוחים כברירת מחדל כשניגשים לאובייקטים בקטגוריות אזוריות באמצעות Cloud Storage FUSE או ספריות הלקוח של Cloud Storage.

אפשר לפתוח כמה זרמי קריאה לאובייקט ממספר כלשהו של מארחים. אין הגבלה על מספר הזרמים לקריאה שאפשר ליצור לאובייקט.

צירוף אובייקטים

אפשר לצרף נתונים לאובייקטים בקטגוריות אזוריות. כשמוסיפים נתונים לאובייקטים, חלים כללי הסמנטיקה הבאים:

  • אובייקטים שאפשר להוסיף להם נתונים מופיעים במרחב השמות של הקטגוריה ברגע שמתחילים לכתוב להם, ואפשר לקרוא אותם גם בזמן הכתיבה.

  • אין הגבלות על מספר הפעמים שאפשר להוסיף נתונים לאובייקט או על מספר הבייטים שאפשר להוסיף בכל פעם. אפשר להוסיף נתונים עד שאובייקט מגיע לגודל המקסימלי שלו, שהוא ‎5 TiB.

  • הגודל של אובייקט יגדל בזמן אמת ככל שיתווספו אליו נתונים באופן קבוע או כשהוא ירוקן. כשמקימים זרם קריאה, צריך לצפות לעיכוב מינימלי בעדכון הגודל של האובייקט.

  • לאובייקטים שאפשר להוסיף להם נתונים יכול להיות רק כותב אחד בכל פעם. אם נוצר זרם כתיבה חדש לאובייקט שכבר יש לו זרם כתיבה קיים, Cloud Storage מחזיר שגיאה לזרם המקורי, ולא תהיה יותר אפשרות לכתוב בזרם המקורי. הכותב החדש יכול להמשיך להוסיף נתונים מההיסט האחרון שנשמר, בלי שיתווספו לאובייקט נתונים אחרים שמשולבים בו.

השלמת אובייקטים

אחרי שאובייקט הופך לסופי, אי אפשר יותר להוסיף לו נתונים, אבל עדיין אפשר להחליף את האובייקט בגרסה חדשה. המטא-נתונים של אובייקט סופי עדיין ניתנים לשינוי. לדוגמה, אפשר להוסיף תגים חדשים ולשנות את שם האובייקט.

טעינת קטגוריות אזוריות

אפשר לטעון קטגוריות אזוריות ולגשת אליהן באמצעות Cloud Storage FUSE או מנהל התקן ה-CSI של Cloud Storage FUSE. חשוב להשתמש ב-Cloud Storage FUSE בגרסה 3.7.2 ואילך. כדי להשתמש במנהל התקן ה-CSI של Cloud Storage FUSE, צריך לוודא שגרסת Google Kubernetes Engine היא 1.35.0-gke.3047001 ואילך.

כלים נתמכים

אפשר לעבוד עם קטגוריות אזוריות באמצעות רוב הכלים של Cloud Storage. עם זאת, יש כמה מגבלות:

  • אי אפשר לכתוב לקטגוריות אזוריות באמצעות ממשקי API רגילים של ספריות לקוח שמיועדים לקטגוריות לא אזוריות. כדי לכתוב ל-buckets אזוריים, צריך לשנות את הקוד כך שישתמש בממשקי API נתמכים ל-buckets אזוריים. כדי לדעת באילו ממשקי API צריך להשתמש, אפשר לעיין בדוגמאות הקוד של ספריית הלקוח במאמר שימוש באובייקטים בדליים אזוריים.

  • כשמשתמשים ב-gRPC, אפשר לכתוב לדליים אזוריים רק באמצעות ממשקי ה-API של BidiWriteObject. אפשר להוסיף אובייקטים רק באמצעות קריאת ה-RPC‏ BidiWriteObject במצב appendable. שיטות כתיבה אחרות של gRPC (כמו כתיבות חד-פעמיות או כתיבות שאפשר להמשיך) וקריאות אחרות של RPC (כמו WriteObject) לא תומכות באובייקטים שאפשר להוסיף להם.

  • אי אפשר לכתוב לקטגוריות אזוריות באמצעות API בפורמט JSON.

  • ‫Rapid Bucket נתמך בגרסאות 2026.3.0 ואילך של ספריית Python‏ GCSFS.

  • מגבלות של Google Cloud CLI:

    • הגרסה המינימלית של Google Cloud CLI שנתמכת: הגרסה המינימלית של ה-CLI של gcloud שתומכת בדליים אזוריים היא 553.0.0. גרסאות קודמות לא תואמות לדליים אזוריים. מומלץ להשתמש בגרסה העדכנית של ה-CLI של gcloud כדי ליהנות מהתכונות העדכניות ומהתיקונים לבאגים.

    • חשיפה של העלאות לא מלאות: בניגוד לקטגוריות בסוגי אחסון אחרים, שבהן אובייקטים מופיעים במרחב השמות רק אחרי שההעלאה מסתיימת, אובייקטים שהועלו באופן חלקי בקטגוריות אזוריות גלויים באופן מיידי. אם פקודת העלאה של Google Cloud CLI נכשלת או מופסקת, יכול להיות שתראו אובייקטים לא שלמים בקטגוריה. עדיין אפשר להמשיך את ההעלאות האלה על ידי הפעלה מחדש של הפקודה.

    • החלפת אובייקטים: התנהגות ה-CLI הרגילה של Google Cloud חלה על קטגוריות אזוריות: כשמחליפים אובייקט, אם קיים קובץ או אובייקט עם אותו שם ביעד, פקודות ה-CLI של Google Cloud‏ cp, mv ו-rsync יחליפו אותו כברירת מחדל. כדי למנוע החלפות, משתמשים בדגל --no-clobber. כשמשתמשים ב-Google Cloud CLI, אי אפשר לצרף נתונים לאובייקט קיים. צריך להעלות מחדש את כל המקור.

    • סגירת אובייקט: יכול להיות שיהיה עיכוב קצר מדי פעם באובייקטים שמועלים לקטגוריית אחסון אזורית באמצעות Google Cloud CLI, לפני שמטא-הנתונים של האובייקט מסונכרנים באופן מלא. מכיוון ש-Cloud Storage משתמש במודל של עקביות בסופו של דבר, ניסיון להוריד אובייקט מיד אחרי ההעלאה עלול לגרום לשגיאה של אי התאמה בין הגיבובים אם המטא-נתונים עדיין לא עודכנו.

      אם ההורדה נכשלת עם שגיאה של אי התאמה בין הגיבובים זמן קצר אחרי ההעלאה, מנסים שוב להריץ את הפקודה. המערכת מוודאת שההורדות יסתיימו בהצלחה או ייכשלו באופן מפורש. לא יקרו הורדות חלקיות או פגומות בלי שתהיה לכך אינדיקציה.

  • ביצועי אימות של סכומי ביקורת: בקטגוריות אזוריות, המערכת מסתמכת באופן בלעדי על CRC32C לאימות נתונים, מה שמאפשר לה לבצע בדיקת סכום ביקורת לכל נתח ולכל ההעלאה או ההורדה. כברירת מחדל, Google Cloud CLI משתמש בספריית Python‏ google-crc32c, שמגיעה עם Google Cloud CLI. עם זאת, אם אתם משתמשים בהתקנת Python שלא כלולה בחבילה, אתם צריכים להתקין באופן מפורש את הספרייה google-crc32c מ-PyPI. אחרת, Google Cloud CLI חוזר לשימוש בקובץ הבינארי gcloud-crc32c, מה שעלול להוביל לביצועים איטיים יותר בחישוב CRC של כל נתח.

חוסר תאימות

אי אפשר להשתמש בדלי אחסון אזוריים עם המוצרים והשירותים הבאים:

  • העלאה וניהול של נתונים

    • Rapid Cache

    • סיווג אוטומטי

    • נעילת קטגוריות

    • אובייקטים מורכבים

    • העלאות מרובות חלקים בפורמט XML

    • החזקות אובייקטים

    • פעולת SetStorageClassניהול מחזור חיים של אובייקטים

    • נעילת שמירת אובייקטים

    • העברות של קטגוריות

    • העלאות שניתן להמשיך

    • כתיבה מחדש של אובייקטים

    • 'מגיש הבקשה משלם'

  • מטא-נתונים

    • לאובייקטים בדליים אזוריים אין גיבוב MD5.

    • מאפייני המטא-נתונים שמשויכים לתכונות ולמוצרים שלא נתמכים לא מופיעים בייצוג המשאב של קטגוריה אזורית או של אובייקט שאפשר להוסיף לו נתונים, או שהם לא ניתנים לכתיבה. לדוגמה:

      • מאפייני המטא-נתונים softDeleteTime ו-hardDeleteTime לא מופיעים בייצוג המשאב של המשאב Objects כי מחיקה זמנית לא נתמכת באובייקטים בקטגוריות אזוריות.

      • למטא-נתונים storageClass של אובייקטים בקטגוריות אזוריות יש תמיד ערך של RAPID, ואי אפשר לשנות אותו כי בקטגוריות אזוריות תמיד צריך להשתמש בסיווג האחסון Rapid Storage.

  • בקרת גישה

    • רשימות של בקרת גישה (ACL) ברמת האובייקט

    • הגדרות CORS

    • מפתחות הצפנה באספקת הלקוח (CSEK)

    • מקשי HMAC

  • הגנה על נתונים והתאוששות מאסון

    • ניהול גרסאות של אובייקטים

    • מחיקה עם אפשרות שחזור

    • שכפול בין קטגוריות

  • שירותים Cloud de Confiance by S3NS אחרים

    • BigQuery

מכסות

לכל אזור בכל פרויקט יש מכסת קיבולת אחסון שמוגדרת כברירת מחדל. בנוסף, לכל אזור בכל פרויקט יש מכסת תעבורת נתונים יוצאת (egress) מ-Cloud Storage לשירותיS3NS שמוגדרת כברירת מחדל. כדי לראות את המכסות האלה, אפשר לעיין במאמר מכסות ומגבלות.

במאמר מעקב אחר השימוש ברוחב פס מוסבר איך לעקוב אחרי השימוש בתעבורת נתונים יוצאת (egress) ולבקש רוחב פס נוסף.

תמחור

השימוש ב-Rapid Bucket כרוך בחיובים על אחסון נתונים, פעולות ורשת. מידע נוסף על תמחור

שיטות מומלצות

כדי לשפר את הביצועים כשמשתמשים בקטגוריות אזוריות עם Cloud Storage FUSE, מומלץ לשמור על ידית פתוחה של קובץ לאובייקטים שנטענו ולהשתמש בה לכמה פעולות. התוצאה היא ביצועים טובים יותר, כי Cloud Storage FUSE לא צריך לבצע מסעות מיותרים הלוך ושוב ברשת לכל קריאה חוזרת.

המאמרים הבאים