מרחב שמות היררכי

מרחב שמות היררכי הוא יכולת שמציע Cloud Storage, שמאפשרת לארגן אובייקטים בתיקיות ולאחסן את הנתונים במבנה לוגי של מערכת קבצים. כך קל יותר לייעל את משימות ניהול הנתונים. מרחב שמות היררכי מספק את הסמנטיקה של ספריות בעלות ביצועים גבוהים ואת הפעולות האטומית של תיקיות שנדרשות להאצת עומסי עבודה של AI/ML וניתוח נתונים שדורשים הרבה נתונים.

בדף הזה מופיעה סקירה כללית של מרחב שמות היררכי, כולל תיאור של היכולות, היתרונות והמגבלות שלו, וגם תרחישי שימוש.

איך זה עובד

כדי להשתמש בתיקיות בקטגוריה, צריך להפעיל מרחב שמות היררכי כשיוצרים את הקטגוריה. אי אפשר לשנות את הגדרת מרחב השמות ההיררכי של הקטגוריה אחרי שהקטגוריה נוצרת. מידע על הפעלת מרחב שמות היררכי בקטגוריה זמין במאמר יצירה וניהול של קטגוריות עם מרחב שמות היררכי מופעל.

בתרשים הבא מוצגת דוגמה לקטגוריה שמופעל בה מרחב שמות היררכי, שבו האובייקטים מאורגנים במבנה היררכי של תיקיות. תיקייה בקטגוריה שמופעל בה מרחב שמות היררכי יכולה להכיל גם אובייקטים וגם תיקיות צאצא.

Figure 1. היררכיית קטגוריות עם תיקיות ואובייקטים.
איור 1. היררכיית קטגוריות עם תיקיות ואובייקטים.

יכולות ויתרונות

מרחב שמות היררכי מספק את היכולות והיתרונות הבאים:

  • מכסת שאילתות ראשונית גבוהה יותר לשנייה (QPS): בקטגוריות שמופעל בהן מרחב שמות היררכי, מכסת השאילתות הראשונית לשנייה (QPS) לקריאה ולכתיבה של אובייקטים גבוהה עד פי 8 בהשוואה לקטגוריות שלא מופעל בהן מרחב שמות היררכי. הערך הגבוה יותר של QPS מאפשר להרחיב בקלות רבה יותר עומסי עבודה שדורשים הרבה נתונים, ומספק תפוקה משופרת. ניהול תיקיות

  • אפשרות להשתמש בתיקיות: תיקיות משמשות כמאגר לאובייקטים ולתיקיות צאצא, ומאפשרות ליצור מבנה ספריות אמיתי בתוך קטגוריות של Cloud Storage. אחסון הנתונים במבנה תיקיות משפר את הביצועים, מבטיח עקביות ומפשט את הניהול של עומסי עבודה עתירי נתונים ומבוססי קבצים.

    פעולות בתיקיות מספקות יכולות ניהול ואמינות, כולל יצירה, רישום, מחיקה ושינוי שם אטומי.

    • שינוי שמות של תיקיות: הפעולה הזו מאפשרת לשנות באופן אטומי את הנתיב של תיקייה ותיקיות המשנה שלה בלי למחוק אובייקטים. השיטה הזו יעילה וחוסכת זמן, במיוחד כשמדובר בתיקיות גדולות עם הרבה אובייקטים.

    • רשימת תיקיות: הפעולה list folders מציגה את כל התיקיות בדלי או מתחת לתיקייה ספציפית, ועוזרת לכם לנהל את מבנה הנתונים המאוחסנים ולהבין אותו.

מתי כדאי להשתמש במרחב שמות היררכי?

כדאי להפעיל מרחב שמות היררכי כשעובדים עם אפליקציות שמצפות להיררכיה ולסמנטיקה של מערכת קבצים. מרחב שמות היררכי מועיל למשימות עתירות נתונים כמו ניתוח נתונים ועומסי עבודה של AI/ML. אלה כמה תרחישים נפוצים שבהם כדאי להשתמש במרחב שמות היררכי:

  • עיבוד מבוסס Hadoop: עומסי עבודה של Hadoop ו-Spark מצפים בדרך כלל למבנה אחסון של מערכת קבצים ולשמות שמבוססים על זמן לקבצים ולתיקיות. מרחב שמות היררכי משתלב עם מחבר Cloud Storage כדי לספק תפוקה משופרת ושינוי שמות של תיקיות באופן אטומי, וכך לשפר את שלמות הנתונים ואת העקביות שלהם בצינורות רבים לעיבוד נתונים.

  • עיבוד של עומסי עבודה שמתמקדים בקבצים: עומסי עבודה כמו עיבוד של ניתוח אצווה, שירותים פיננסיים או מחשוב עתיר ביצועים (HPC), מובנים במחיצות על סמך היררכיה של תיקיות וקבצים. מרחב שמות היררכי עוזר לנהל את הסביבות האלה באמצעות API ייעודי לניהול תיקיות. בנוסף, מרחב שמות היררכי מפשט את ניהול התיקיות שמכילות תיקיות ואובייקטים אחרים. באמצעות פקודת API אחת, אפשר לשנות במהירות את השם של תיקייה ושל כל התוכן שבה, וכך לחסוך זמן ומשאבים יקרים.

  • עיבוד AI/ML: כלים של AI/ML כמו TensorFlow,‏ Pandas ו-PyTorch מצפים לבקרת גישה ולסמנטיקה של מערכת קבצים. מרחב שמות היררכי, במיוחד בשילוב עם Cloud Storage FUSE, מאפשר תפוקה גבוהה יותר וגישה יעילה לנתונים. כתוצאה מכך, מרחב שמות היררכי משפר את הביצועים והמהימנות של איטרציית מודל ה-ML.

לפני שמפעילים מרחב שמות היררכי בקטגוריה, כדאי לקרוא על המגבלות של מרחב שמות היררכי. מידע על מגבלות של מרחב שמות היררכי זמין במאמר בנושא מגבלות.

היתרונות של מרחב שמות היררכי

כשמפעילים מרחב שמות היררכי לקטגוריות, אפשר לבצע את הפעולות הבאות:

  • אופטימיזציה של הארגון: אתם יכולים לארגן את הנתונים במבנה היררכי של תיקיות, שיעזור לכם לנהל ולאתר קבצים או מערכי נתונים.

  • יצירת סביבה עסקית של מערכת קבצים: מרחב שמות היררכי מציג תכונות של מערכת קבצים כמו תיקיות, שינוי שם של תיקיות ורישום תיקיות, שימושיות לאפליקציות מבוססות קבצים, כולל סביבת Hadoop העסקית ועומסי עבודה של AI/ML.

  • שיפור הביצועים: על ידי שינוי קנה המידה של עומסי עבודה עתירי נתונים כדי לטפל בתפוקה גבוהה יותר, אפשר לשפר את הביצועים הכוללים של האפליקציה.

פלטפורמות נוספות

קטגוריות עם תמיכה במרחב שמות היררכי תומכות ביכולות הפלטפורמה הבאות של Cloud Storage:

  • כל ממשקי ה-API של אובייקטים ב-Cloud Storage ותכונות נפוצות של Cloud Storage. פרטים על תכונות לא נתמכות מופיעים בקטע מגבלות.

  • העברת נתונים מקטגוריה רגילה לקטגוריה עם מרחב שמות היררכי באמצעות Storage Transfer Service.

  • שילוב עם המוצרים הבאים:

תאימות לפעולות ולתכונות של Cloud Storage

קטגוריות שמופעל בהן מרחב שמות היררכי מקיימות אינטראקציה עם פעולות של Cloud Storage באופן שונה מקטגוריות שאין בהן מרחב שמות היררכי.

אינטראקציות עם פעולות על אובייקטים

קטגוריות שמופעל בהן מרחב שמות היררכי מטפלות בפעולות אובייקט בדרכים הבאות:

  • פעולות כמו Upload,‏ Rewrite ו-Compose יוצרות באופן אוטומטי תיקיות אב חסרות, בתנאי שיש לכם את ההרשאות הנדרשות. לכן, אין צורך ליצור תיקיות מראש לפני העלאת אובייקטים.
  • אפשר ליצור תיקיות באופן אוטומטי במהלך פעולות על אובייקטים, אבל צריך למחוק אותן באופן מפורש באמצעות הפעולה DeleteFolder.
  • כשמשתמשים בפעולה ListObjects עם הפרמטר delimiter, דליים מחזירים כל תיקיית צאצא כ-prefix.. עם זאת, תיקיות ריקות מוחרגות כברירת מחדל. כדי לכלול תיקיות ריקות, כמו ברשימה של מערכת קבצים רגילה, צריך להגדיר את הפרמטר includeFoldersAsPrefixes. למידע על שיטות לאופטימיזציה של הביצועים כשמציגים רשימה של אובייקטים בדליים עם מרחב שמות היררכי מופעל, אפשר לעיין במאמר הצגת רשימה של אובייקטים.

אינטראקציות עם פעולות בקטגוריות

בקטעים הבאים מוסבר איך מתבצעות פעולות בקטגוריות כשהתכונה 'מרחב שמות היררכי' מופעלת.

  • אתם יכולים לראות את כל הקטגוריות שבהן מופעל מרחב שמות היררכי, בלי קשר לפריסת האחסון שלהן. פריסת האחסון של קטגוריה מתארת איך האובייקטים מסודרים בתוך הקטגוריה, במרחב שמות שטוח או במרחב שמות היררכי. הוראות לצפייה בפריסת האחסון של קטגוריה מופיעות במאמר קבלת פריסת האחסון של קטגוריה. כדי לראות רשימה של כל הקטגוריות, פועלים לפי ההוראות שמפורטות במאמר בנושא רשימת קטגוריות.

  • אפשר למחוק קטגוריות עם מרחב שמות היררכי מופעל, כל עוד הקטגוריה ריקה. קטגוריות ריקות לא מכילות אובייקטים או תיקיות מנוהלות. קטגוריות ריקות יכולות להכיל תיקיות ריקות (ללא אובייקטים בתוכן).

אינטראקציות עם פעולות של ניהול מחזור חיים של אובייקטים

ניהול מחזור חיים של אובייקטים מאפשר לכם להגדיר פעולות אוטומטיות על אובייקטים על סמך תנאים, כמו גיל או קידומת. עם זאת, כללי ניהול מחזור החיים של אובייקטים יכולים להתנהג בצורה שונה בקטגוריות עם מרחב שמות היררכי ובקטגוריות עם מרחב שמות שטוח, בגלל הפעולה RenameFolder:

  • כללי ניהול מחזור חיים של אובייקטים בקטגוריות עם מרחב שמות שטוח: כדי לשנות שם של אובייקט, צריך להעתיק אותו למיקום היעד ולמחוק את האובייקט המקורי ממיקום המקור. כתוצאה מכך, נוצרים אובייקטים חדשים עם זמני יצירה חדשים במיקום היעד. אם כללים לניהול מחזור חיים של אובייקטים לפי גיל חלים על מיקום היעד, הם לא יחולו על האובייקטים החדשים באופן מיידי כי שעת היצירה שלהם מתאפסת.

  • כללים לניהול מחזור חיים של אובייקטים בקטגוריות שבהן מופעל מרחב שמות היררכי: שינוי שם של תיקייה מתבצע ברמת התיקייה, בלי לשנות את השם של כל אובייקט בנפרד. כתוצאה מכך, זמן היצירה של האובייקטים נשמר, כלומר כללי ניהול מחזור חיים של אובייקטים שמבוססים על גיל חלים על אובייקטים ששמם שונה באופן מיידי אם הם עומדים בקריטריונים של הגיל.

בקרת גישה לתיקיות עם תיקיות מנוהלות משויכות

ב-Cloud Storage, תיקייה היא הספרייה בפועל שבה מאוחסנים הנתונים, ואילו תיקייה מנוהלת היא משאב נפרד וייעודי שמשמש להחלת הרשאות IAM על הספרייה. כדי לשלוט בגישה לתיקייה ולמשאבים שבה, יוצרים תיקייה מנוהלת משויכת ומגדירים כללי מדיניות ב-IAM בתיקייה המנוהלת המשויכת. תיקייה מנוהלת משויכת היא תיקייה מנוהלת שיש לה את אותו שם ונתיב כמו לתיקייה בפועל.

התיקייה המנוהלת המשויכת פועלת כשכבת ניהול מעל הספרייה שנוצרה על ידי התיקייה, כלומר יש קשר הדוק בין התיקייה לבין התיקייה המנוהלת שמשויכת אליה. לדוגמה, אם מוחקים תיקייה שיש לה תיקייה מנוהלת משויכת, גם התיקייה המנוהלת המשויכת נמחקת יחד עם מדיניות ה-IAM שלה. פרטים על ההשפעה של פעולות בתיקיות על תיקיות מנוהלות משויכות זמינים במאמר אינטראקציות בין תיקיות לבין תיקיות מנוהלות משויכות.

מתן שמות לתיקיות עם תיקיות מנוהלות משויכות

כשיוצרים תיקיות עם תיקיות מנוהלות משויכות, חלים גם כללים למתן שמות לתיקיות וגם כללים למתן שמות לתיקיות מנוהלות. אפשר להוסיף עד 50 רמות היררכיה של שמות תיקיות, אבל אפשר להוסיף עד 15 רמות היררכיה של שמות תיקיות מנוהלות. הגודל המקסימלי של שם תיקייה מנוהלת הוא 512 בייטים בקידוד UTF-8. כלומר, אם אתם מתכננים ליצור תיקייה ותיקייה מנוהלת משויכת, התיקייה יכולה להכיל רק 15 תיקיות צאצא מוערמות, והגודל המקסימלי של השם שלה הוא 512 בייטים בקידוד UTF-8.

תמחור

למידע על מחירים, אפשר לעיין במחירון של Cloud Storage.

מגבלות

אלה המגבלות של מרחב שמות היררכי:

  • כשיוצרים את הקטגוריה, צריך לבחור אם להשתמש במרחב שמות היררכי. אי אפשר לשנות את ההגדרה הזו אחרי שיוצרים את הקטגוריה.

  • כדי להפעיל מרחב שמות היררכי, צריך להפעיל בקטגוריה גם גישה אחידה ברמת הקטגוריה.

  • בדליים שמופעל בהם מרחב שמות היררכי, הגודל המקסימלי של שם אובייקט הוא 1,024 בייטים בקידוד UTF-8, כאשר לכל אחד מהקטעים של שם התיקייה והשם הבסיסי יש מגבלה של 512 בייטים בקידוד UTF-8. בקטגוריות עם מרחב שמות שטוח, שמות האובייקטים לא מכילים פלחים של שמות תיקיות, והמגבלה היא 1,024 בייטים בקידוד UTF-8. מידע נוסף על מגבלות שקשורות לשמות של אובייקטים זמין במאמר מידע על אובייקטים.

  • אפשר להציב תיקיות בתוך תיקיות עד 50 רמות עומק (או 15 רמות עומק אם התיקייה משויכת לתיקייה מנוהלת).

  • היכולות הבאות של Cloud Storage לא נתמכות בקטגוריות שמשתמשות במרחב שמות היררכי:

    • נעילת קטגוריות
    • העברת קטגוריות
    • שכפול בין מאגרי מידע
    • החזקות אובייקטים
    • רשימות של בקרת גישה (ACL) ברמת האובייקט
    • נעילת שמירת אובייקטים
    • ניהול גרסאות של אובייקטים

המאמרים הבאים