סקירה כללית של Cloud Storage

בדף הזה מוסבר איך Cloud Storage פועל ומהם תרחישי השימוש שהוא תומך בהם.

איך Cloud Storage פועל

‫Cloud Storage הוא שירות אחסון מנוהל וניתן להרחבה שמוצע על ידיCloud de Confiance by S3NS . השירות מאפשר לכם לאחסן נתונים כאובייקטים בקונטיינרים שנקראים קטגוריות.

כל הקטגוריות משויכות לפרויקט, ואפשר לקבץ את הפרויקטים בארגון. אחרי שיוצרים פרויקט, אפשר ליצור קטגוריות, להעלות אובייקטים לקטגוריות ולהוריד אובייקטים מהקטגוריות. אפשר גם להעניק הרשאות כדי שהנתונים יהיו נגישים לחשבונות משתמשים ספציפיים, או נגישים לכל אחד באינטרנט הציבורי. היכולות של ספריות מאפשרות לכם להשתמש ב-Cloud Storage באופן דומה יותר לשימוש בכונן קשיח או ב-Network Attached Storage‏ (NAS): תיקיות מאפשרות לכם לארגן אובייקטים במבנה של ספריות, ותיקיות מנוהלות מאפשרות לכם לפשט את בקרת הגישה לאובייקטים.

כל פרויקט, קטגוריה, אובייקט, תיקייה ותיקייה מנוהלת הם משאב ב-Cloud de Confiance by S3NS, כמו גם מכונות של Compute Engine.

היררכיה Cloud de Confiance by S3NS

כך המבנה של Cloud Storage יכול לחול על מקרה בעולם האמיתי:

  • ארגון: החברה, שנקראת Example Inc.‎, יוצרת ארגון ב- Cloud de Confiance by S3NSבשם exampleinc.org.

  • פרויקט: .Example Inc בונה מספר אפליקציות, וכל אחת מהן משויכת לפרויקט. לכל פרויקט יש קבוצה משלו של ממשקי API של Cloud Storage וגם משאבים אחרים.

  • קטגוריה: כל פרויקט יכול להכיל כמה קטגוריות, שהן קונטיינרים לאחסון האובייקטים. לדוגמה, אפשר ליצור קטגוריה של photos לכל קובצי התמונות שהאפליקציה יוצרת וקטגוריה נפרדת של videos. ב-Cloud Storage יש סוגי אחסון (storage classes) שונים ומיקומים שונים לקטגוריות, כך שאתם יכולים לבחור את העמידות והזמינות של הנתונים בהתאם לצרכים של עומסי העבודה שלכם.

    קטגוריות משמשות כבסיס נתונים ראשי במערכת האקולוגית הרחבה יותר של Cloud de Confiance by S3NS Google. אתם יכולים לחבר את הקטגוריות שלכם כבקאנד לאחסון בשירותים אחרים שלCloud de Confiance by S3NS , כמו AI Hypercomputer,‏ Vertex AI ו-Google Kubernetes Engine.

  • אובייקט: קטגוריות מכילות אובייקטים, כמו תמונה בשם puppy.png. אובייקט הוא חלק של נתונים שלא ניתן לשינוי, שמורכב מקובץ בכל סוג של פורמט. כל קטגוריה יכולה להכיל מספר בלתי מוגבל של אובייקטים בודדים.

  • תיקייה: קטגוריות שמופעל בהן מרחב שמות היררכי יכולות להכיל תיקיות. תיקיות מאפשרות מערכת קבצים אמיתית לאחסון אובייקטים, בניגוד למערכת קבצים מדומה. אתם יכולים לשנות את השם של תיקייה ושל כל האובייקטים בתוכה בפעולה אחת.

  • תיקייה מנוהלת: כל קטגוריה יכולה להכיל גם תיקיות מנוהלות, שמעניקות או מבטלות גישה נוספת מעבר להרשאות IAM שהוגדרו בקטגוריה. בתיקיות מנוהלות לא נעשה שימוש במבנה של עץ ספריות אמיתי, אלא בכיסוי משאבים שמשמש רק לבדיקת הרשאות.

שמות המשאבים

לכל משאב יש שם ייחודי שמזהה אותו, בדומה לשם קובץ. לקטגוריות יש שם משאב בצורת projects/_/buckets/BUCKET_NAME, כאשר BUCKET_NAME הוא מזהה הקטגוריה. לאובייקטים יש שם משאב בצורת projects/_/buckets/BUCKET_NAME/objects/OBJECT_NAME, כאשר OBJECT_NAME הוא מזהה האובייקט.

הסיומת #NUMBER המצורפת לסוף שם המשאב מציינת יצירה ספציפית של האובייקט. ‫#0 הוא מזהה מיוחד של הגרסה העדכנית של האובייקט. כדאי להוסיף את #0 כששם האובייקט מסתיים במחרוזת שאפשר לפרש כמספר גנרציה.

כלים ל-Cloud Storage

אפשר להשתמש בכלים הבאים כדי ליצור אינטראקציה עם Cloud Storage:

  • Cloud de Confiance המסוף: המסוף Cloud de Confiance מספק ממשק חזותי לניהול הנתונים בדפדפן.

  • ‫Google Cloud CLI: ‏ ה-CLI של gcloud מאפשר אינטראקציה עם Cloud Storage דרך טרמינל באמצעות פקודות של gcloud storage.

  • ספריות לקוח: ספריות הלקוח של Cloud Storage מאפשרות לנהל את הנתונים באחת מהשפות המועדפות עליכם, כולל C++‎,‏ C#‎,‏ Go,‏ Java,‏ Node.js,‏ PHP,‏ Python ו-Ruby.

  • ‫REST APIs: ניהול הנתונים באמצעות API בפורמט JSON או API בפורמט XML.

  • ‫Terraform: ‏ Terraform הוא כלי של תשתית כקוד (IaC), שבעזרתו אפשר להקצות את התשתית ל-Cloud Storage. מידע נוסף זמין במאמר הקצאת משאבים באמצעות Cloud Storage.

  • ‫Cloud Storage FUSE: Cloud Storage FUSE מאפשר לטעון קטגוריות של Cloud Storage למערכת הקבצים המקומית. כך האפליקציות יכולות לקרוא מקטגוריה או לכתוב לקטגוריה באמצעות סמנטיקה סטנדרטית של מערכת קבצים.

  • ספריית Python‏ GCSFS: ‏ GCSFS היא ספריית Python שמספקת ממשק של מערכת קבצים ב-Python ל-Cloud Storage.

תרחישי שימוש ותכונות עיקריות

‫Cloud Storage מספק אחסון אובייקטים עמיד וזמין בכל העולם, שאפשר להתאים למגוון רחב של עומסי עבודה (workloads) ארגוניים, החל מאימון של בינה מלאכותית (AI) ולמידת מכונה (ML) עם ביצועים גבוהים ועד לארכוב לצורכי רגולציה.

אחסון נתונים וגישה לנתונים לצורך AI/ML וניתוח נתונים

האצת צינורות עיבוד הנתונים של AI/ML ותובנות אנליטיות באמצעות גישה לנתונים עם תפוקה גבוהה וחביון נמוך, שנועדה לעיבוד נתונים בקנה מידה גדול.

יכולת יכולת, מוצר או תכונה
Cloud Storage FUSE הכלי מאפשר לטעון קטגוריות למערכת הקבצים המקומית, כך שהאפליקציות יכולות לקרוא מקטגוריה או לכתוב לקטגוריה באמצעות סמנטיקה סטנדרטית של מערכת קבצים.

לפרטים נוספים על אופטימיזציה של הביצועים, אפשר לעיין במאמר אופטימיזציה של האחסון ל-AI/ML ולניתוח נתונים.

אבטחת הנתונים ועמידה בדרישות

הגנה על הנכסים ועמידה בתקנים רגולטוריים גלובליים באמצעות הצפנה מובנית, אמצעי בקרה לגישה ומדיניות שמירת נתונים שלא ניתן לשנות.

שכבת אבטחה יכולת, מוצר או תכונה
בקרת גישה אכיפת גישה עם הרשאות מינימליות והגבלת התנועה לרשתות מהימנות. המוצרים והתכונות כוללים:
  • ניהול זהויות והרשאות גישה (IAM): הענקת הרשאה למשתמשים, לקבוצות או לחשבונות שירות ספציפיים לבצע פעולות במשאבי Cloud Storage באמצעות אמצעי בקרה לגישה מבוססת-תפקידים.
  • גישה אחידה ברמת הקטגוריה: השבתה של רשימות בקרת גישה (ACL) ברמת האובייקט ושימוש בלעדי במדיניות IAM ברמת הקטגוריה, כדי לאחד את בקרת הגישה למשאבי Cloud Storage.
הצפנת נתונים הצפנה של נתונים במנוחה ובתנועה. המוצרים והתכונות כוללים:
  • מפתחות בניהולS3NS: כברירת מחדל, הנתונים שלכם ב-Cloud Storage מוצפנים אוטומטית באחסון באמצעות מפתחות בצד השרת שנמצאים בבעלותS3NSומתוחזקים על ידה. S3NS
  • ‫CMEK‏ (Cloud KMS): שליטה בלוחות הזמנים של הרוטציה, בהרשאות הגישה ובמחזורי החיים של מפתחות ההצפנה כדי להגן על משאבי Cloud Storage.
  • ‫CSEK: כדי להגן על הנתונים ב-Cloud Storage במצב מנוחה, אתם יכולים לספק מפתחות הצפנה משלכם עם כל בקשת API בנפרד, במקום S3NS לאחסן או לשחזר את חומרי המפתח.
שמירה ואי-שינוי של נתונים מונעים מחיקה מקרית ועוזרים לעמוד בדרישות התאימות לנתונים. המוצרים והתכונות כוללים:
  • נעילת קטגוריה: פיקוח על משך הזמן שאובייקטים בקטגוריות יישמרו באמצעות ציון של מדיניות שמירת נתונים לקטגוריה כדי לאכוף כללי שמירת נתונים לצורך רגולציה ותאימות.
  • שמירת אובייקטים: אפשר לשלוט במשך החיים של אובייקטים ספציפיים על ידי החלת תאריך ושעה של שמירה עד, שלא ניתן לשנות, על אובייקטים ספציפיים. כך מונעים את המחיקה או ההחלפה שלהם עד שתוקף השמירה יפוג.
  • ניהול גרסאות של אובייקטים: שמירה של עותקים היסטוריים של הנתונים על ידי העברה אוטומטית לארכיון של אובייקטים פעילים שנמחקו או שנכתבו עליהם כגרסאות לא עדכניות, כדי שתוכלו לשחזר מצבים קודמים של אובייקטים בכל שלב.

גיבוי, תוכנית התאוששות מאסון (DR) ושמירה על המשכיות עסקית

הגנה על העסק מפני אובדן נתונים, אירועי אסון והפסקות חשמל אזוריות באמצעות זמינות במספר אזורים ורפליקציה מהירה בין אזורים.

יכולת, מוצר או תכונה תיאור
שני אזורים ומספר אזורים שכפול אוטומטי של נתונים באזורים מרוחקים גיאוגרפית Cloud de Confiance by S3NS לזמינות של 99.99%.
רפליקציה בקצב טורבו רפליקציה של 100% מהאובייקטים החדשים שנכתבו בין זוגות בשני אזורים תוך 15 דקות.

אופטימיזציה של עלויות וניהול מחזור החיים של הנתונים

כדי לצמצם את ההוצאות על אחסון לאורך מחזור החיים של הנתונים, כדאי להתאים את תדירות הגישה לרמות אחסון חסכוניות.

סוג אחסון, מוצר או תכונה תיאור
סוגי אחסון (storage classes) בוחרים בין Standard storage,‏ Nearline storage,‏ Coldline storage,‏ Archive storage ו-Rapid storage בהתאם לתדירות הגישה לנתונים.
סיווג אוטומטי העברה אוטומטית של אובייקטים בין סוגי אחסון (storage classes) על סמך דפוסי הגישה לאובייקטים.
ניהול מחזור החיים של אובייקטים מחיקה או מעבר של אובייקטים באמצעות כללי מדיניות מותאמים אישית.

הפצת תוכן והצגת תוכן באינטרנט

הפצה של נכסים דיגיטליים, הורדות וקובצי מדיה ברחבי העולם עם זמן אחזור נמוך וזמינות גבוהה.

יכולת, מוצר או תכונה תיאור
‫Cloud CDN ו-Cloud Load Balancing שמירה במטמון של נכסים סטטיים במיקומי קצה גלובליים של S3NS, כדי לספק זמן טעינה קצר במיוחד למסירת נתונים באינטרנט.
כתובות URL חתומות לתת גישת קריאה או כתיבה לזמן מוגבל לאובייקטים פרטיים בלי לדרוש אישורים. S3NS
אירוח אתרים סטטיים הצגת נכסי מדיה, JavaScript,‏ CSS ו-HTML סטטיים ישירות ממאגר ציבורי.

העברת נתונים והעברה מבוססת-אירועים

לייעל את ההעברה של נתונים חיצוניים אל Cloud de Confiance by S3NS ולהפעיל תהליכי עבודה אוטומטיים לעיבוד כשמעלים אובייקט.

שילוב תיאור
Storage Transfer Service העברה מנוהלת של נתונים אונליין בקנה מידה גדול מ-Amazon S3, מ-Microsoft Azure Blob Storage, ממקורות HTTP או מאחסון מקומי.
‫Transfer Appliance מכשירי חומרה מחוזקים ששולחים עד מאות פטה-בייט של נתונים ממקורות אופליין אל Cloud de Confiance by S3NS.
‫Eventarc ו-Pub/Sub שליחת התראות על אירועים בזמן אמת כשנוצר אובייקט, כשנמחק אובייקט או כשמתבצעים עדכונים במטא-נתונים, כדי להפעיל שירותים של Cloud Functions או Cloud Run.

מדריכים למתחילים

כדי להכיר את יסודות השימוש ב-Cloud Storage, אפשר להיעזר במדריכים הבאים:

מחפשים מוצרים אחרים?

אם Cloud Storage הוא לא פתרון האחסון שמתאים לכם, אתם יכולים לקרוא מידע נוסף על שירותי האחסון הבאים:

  • ‫Google Cloud Managed Lustre: אחסון הנתונים במערכת קבצים מקבילה בניהול מלא, עם ביצועים גבוהים ואופטימיזציה לעומסי עבודה של AI ו-HPC.

  • שירותי אחסון נוספים שמוצעים על ידי S3NS

המאמרים הבאים