סקירה כללית של Cloud Storage

בעזרת Cloud Storage אתם יכולים לאחסן, לנהל ולאחזר נתונים לא מובְנים עם עמידות גבוהה וזמינות גלובלית. אתם יכולים להשתמש ב-Cloud Storage כדי להפיץ תוכן מהאינטרנט, לאחסן מערכי נתונים לעומסי עבודה של ניתוח נתונים ולמידת מכונה, ולאחסן גיבויים בארכיון לצורך תאימות ותוכנית התאוששות מאסון (DR).

איך Cloud Storage פועל

‫Cloud Storage הוא שירות אחסון מנוהל וניתן להתאמה שלCloud de Confiance by S3NS , שמאפשר לאחסן נתונים כאובייקטים בקונטיינרים שנקראים קטגוריות.

כל הקטגוריות משויכות לפרויקט, ואפשר לקבץ את הפרויקטים בארגון. אחרי שיוצרים פרויקט, אפשר ליצור קטגוריות, להעלות אובייקטים לקטגוריות ולהוריד אובייקטים מהקטגוריות. אפשר גם להעניק הרשאות כדי שהנתונים יהיו נגישים לחשבונות משתמשים ספציפיים, או נגישים לכל אחד באינטרנט הציבורי. יכולות הספרייה מאפשרות לכם להשתמש ב-Cloud Storage באופן דומה יותר לכונן קשיח או לאחסון ברשת (NAS): תיקיות מאפשרות לכם לארגן אובייקטים במבנה של ספרייה, ותיקיות מנוהלות מאפשרות לכם לפשט את בקרת הגישה לאובייקטים.

כל פרויקט, קטגוריה, אובייקט, תיקייה ותיקייה מנוהלת הם משאב ב-Cloud de Confiance by S3NS, כמו גם מכונות של Compute Engine.

ההיררכיה של Cloud de Confiance by S3NS

כך המבנה של Cloud Storage יכול לחול על מקרה בעולם האמיתי:

  • ארגון: החברה, שנקראת Example Inc.‎, יוצרת ארגון ב- Cloud de Confiance by S3NSבשם exampleinc.org.

  • פרויקט: .Example Inc בונה מספר אפליקציות, וכל אחת מהן משויכת לפרויקט. לכל פרויקט יש קבוצה משלו של ממשקי API של Cloud Storage וגם משאבים אחרים.

  • קטגוריה: כל פרויקט יכול להכיל כמה קטגוריות, שהן קונטיינרים לאחסון האובייקטים. לדוגמה, אפשר ליצור קטגוריה של photos לכל קובצי התמונות שהאפליקציה יוצרת וקטגוריה נפרדת של videos. ב-Cloud Storage יש סוגי אחסון ומיקומים שונים לקטגוריות, שמאפשרים לכם לבחור את העמידות והזמינות של הנתונים בהתאם לצורכי עומסי העבודה שלכם.

    קטגוריות משמשות כבסיס נתונים ראשי בסביבה העסקית הרחבה יותר של Cloud de Confiance by S3NS. אתם יכולים לחבר את הקטגוריות שלכם כרכיבי קצה עורפי לאחסון בשירותים אחרים שלCloud de Confiance by S3NS , כמו AI Hypercomputer, ‏Vertex AI ו-Google Kubernetes Engine.

  • אובייקט: קטגוריות מכילות אובייקטים, כמו תמונה בשם puppy.png. אובייקט הוא חלק של נתונים שלא ניתנים לשינוי, שמורכב מקובץ בכל סוג של פורמט. כל קטגוריה יכולה להכיל מספר בלתי מוגבל של אובייקטים נפרדים.

  • תיקייה: קטגוריות שמופעל בהן מרחב שמות היררכי יכולות להכיל תיקיות. תיקיות מאפשרות מערכת קבצים אמיתית לאחסון אובייקטים, בניגוד למערכת קבצים מדומה. אתם יכולים לשנות את השם של תיקייה ושל כל האובייקטים שבתוכה בפעולה אחת.

  • תיקייה מנוהלת: כל קטגוריה יכולה להכיל גם תיקיות מנוהלות, שמעניקות או מבטלות גישה נוספת מעבר להרשאות ה-IAM שמוגדרות בקטגוריה. תיקיות מנוהלות לא משתמשות במבנה עץ ספריות אמיתי, אלא הן שכבת-על של משאבים שמשמשת רק לבדיקת הרשאות.

שמות המשאבים

לכל משאב יש שם ייחודי שמזהה אותו, בדומה לשם קובץ. לקטגוריות יש שם משאב בצורת projects/_/buckets/BUCKET_NAME, כאשר BUCKET_NAME הוא מזהה הקטגוריה. לאובייקטים יש שם משאב בצורת projects/_/buckets/BUCKET_NAME/objects/OBJECT_NAME, כאשר OBJECT_NAME הוא מזהה האובייקט.

הסיומת #NUMBER המצורפת לסוף שם המשאב מציינת יצירה ספציפית של האובייקט. ‫#0 הוא מזהה מיוחד של הגרסה העדכנית של האובייקט. כדאי להוסיף את #0 כששם האובייקט מסתיים במחרוזת שאפשר לפרש כמספר גנרציה.

כלים ל-Cloud Storage

אתם יכולים להשתמש בכלים הבאים כדי לעבוד עם Cloud Storage:

  • מסוףCloud de Confiance : מסוף Cloud de Confiance מספק ממשק חזותי לניהול הנתונים בדפדפן.

  • ‫Google Cloud CLI: ה-CLI של gcloud מאפשר אינטראקציה עם Cloud Storage דרך טרמינל באמצעות פקודות של gcloud storage.

  • ספריות לקוח: ספריות הלקוח של Cloud Storage מאפשרות לנהל את הנתונים באחת מהשפות המועדפות עליכם, כולל C++‎,‏ C#‎,‏ Go,‏ Java,‏ Node.js,‏ PHP,‏ Python ו-Ruby.

  • ‏API בארכיטקטורת REST: ניהול הנתונים באמצעות API בפורמט JSON או API בפורמט XML.

  • ‫Terraform: ‏Terraform הוא כלי של תשתית כקוד (IaC), שבעזרתו אפשר להקצות את התשתית ל-Cloud Storage. מידע נוסף זמין במאמר הקצאת משאבים באמצעות Cloud Storage.

  • ‫Cloud Storage FUSE: מאפשר לטעון קטגוריות של Cloud Storage למערכת הקבצים המקומית. כך האפליקציות יכולות לקרוא מקטגוריה או לכתוב לקטגוריה באמצעות סמנטיקה סטנדרטית של מערכת קבצים.

  • ספריית GCSFS Python: ספריית GCSFS היא ספריית Python שמספקת ממשק של מערכת קבצים פייתונית ל-Cloud Storage.

תרחישים לדוגמה ותכונות עיקריות

‫Cloud Storage מספק מאגר אובייקטים עמיד וזמין בכל העולם, שמתאים למגוון רחב של עומסי עבודה בארגון – החל מאימון של בינה מלאכותית (AI) ולמידת מכונה (ML) בביצועים גבוהים ועד לארכוב רגולטורי.

אחסון נתונים וגישה אליהם לצורך AI/ML וניתוח נתונים

אפשר להאיץ את צינורות עיבוד הנתונים של AI/ML ואת התובנות האנליטיות באמצעות גישה לנתונים עם תפוקה גבוהה וזמן אחזור קצר, שמיועדת לעיבוד בקנה מידה גדול.

יכולת יכולת, מוצר או תכונה
Cloud Storage FUSE טעינת קטגוריות למערכת הקבצים המקומית, כדי שהאפליקציות יוכלו לקרוא מקטגוריה או לכתוב לקטגוריה באמצעות סמנטיקה סטנדרטית של מערכת קבצים.

למידע נוסף על אופטימיזציה של הביצועים, קראו את המאמר אופטימיזציה של האחסון ל-AI/ML ולניתוח נתונים.

אבטחת מידע ותאימות

הצפנה מובנית, אמצעי בקרת גישה ומדיניות שמירת נתונים קבועה מאפשרים לכם להגן על הנכסים ולעמוד בתקנים רגולטוריים גלובליים.

שכבת אבטחה יכולת, מוצר או תכונה
בקרת גישה אוכפים גישה עם הרשאות מינימליות ומגבילים את התנועה לרשתות מהימנות. המוצרים והתכונות כוללים:
הצפנת נתונים הצפנת נתונים במנוחה ובזמן ההעברה. המוצרים והתכונות כוללים:
  • מפתחות בניהולS3NS: הצפנה אוטומטית של הנתונים במצב מנוחה ב-Cloud Storage, כברירת מחדל, באמצעות מפתחות בצד השרת שבבעלות S3NSומנוהלים על ידה.
  • ‫CMEK‏ (Cloud KMS): שליטה בלוחות הזמנים של הרוטציה, בהרשאות הגישה ובמחזורי החיים של מפתחות ההצפנה כדי להגן על המשאבים ב-Cloud Storage.
  • CSEK: אבטחת הנתונים במצב מנוחה ב-Cloud Storage על ידי מתן מפתחות קריפטוגרפיים משלכם בכל בקשת API, במקום S3NS לאחסן או לשחזר את חומרי המפתח.
שמירת נתונים ואי-יכולת לשנות אותם למנוע מחיקה בטעות ולעמוד בדרישות התאימות של הנתונים. המוצרים והתכונות כוללים:
  • נעילת קטגוריה: פיקוח על משך הזמן שאובייקטים בקטגוריות יישמרו באמצעות ציון של מדיניות שמירת נתונים לקטגוריה, כדי לאכוף כללים רגולטוריים וכללי תאימות לשמירת נתונים.
  • שמירת אובייקטים: ניהול משך החיים של אובייקטים ספציפיים על ידי החלת תאריך ושעה בלתי ניתנים לשינוי לשמירה עד, כדי למנוע את המחיקה או ההחלפה שלהם עד שתוקף משך הזמן הזה יפוג.
  • ניהול גרסאות של אובייקטים: שמירת עותקים היסטוריים של הנתונים על ידי העברה אוטומטית לארכיון של אובייקטים פעילים שנמחקו או שוכתבו כגרסאות לא עדכניות, כדי שתוכלו לשחזר מצבים קודמים של אובייקטים בכל שלב.

גיבוי, תוכנית התאוששות מאסון (DR) והמשכיות עסקית

הגנה על העסק מפני אובדן נתונים, אירועי אסון והפסקות חשמל אזוריות, באמצעות זמינות במספר אזורים ורפליקציה מהירה בין אזורים.

יכולת, מוצר או תכונה תיאור
שני אזורים ומספר אזורים שכפול אוטומטי של נתונים באזורים Cloud de Confiance by S3NS שונים מבחינה גיאוגרפית, לזמינות של 99.99%.
רפליקציה בקצב טורבו רפליקציה של 100% מהאובייקטים החדשים שנכתבו בין זוגות של שני אזורים תוך 15 דקות.

אופטימיזציה של עלויות וניהול מחזור החיים של נתונים

להפחית את הוצאות האחסון לאורך מחזור החיים של הנתונים, על ידי התאמה של תדירות הגישה לרמות אחסון משתלמות.

סוג האחסון, המוצר או התכונה תיאור
סוגי אחסון (storage classes) אתם יכולים לבחור בין Standard Storage,‏ Nearline Storage,‏ Coldline Storage,‏ Archive Storage ו-Rapid Storage, בהתאם לתדירות הגישה לנתונים.
סיווג אוטומטי העברה אוטומטית של אובייקטים בין סוגי אחסון (storage classes) על סמך דפוסי הגישה לאובייקטים.
ניהול מחזור חיים של אובייקטים למחוק או להעביר אובייקטים באמצעות כללי מדיניות מותאמים אישית שמבוססים על כללים.

הפצת תוכן ומענה לבקשות תוכן באינטרנט

הפצה של נכסים דיגיטליים, הורדות וקובצי מדיה ברחבי העולם, עם זמן אחזור נמוך וזמינות גבוהה.

יכולת, מוצר או תכונה תיאור
‫Cloud CDN ו-Cloud Load Balancing שמירת נכסים סטטיים במטמון במיקומי קצה גלובליים של S3NS, כדי להעביר נתונים באינטרנט בזמן טעינה קצר במיוחד.
כתובות URL חתומות לתת גישת קריאה או כתיבה לזמן מוגבל לאובייקטים פרטיים בלי לדרוש פרטי כניסה ל- S3NS .
אירוח אתרים סטטיים אפשר להציג נכסי מדיה, HTML,‏ CSS ו-JavaScript סטטיים ישירות מקטגוריה ציבורית.

העברת נתונים והטמעה מבוססת-אירועים

אפשר לייעל את העברת הנתונים החיצוניים אל Cloud de Confiance by S3NS ולהפעיל תהליכי עבודה אוטומטיים של עיבוד כשמעלים אובייקטים.

שילוב תיאור
Storage Transfer Service העברה מנוהלת בקנה מידה גדול של נתונים אונליין מ-Amazon S3, מ-Microsoft Azure Blob Storage, ממקורות HTTP או מאחסון מקומי.
Transfer Appliance מכשירים פיזיים מוקשחים שמעבירים עד מאות פטה-בייט של נתונים ממקורות אופליין אל Cloud de Confiance by S3NS.
‫Eventarc ו-Pub/Sub שליחת התראות בזמן אמת על אירועים של יצירה, מחיקה או עדכון של מטא-נתונים של אובייקטים, כדי להפעיל פונקציות או שירותים של Cloud Run.

ניתוח וניהול של אחסון הנתונים

קבלת תובנות על הנתונים שמאוחסנים בסביבת Cloud Storage וניהול שלהם בקנה מידה נרחב.

יכולת, מוצר או תכונה תיאור
Storage Intelligence קבלת תובנות על סביבת האחסון כדי לעזור לכם לשפר את העלויות ולאכוף את כללי המדיניות של משילות מידע (data governance).
יועץ ב-Storage Intelligence מעקב אחרי הנתונים שמאוחסנים וקבלת ממצאים פרקטיים שיעזרו לכם לייעל את העלויות, לשפר את הביצועים ולחזק את האבטחה.
העשרת אובייקטים (גרסת טרום-השקה (Preview)) ליצור מטא-נתונים מובְנים לתמונות ולמסמכי PDF לא מובְנים באמצעות מודלים של למידת מכונה.
מערכי נתונים של Storage Insights להריץ שאילתות ולנתח אינדקסים של המטא-נתונים של הקטגוריות והאובייקטים ב-BigQuery.
פעולות רבות על פריטי אחסון לבצע פעולות בכמות גדולה, כמו מחיקת אובייקטים, עדכון מטא-נתונים או החלת כללי מדיניות שמירה על מיליוני או מיליארדי אובייקטים.
העברת קטגוריות למיקום גיאוגרפי אחר העברת קטגוריה קיימת והנתונים שלה למיקום חדש, תוך שמירה על שם הקטגוריה והמטא-נתונים של האובייקטים, עם זמן השבתה מינימלי.

מדריכים למתחילים

כדי להכיר את יסודות השימוש ב-Cloud Storage, אפשר להיעזר במדריכים הבאים:

מחפשים מוצרים אחרים?

אם Cloud Storage הוא לא פתרון האחסון שמתאים לכם, אתם יכולים לקרוא מידע נוסף על שירותי האחסון הבאים:

  • ‫Google Cloud Managed Lustre: אחסון הנתונים במערכת קבצים מקבילה, מנוהלת ובעלת ביצועים גבוהים, שמותאמת לעומסי עבודה של AI ו-HPC.

  • שירותי אחסון נוספים שמוצעים על ידי S3NS.

המאמרים הבאים