העברה של קטגוריות

במאמרי עזרה הזה מוסבר איך העברה של קטגוריות של Cloud Storage עוזרת להעביר קטגוריות של Cloud Storage בין מיקומים גיאוגרפיים בלי שרת (serverless). באמצעות העברה של קטגוריה, אתם יכולים להעביר קטגוריה קיימת ממיקום אחד למיקום אחר בלי לשנות את השם של הקטגוריה או להעביר את הנתונים בתוך הקטגוריה באופן ידני.

לפני שמתחילים בתהליך ההעברה, חשוב לתכנן את העברת המאגר כדי לצמצם את ההפרעות. הוראות להעברת קטגוריות מפורטות במאמר העברת קטגוריות.

יתרונות

היתרונות של העברת דליים הם:

• העברה פשוטה: אפשר להעביר קטגוריות עם תקורה תפעולית מינימלית. לא נדרש תסריט מורכב או תהליך רב-שלבי.

• פעולה רציפה: האפליקציות שלכם נשארות נגישות לאורך תהליך ההעברה, ללא זמן השבתה לפעולות קריאה ועם זמן השבתה מינימלי לפעולות כתיבה.

• שיפור הביצועים: מיקום משותף של משאבי Compute Engine ו-Cloud Storage באותו אזור יכול לצמצם את זמן האחזור ולשפר את הביצועים.

• שמירה על המטא-נתונים: תהליך ההעברה של הקטגוריה שומר על המטא-נתונים של האובייקט. שמירת המטא-נתונים של האובייקט שומרת על תאימות לאפליקציות ולתהליכי עבודה קיימים אחרי העברת הקטגוריה.

• הגדרות של סוגי אחסון: אתם יכולים לשמור על ההגדרות הקיימות של סוגי אחסון ב-Cloud Storage, כולל סיווג אוטומטי. שמירה על סוג האחסון עוזרת לשמור על מבנה העלויות עקבי אחרי ההעברה.

תרחישים לדוגמה

אלה תרחישי שימוש שאפשר להשיג באמצעות העברה של דליים:

• הפחתת עלויות העברת נתונים: כדי להימנע מעלויות העברת נתונים, כדאי להעביר את הקטגוריה למיקום שקרוב יותר לעומסי העבודה שנדרשת להם גישה לנתונים בקטגוריה. לדוגמה, אם הנתונים שלכם מאוחסנים בארצות הברית והגישה אליהם היא בעיקר מאירופה, אתם יכולים להעביר את ה-bucket למיקום באירופה כדי להפחית את עלויות העברת הנתונים.

• שיפור הביצועים: שיפור המהירות והתגובה של האפליקציה על ידי העברת הנתונים קרוב יותר לעומסי העבודה של Compute Engine. לדוגמה, אם האפליקציה שלכם פועלת ב-us-central1 אבל הנתונים נמצאים ב-asia-east1, אתם יכולים להעביר את הדלי ל-us-central1 כדי לצמצם את זמן האחזור.

• שיפור העמידות: הגנה על הנתונים הקריטיים מפני הפסקות חשמל אזוריות. לדוגמה, אם הנתונים מאוחסנים באזור אחד, אפשר להעביר אותם לשני אזורים או למספר אזורים כדי לשפר את הזמינות ולשחזר אותם במקרה של אסון.

סוגי העברות

יש שני סוגים של העברות של מאגרי מידע:

• העברת קטגוריה עם השבתת כתיבה: בהעברת קטגוריה עם השבתת כתיבה, יש תקופה שבה אי אפשר לבצע פעולות כתיבה של אובייקטים במהלך תהליך העברת הקטגוריה.

• העברת קטגוריה ללא השבתה של פעולות כתיבה: בהעברת קטגוריה ללא השבתה של פעולות כתיבה, אפשר להמשיך לבצע פעולות כתיבה של אובייקטים ללא הפרעה בזמן שהעברת הקטגוריה מתבצעת ברקע.

מיקומי המקור והיעד של הקטגוריה קובעים אם העברת קטגוריה כוללת זמן השבתה של כתיבה. בטבלה הבאה מוצגות השפעות המיקום של קטגוריה על זמן ההשבתה של פעולות כתיבה במהלך העברה, כולל ההבדלים בין העברות עם זמן השבתה לבין העברות ללא זמן השבתה.

מפרט	העברה של קטגוריה עם זמן השבתה של פעולות כתיבה	העברה של מאגרים בלי השבתה של הרשאות כתיבה
מיקום הקטגוריה	העברה של קטגוריה בין המיקומים הבאים גורמת להשבתה: אזורים בשני אזורים במספר אזורים מספר אזורים וצמד מוגדר מראש של שני אזורים מספר אזורים ושני אזורים שאפשר להגדיר אם לשני המיקומים יש קודים שונים של מספר אזורים	אם מעבירים קטגוריה בין שני מיקומים שחולקים את אותו קוד של אזור רב-אזורי, לא תהיה השבתה אם המיקומים הם: צמד אזורים שניתן להגדרה במספר אזורים ובשני אזורים שאפשר להגדיר
כתיבת זמינות	אי אפשר לבצע פעולות כתיבה במהלך שלב הסנכרון הסופי.	פעולות הכתיבה ימשיכו לפעול כרגיל במהלך ההעברה. הערה: העברות ללא השבתה של פעולות כתיבה נמשכות לפחות שבעה ימים, בלי קשר לגודל הקטגוריה או למספר האובייקטים. משך הזמן המינימלי הזה נדרש כדי לאפשר להעלאות שניתן להמשיך אותן במהלך הטיסה להסתיים. ההתקדמות בהעברה לא לינארית ואי אפשר לחזות אותה, ולכן לא מומלץ להשתמש בהתקדמות מוקדמת בהעברה כדי להעריך את משך הזמן הכולל להעברות גדולות יותר.
מעורבות המשתמשים	צריך להפעיל את השלב האחרון של השבתת הכתיבה.	לא נדרש שלב סיום מפורש.
השפעה על הביצועים	במהלך שלב הסנכרון הסופי, אי אפשר לכתוב או לעדכן אובייקטים בדלי.	‫Object זמן האחזור של קריאה וכתיבה עשוי להתארך במהלך ההעברה.
ביטול העברה של קטגוריה	מהיר יותר מהעברות בלי השבתה של הרשאות כתיבה.	הביטול לא מתבצע באופן מיידי, ויכול להיות שייקח יותר זמן בגלל הצורך למלא מחדש אובייקטים.
תמיכה בתכונות	הוא מספק תמיכה בפחות תכונות מאשר העברות ללא זמן השבתה לכתיבה. מידע נוסף על התכונות שלא נתמכות זמין במאמר תכונות שלא נתמכות.	יש מגבלות על תכונות כמו העלאות מרובות חלקים, מדיניות שמירת נתונים, Firebase ו-appspot. מידע נוסף על ההגבלות האלה זמין במאמר בנושא דרישות התאימות וההגבלות של מאגרי נתונים.
משך הזמן המינימלי למעבר	ללא	שבעה ימים. המינימום הזה חל ללא קשר לגודל הכולל של הקטגוריה או למספר האובייקטים שהיא מכילה.

הסבר על תהליך ההעברה של דלי

העברה של קטגוריות מאפשרת להעביר נתונים מקטגוריית מקור לקטגוריית יעד. קטגוריית המקור מכילה את הנתונים שרוצים להעביר, וקטגוריית היעד היא המקום שאליו רוצים להעביר את הנתונים.

בתרשים הבא מוצג תהליך ההעברה של קטגוריות:

^* סנכרון סופי נדרש רק להעברות עם זמן השבתה לכתיבה.

בטבלה הבאה מפורטים שלושת השלבים העיקריים ותיאור של כל שלב:

שלב	תיאור
מבצעים הרצת בדיקה (אופציונלי)	הסימולציה מדמה את תהליך ההעברה של הדלי כדי לזהות בעיות פוטנציאליות לפני שמתחילים בהעברת הנתונים בפועל.
התחלת שלב ההעברה	העתקת נתונים מקטגוריית המקור לקטגוריית היעד. המטא-נתונים של הקטגוריה נעולים לכתיבה כדי למנוע שינויים בקטגוריה שיכולים להשפיע על תהליך ההעברה. אבל אתם יכולים לכתוב, לשנות ולמחוק אובייקטים בקטגוריה. הגורמים שמשפיעים על משך הזמן הם: התדירות של עדכונים, מחיקות או הוספות של אובייקטים בקטגוריה משפיעה ישירות על משך ההעתקה. שיעור שינוי גבוה יותר דורש יותר זמן. יש קצב מקסימלי של תנועת אובייקטים `Rm, objects/second`. עם `N` אובייקטים בסך הכול וקצב עדכון של `R objects/second`, אפשר להעריך את משך שלב ההעתקה כ-`N / (Rm - R)` שניות. העברה של דליים גדולים דורשת יותר זמן בגלל רוחב פס מוגבל. הגודל של כל אובייקט משפיע על זמן ההעתקה. העברה של אובייקטים שגדולים מ-10GB אורכת זמן רב יותר מהעברה של אובייקטים שקטנים מ-10GB, בגלל מגבלות רוחב הפס. לדוגמה, העתקה של אובייקט בנפח 1 TB נמשכת יום אחד.
מתחילים את שלב הסנכרון הסופי (נדרש רק במעברים עם זמן השבתה של כתיבה)	אחרי שתתחילו את הסנכרון הסופי, הגישה ל-bucket תהיה מוגבלת לכתיבה בלבד. כתוצאה מכך, אי אפשר לכתוב או לעדכן אובייקטים בקטגוריה במהלך הזמן הזה, וכך נמנעת חוסר עקביות בנתונים. עם זאת, אפשר להמשיך לקרוא מהמאגר. אחרי שכל הנתונים יועברו ויאומתו, והבאקט יפעל במיקום החדש, נעילת הכתיבה תוסר אוטומטית. אחרי זה תוכלו להמשיך לכתוב ולעדכן אובייקטים בקטגוריה.

מגבלות

כדי להעביר את הקטגוריה, צריך לוודא שההגדרות שלה תומכות בהעברה של קטגוריות. לשם כך, מעיינים ברשימה של התכונות שלא נתמכות ובדרישות התאימות.

אי אפשר להעביר קטגוריות אם קטגוריות המקור והיעד נמצאות במיקומים הבאים:

סוג מיקום	מיקומים לא נתמכים
אזורים	ME-CENTRAL1 ME-WEST1

תמחור

פרטים על התמחור שקשור להעברת קטגוריות זמינים במאמר תמחור של Cloud Storage.

המאמרים הבאים

• איך מתכננים העברה של קטגוריה
• איך מעבירים קטגוריות