העברה מ-Teradata ל-BigQuery: מבוא

במאמר הזה נסביר למה כדאי לעבור מ-Teradata ל-BigQuery, נשווה בין התכונות של Teradata ו-BigQuery ונפרט את השלבים לתחילת המעבר ל-BigQuery.

למה כדאי לעבור מ-Teradata ל-BigQuery?

‫Teradata הייתה חלוצה בניהול ובניתוח של כמויות גדולות של נתונים. עם זאת, ככל שצורכי מחשוב הענן שלכם מתפתחים, יכול להיות שתצטרכו פתרון מודרני יותר לניתוח הנתונים.

אם השתמשתם בעבר ב-Teradata, כדאי לשקול לעבור ל-BigQuery מהסיבות הבאות:

  • להתגבר על מגבלות של פלטפורמות מדור קודם
    • הארכיטקטורה הרגילה של Teradata מתקשה לעמוד בדרישות של ניתוח נתונים מודרני, במיוחד בצורך בריבוי משימות ללא הגבלה ובביצועים גבוהים ועקביים בעומסי עבודה שונים. הארכיטקטורה ללא שרת (serverless) ב-BigQuery מיועדת לטפל בדרישות האלה במינימום מאמץ.
  • אימוץ אסטרטגיה מבוססת-ענן
    • ארגונים רבים עוברים באופן אסטרטגי מתשתית מקומית לענן. השינוי הזה מחייב מעבר מפתרונות מסורתיים שמבוססים על חומרה, כמו Teradata, לשירות מנוהל לחלוטין, שניתן להתאמה וזמין על פי דרישה, כמו BigQuery, כדי לצמצם את התקורה התפעולית.
  • שילוב עם מקורות נתונים וניתוחים מודרניים
    • נתונים ארגוניים חשובים מאוחסנים יותר ויותר במקורות מבוססי-ענן. ‫BigQuery משולב באופן מובנה בסביבה של Cloud de Confiance by S3NS , ומאפשר גישה חלקה למקורות האלה, ניתוח מתקדם, למידת מכונה ועיבוד נתונים בזמן אמת, בלי מגבלות התשתית של Teradata.
  • אופטימיזציה של העלות והמדרגיות
    • ב-Teradata, תהליכי ההתאמה לעומס (scaling) הם בדרך כלל מורכבים ויקרים. ב-BigQuery, ההתאמה האוטומטית לעומס (automatic scaling) של האחסון והמחשוב מתבצעת באופן אוטומטי ושקוף, בלי צורך בהגדרה ידנית מחדש. כך עלות הבעלות הכוללת (TCO) צפויה יותר, ולרוב גם נמוכה יותר.

השוואת תכונות

בטבלה הבאה מוצגת השוואה בין התכונות והמושגים ב-Teradata לבין התכונות המקבילות ב-BigQuery:

מושג ב-Teradata המקבילה ב-BigQuery תיאור
‫Teradata (מקומי, בענן, היברידי) ‫BigQuery (פלטפורמת נתונים מאוחדת מבוססת-AI). ל-BigQuery יש הרבה יכולות נוספות בהשוואה למחסן נתונים רגיל. ‫BigQuery הוא מחסן נתונים (data warehouse) מנוהל ומבוסס-ענן ב- Cloud de Confiance by S3NS. ‫Teradata מציעה אפשרויות מקומיות, בענן והיברידיות. ‫BigQuery הוא שירות ללא שרת (serverless) שזמין בכל העננים בתור BQ Omni.
כלי Teradata‏ (Teradata Studio, ‏ BTEQ) Cloud de Confiance , ‏BigQuery Studio, כלי שורת הפקודה של BigQuery בשניהם יש ממשקים לניהול מחסן הנתונים ולביצוע פעולות בו. ‫BigQuery Studio מבוסס-אינטרנט ומשולב עם Cloud de Confiance by S3NS , ומאפשר לכתוב ב-SQL, ב-Python וב-Apache Spark.
מסדי נתונים/סכימות מערכי נתונים ב-Teradata, מסדי נתונים וסכימות משמשים לארגון טבלאות ותצוגות, בדומה למערכי נתונים ב-BigQuery. עם זאת, יכולים להיות הבדלים באופן הניהול והשימוש בהם.
טבלה טבלה בשתי הפלטפורמות משתמשים בטבלאות כדי לאחסן נתונים בשורות ובעמודות.
הצגה הצגה התצוגות פועלות באופן דומה בשתי הפלטפורמות, ומאפשרות ליצור טבלאות וירטואליות על סמך שאילתות.
מפתח ראשי מפתח ראשי (לא נאכף ב-GoogleSQL) ב-BigQuery יש תמיכה במפתחות ראשיים לא נאכפים ב-GoogleSQL. הן נועדו בעיקר לעזור באופטימיזציה של שאילתות.
מפתח זר מפתח זר (לא נאכף ב-GoogleSQL) ‫BigQuery תומך במפתחות זרים שלא נאכפים ב-GoogleSQL. הן נועדו בעיקר לעזור באופטימיזציה של שאילתות.
אינדקס סידור באשכולות, אינדקס החיפוש, אינדקסים של וקטורים (אוטומטיים או מנוהלים) ב-Teradata אפשר ליצור אינדקסים מפורשים.

מומלץ להשתמש ביצירת אשכולות ב-BigQuery. למרות שהם לא שווי ערך לאינדקסים של מסדי נתונים, אשכולות עוזרים לאחסן את הנתונים לפי סדר בדיסק, וכך לשפר את אחזור הנתונים כשעמודות מקובצות משמשות כפרדיקטים.
‫BigQuery תומך באינדקסים של חיפוש ובאינדקסים של וקטורים.
חלוקה למחיצות חלוקה למחיצות שתי הפלטפורמות תומכות בחלוקת טבלאות למחיצות (partitioning) כדי לשפר את ביצועי השאילתות בטבלאות גדולות.

ב-BigQuery אפשר לחלק למחיצות רק לפי תאריכים ומספרים שלמים. למחרוזות, השתמשו במקום זאת באשכולות.
הקצאת משאבים (על סמך חומרה ורישוי) הזמנות (מבוססות-קיבולת), תמחור על פי דרישה (תמחור ניתוח) ב-BigQuery יש מודלים גמישים של תמחור. מקומות שמורים מספקים עלויות צפויות לעומסי עבודה עקביים וגם לעומסי עבודה אד-הוק באמצעות התאמה אוטומטית לעומס, בעוד שהתמחור על פי דרישה מתמקד בחיובים על סריקת בייטים לכל שאילתה.
‫BTEQ, ‏ SQL Assistant, כלי לקוח אחרים ‫BigQuery Studio, כלי שורת הפקודה של BigQuery, ממשקי API ב-BigQuery יש ממשקים שונים להרצת שאילתות, כולל עורך מבוסס-אינטרנט, כלי שורת הפקודה וממשקי API לגישה פרוגרמטית.
היסטוריה/רישום של שאילתות ביומן היסטוריית השאילתות, INFORMATION_SCHEMA.JOBS ב-BigQuery נשמרת היסטוריה של שאילתות שהופעלו, שמאפשרת לכם לבדוק שאילתות קודמות, לנתח את הביצועים ולפתור בעיות. ב-INFORMATION_SCHEMA.JOBS נשמרת ההיסטוריה של כל המשימות שנשלחו ב-6 החודשים האחרונים.
אמצעי אבטחה (בקרת גישה, הצפנה) אמצעי אבטחה (IAM, רשימות ACL, הצפנה) שניהם מספקים אבטחה חזקה. ב-BigQuery משתמשים ב- Cloud de Confiance by S3NS IAM לבקרת גישה ברמה מפורטת.
אמצעי בקרה ברשת (חומות אש, רשתות VPN) ‫VPC Service Controls, גישה פרטית ל-Google ‫BigQuery משתלב עם VPC Service Controls כדי להגביל את הגישה למשאבי BigQuery מרשתות ספציפיות. גישה פרטית ל-Google מאפשרת לכם לגשת ל-BigQuery בלי להשתמש בכתובות IP ציבוריות.
ניהול משתמשים ותפקידים ניהול זהויות והרשאות גישה (IAM) ב-BigQuery משתמשים ב-IAM לבקרת גישה מפורטת. אתם יכולים להעניק הרשאות ספציפיות למשתמשים ולחשבונות שירות ברמת הפרויקט, מערך הנתונים והטבלה.
הרשאות ותפקידים באובייקטים רשימות של בקרת גישה (ACL) בקבוצות נתונים ובטבלאות ב-BigQuery אפשר להגדיר רשימות ACL בקבוצות נתונים ובטבלאות כדי לשלוט בגישה ברמה פרטנית.
הצפנה במנוחה ובמעבר הצפנה במנוחה ובזמן העברה, מפתחות הצפנה בניהול הלקוח (CMEK), מפתחות שאפשר לארח במערכות EKM חיצוניות. כברירת מחדל, BigQuery מצפין את הנתונים. אתם יכולים גם לנהל את מפתחות ההצפנה שלכם כדי לקבל שליטה נוספת.
תכונות של משילות מידע (data governance) ותאימות מדיניות של משילות מידע, DLP (מניעת אובדן נתונים) ‫BigQuery תומך במדיניות של משילות מידע וב-DLP כדי לעזור לכם לאכוף את דרישות אבטחת המידע והתאימות.
כלי טעינה של Teradata (למשל FastLoad,‏ MultiLoad),‏ bteq שירות העברת הנתונים ל-BigQuery, כלי שורת הפקודה של BigQuery, ממשקי API ב-BigQuery יש שיטות שונות לטעינת נתונים. ל-Teradata יש כלי טעינה ייעודיים. ב-BigQuery, הדגש הוא על יכולת התאמה ומהירות בהטמעת נתונים.
כלי הייצוא של Teradata, ‏ bteq כלי שורת הפקודה של BigQuery, ממשקי API, ייצוא ל-Cloud Storage ב-BigQuery אפשר לייצא נתונים ליעדים שונים. ל-Teradata יש כלי ייצוא משלה. השילוב של BigQuery עם Cloud Storage הוא יתרון משמעותי.

‫BigQuery Storage Read API מספק לכל מחשוב חיצוני את היכולת לקרוא נתונים בכמות גדולה.
טבלאות חיצוניות טבלאות חיצוניות שניהם תומכים בשליחת שאילתות לנתונים באחסון חיצוני. ‫BigQuery משתלב היטב עם Cloud Storage,‏ Spanner,‏ Bigtable,‏ Cloud SQL,‏ AWS S3,‏ Azure Blob Storage ו-Google Drive.
תצוגות מהותיות תצוגות מהותיות בשניהם יש תצוגות מהותיות לביצועי שאילתות.

ב-BigQuery יש תצוגות מהותיות של כוונון חכם שתמיד מחזירות את הנתונים העדכניים, וגם מספקות כתיבה מחדש אוטומטית של שאילתות לתצוגות מהותיות, גם כשהשאילתה מתייחסת למסד נתונים טבלאי.
פונקציות בהגדרת המשתמש (UDF) פונקציות בהגדרת המשתמש (UDF) ‏(SQL, ‏JavaScript) ‫BigQuery תומך בפונקציות UDF ב-SQL וב-JavaScript.
Teradata Scheduler, כלי תזמון אחרים שאילתות מתוזמנות, Managed Service for Apache Airflow, ‏ Cloud Functions, צינורות עיבוד נתונים של BigQuery אפשר לשלב את BigQuery עם שירותי תזמון של Cloud de Confiance by S3NS ועם כלים חיצוניים אחרים לתזמון.
נקודת תצפית ניהול BigQuery למעקב, לבדיקת תקינות, לבדיקת משימות ולניהול הקיבולת. ב-BigQuery יש ארגז כלים מקיף לניהול שמבוסס על ממשק משתמש, וכולל כמה חלוניות למעקב אחרי התקינות התפעולית והשימוש במשאבים.
גיבוי ושחזור שכפול מערכי נתונים, מסע בזמן וגיבוי, תמונת מצב ושכפול של טבלאות, אחסון אזורי ובמספר אזורים, גיבוי ושחזור בין אזורים. ב-BigQuery אפשר להשתמש בתמונות מצב ובמסע בזמן כדי לשחזר נתונים. מסע בזמן הוא תכונה שמאפשרת לגשת לנתונים היסטוריים בתוך מסגרת זמן מסוימת. ב-BigQuery יש גם אפשרויות לשכפול מערכי נתונים, לאחסון אזורי ורב-אזורי, ולגיבוי ושחזור בין אזורים.
פונקציות גיאו-מרחביות פונקציות גיאו-מרחביות שתי הפלטפורמות תומכות בפונקציות ובנתונים גיאו-מרחביים.

קדימה, מתחילים

בקטעים הבאים מפורט תהליך ההעברה מ-Teradata ל-BigQuery:

הרצת הערכת העברה

כשמעבירים מ-Teradata ל-BigQuery, מומלץ להתחיל בהרצת כלי הערכת ההעברה של BigQuery כדי להעריך את ההיתכנות ואת היתרונות הפוטנציאליים של העברת מחסן הנתונים מ-Teradata ל-BigQuery. הכלי הזה מספק גישה מובנית להבנת סביבת Teradata הנוכחית שלכם, ולהערכת המאמץ הכרוך בהעברה מוצלחת.

כשמריצים את כלי ההערכה להעברה ל-BigQuery, נוצר דוח הערכה שכולל את הקטעים הבאים:

  • דוח מערכת קיים: תמונת מצב של מערכת Teradata הקיימת והשימוש בה, כולל מספר מסדי הנתונים, הסכימות, הטבלאות והגודל הכולל ב-TB. בנוסף, מפורטות הסכימות לפי גודל, ומוצגות הצעות לשיפור ניצול המשאבים, כמו טבלאות ללא כתיבה או עם מעט קריאות.
  • הצעות לטרנספורמציה של מצב יציב ב-BigQuery: מראה איך המערכת תיראה ב-BigQuery אחרי ההעברה. הוא כולל הצעות לאופטימיזציה של עומסי העבודה ב-BigQuery ולמניעת בזבוז.
  • תוכנית העברה: מידע על מאמץ ההעברה עצמו. לדוגמה, מעבר מהמערכת הקיימת למצב יציב ב-BigQuery. בקטע הזה מופיעים מספר השאילתות שתורגמו אוטומטית והזמן הצפוי להעברת כל טבלה ל-BigQuery.

מידע נוסף על התוצאות של הערכת ההעברה זמין במאמר בדיקת הדוח של Data Studio.

העברת סכימה ונתונים מ-Teradata

אחרי שבדקתם את תוצאות הערכת ההעברה, אתם יכולים להתחיל את ההעברה מ-Teradata. קודם צריך להכין את BigQuery להעברה, ואז להגדיר משימה להעברת נתונים.

מידע נוסף על תהליך ההעברה מ-Teradata זמין במאמר העברת סכימה ונתונים מ-Teradata.

אימות ההעברה

אחרי שמעבירים את הנתונים מ-Teradata ל-BigQuery, מריצים את Data Validation Tool (DVT) כדי לאמת את הנתונים שהועברו ל-BigQuery. Data Validation Tool מאמת פונקציות שונות, מרמת הטבלה ועד לרמת השורה, כדי לוודא שהנתונים שהועברו פועלים כמצופה. מידע נוסף על DVT זמין במאמר היכרות עם הכלי לאימות נתונים להעברות EDW.

אפשר לגשת ל-DVT במאגר הציבורי של DVT ב-GitHub.

המאמרים הבאים