חילוץ מטא-נתונים מ-Apache Hive לצורך העברה

‫Apache Hive

כדי לחלץ את המטא-נתונים של Apache Hive, מבצעים את השלבים שמפורטים בקטע Apache Hive חילוץ מטא-נתונים ויומני שאילתות ממחסן הנתונים. אחר כך אפשר להעלות את המטא-נתונים לקטגוריה של Cloud Storage שמכילה את קובצי ההעברה.

HDFS

מריצים את הפקודה הבאה כדי לחלץ מטא-נתונים מ-HDFS באמצעות הכלי dwh-migration-dumper.

dwh-migration-dumper \
  --connector hdfs \
  --host HDFS-HOST \
  --port HDFS-PORT \
  --output gs://MIGRATION-BUCKET/hdfs-dumper-output.zip \
  --assessment \

מחליפים את מה שכתוב בשדות הבאים:

• ‫HDFS-HOST: שם המארח של NameNode ב-HDFS
• ‫HDFS-PORT: מספר היציאה של NameNode ב-HDFS. אם משתמשים ביציאה 8020 שמוגדרת כברירת מחדל, אפשר לדלג על הארגומנט הזה.
• ‫MIGRATION-BUCKET: קטגוריה של Cloud Storage שבה אתם משתמשים לאחסון קובצי המיגרציה.

הפקודה הזו מחלצת מטא-נתונים מ-HDFS לקובץ בשם hdfs-dumper-output.zip בספרייה MIGRATION-BUCKET.

יש כמה מגבלות ידועות כשמחלצים מטא-נתונים מ-HDFS:

• חלק מהמשימות במחבר הזה הן אופציונליות ויכולות להיכשל. במקרה כזה, יומן מלא של מעקב אחר מחסנית יירשם בפלט. כל עוד המשימות הנדרשות הושלמו בהצלחה ונוצר hdfs-dumper-output.zip, אפשר להמשיך בהעברה של HDFS.
• אם גודל מאגר השרשורים שהוגדר גדול מדי, יכול להיות שתהליך החילוץ ייכשל או יפעל לאט יותר מהצפוי. אם אתם נתקלים בבעיות האלה, מומלץ להקטין את גודל מאגר השרשורים באמצעות ארגומנט שורת הפקודה --thread-pool-size.

‫Apache Ranger

מריצים את הפקודה הבאה כדי לחלץ מטא-נתונים מ-Apache Ranger באמצעות הכלי dwh-migration-dumper.

dwh-migration-dumper \
  --connector ranger \
  --host RANGER-HOST \
  --port 6080 \
  --user RANGER-USER \
  --password RANGER-PASSWORD \
  --ranger-scheme RANGER-SCHEME \
  --output gs://MIGRATION-BUCKET/ranger-dumper-output.zip \
  --assessment \

מחליפים את מה שכתוב בשדות הבאים:

• ‫RANGER-HOST: שם המארח של מופע Apache Ranger
• ‫RANGER-USER: שם המשתמש של משתמש Apache Ranger
• ‫RANGER-PASSWORD: הסיסמה של המשתמש ב-Apache Ranger
• ‫RANGER-SCHEME: מציינים אם Apache Ranger משתמש ב-http או ב-https. ערך ברירת המחדל הוא http.
• ‫MIGRATION-BUCKET: קטגוריה של Cloud Storage שבה אתם משתמשים לאחסון קובצי המיגרציה.

אפשר גם לכלול את הדגלים האופציונליים הבאים:

• ‫--kerberos-auth-for-hadoop: מחליף את --user ואת --password, אם Apache Ranger מוגן על ידי Kerberos במקום אימות בסיסי. כדי להשתמש בדגל הזה, צריך להריץ את הפקודה kinit לפני השימוש בכלי dwh-migration-dumper.
• ‫--ranger-disable-tls-validation: צריך לכלול את הדגל הזה אם אישור ה-https שמשמש את ה-API הוא בחתימה עצמית. לדוגמה, כשמשתמשים ב-Cloudera.

הפקודה הזו מחלצת מטא-נתונים מ-Apache Ranger לקובץ בשם ranger-dumper-output.zip בספרייה MIGRATION-BUCKET.

Cloudera

מריצים את הפקודה הבאה כדי לחלץ מטא-נתונים מ-Cloudera באמצעות הכלי dwh-migration-dumper.

dwh-migration-dumper \
  --connector cloudera-manager \
  --url CLOUDERA-URL \
  --user CLOUDERA-USER \
  --password CLOUDERA-PASSWORD \
  --output gs://MIGRATION-BUCKET/cloudera-dumper-output.zip \
  --yarn-application-types APPLICATION-TYPES \
  --pagination-page-size PAGE-SIZE \
  --assessment \

מחליפים את מה שכתוב בשדות הבאים:

• ‫CLOUDERA-URL: כתובת ה-URL של Cloudera Manager
• ‫CLOUDERA-USER: שם המשתמש של משתמש Cloudera
• ‫CLOUDERA-PASSWORD: הסיסמה של משתמש Cloudera
• ‫MIGRATION-BUCKET: קטגוריה של Cloud Storage שבה אתם משתמשים לאחסון קובצי המיגרציה.
• APPLICATION-TYPES: (אופציונלי) רשימה של כל סוגי האפליקציות הקיימים מ-Hadoop YARN. לדוגמה, SPARK, MAPREDUCE.
• ‫PAGE-SIZE: (אופציונלי) מציינים כמה נתונים מאוחזרים משירותים של צד שלישי, כמו Hadoop YARN API. ערך ברירת המחדל הוא 1000, שמייצג 1,000 ישויות לכל בקשה.

הפקודה הזו מחלצת מטא-נתונים מ-Cloudera לקובץ בשם dwh-migration-cloudera.zip בספרייה MIGRATION-BUCKET.

יומני שאילתות של Apache Hive

כדי לחלץ את יומני השאילתות של Apache Hive, מבצעים את השלבים שבקטע Apache Hive Extract query logs with the hadoop-migration-assessment logging hook. אחר כך תוכלו להעלות את היומנים לקטגוריה של Cloud Storage שמכילה את קובצי ההעברה.