ייבוא וייצוא של נתונים

‫Bigtable מאפשר לכם לייבא ולייצא מערכי נתונים כדי לתמוך בהעברות של עומסי עבודה, בעיבוד באצווה ובשילובים עם שירותי ניתוח אחרים. אפשר לבחור בין צינורות נתונים מנוהלים, שיטות להטמעת נתונים בזמן אמת או כלי שורת פקודה כדי להעביר נתונים בין Bigtable לבין מערכות אחסון חיצוניות.

ייבוא נתונים ל-Bigtable

אפשר לייבא נתונים ל-Bigtable באחת מהדרכים הבאות:

BigQuery
כדי לייבא נתונים מ-BigQuery ל-Bigtable, אפשר לעיין במאמר ייצוא נתונים ל-Bigtable (תהליך ETL הפוך) במסמכי התיעוד של BigQuery.
אפשר להריץ שאילתות מתמשכות על הנתונים ב-BigQuery ולייצא את התוצאות ל-Bigtable בזמן אמת באמצעות ETL הפוך. מידע נוסף זמין במאמר מבוא לשאילתות מתמשכות במאמרי העזרה של BigQuery.
Pub/Sub
אפשר להזרים הודעות מ-Pub/Sub ישירות לטבלת Bigtable באמצעות מינויים ל-Pub/Sub Bigtable (גרסת Preview). בשיטה הזו אתם יכולים לכתוב הודעות בסטרימינג ל-Bigtable בלי להזדקק למנוי נפרד כמו Dataflow.

העברה או העתקה של נתונים באמצעות תבנית

אתם יכולים להשתמש בתבניות Dataflow הבאות כדי להעביר או להעתיק נתונים בין Bigtable לבין מקורות או יעדים אחרים.

BigQuery

התבנית הבאה של Dataflow מאפשרת לייצא נתונים מ-BigQuery ל-Bigtable.

‫Apache Cassandra ל-Bigtable

התבנית הבאה של Dataflow מאפשרת לייצא נתונים מ-Apache Cassandra ל-Bigtable.

קובצי Avro

התבניות הבאות של Dataflow מאפשרות לייצא נתונים מ-Bigtable כקובצי Avro, ואז לייבא את הנתונים בחזרה ל-Bigtable. אפשר להריץ את התבניות באמצעות Google Cloud CLI או מסוף Cloud de Confiance . קוד המקור נמצא ב-GitHub.

קבצי Parquet

התבניות הבאות של Dataflow מאפשרות לייצא נתונים מ-Bigtable כקובצי Parquet, ואז לייבא את הנתונים בחזרה ל-Bigtable. אפשר להריץ את התבניות באמצעות ה-CLI של gcloud או מסוף Cloud de Confiance . קוד המקור נמצא ב-GitHub.

SequenceFiles

התבניות הבאות של Dataflow מאפשרות לייצא נתונים מ-Bigtable כ-SequenceFiles, ואז לייבא את הנתונים בחזרה ל-Bigtable. אפשר להריץ את התבניות באמצעות Google Cloud CLI או מסוף Cloud de Confiance .

ייבוא מהדף 'טבלאות'

אפשר להריץ רבות משיטות הייבוא שמתוארות בדף הזה באמצעות מסוףCloud de Confiance . אפשר לייבא את סוגי הנתונים הבאים מהדף Tables (טבלאות):

  • נתונים בפורמט CSV
  • נתונים ב-BigQuery
  • נתונים שאפשר לייבא באמצעות הכלי ליצירת משימות Dataflow. זה כולל את סוגי הנתונים הבאים:
    • הודעות Pub/Sub
    • נתונים בטבלה ב-BigQuery
    • קבצי CSV, קובצי JSON וקבצי טקסט ב-Cloud Storage
    • נתוני טבלה של PostgreSQL,‏ MySQL,‏ Oracle ו-SQL Server

  • נתונים שאפשר לייבא באמצעות תבנית Dataflow. זה כולל את סוגי הנתונים הבאים:

    • קובצי Avro
    • מרחבי מפתחות וטבלאות ב-Cassandra
    • קבצי Parquet
    • קבצים מסוג SequenceFile

המסוף

  1. במסוף Cloud de Confiance , פותחים את רשימת מופעי Bigtable.

    פתיחת רשימת המופעים

  2. לוחצים על המופע שמכיל את הטבלה שרוצים לייבא.

  3. בחלונית הימנית, לוחצים על טבלאות.

    בדף Tables מוצגת רשימה של טבלאות במופע.

  4. לצד שם הטבלה שאליה רוצים לייבא נתונים, לוחצים על התפריט פעולות בטבלה.

  5. לוחצים על ייבוא נתונים ובוחרים את סוג הנתונים שרוצים לייבא:

    • אם בוחרים באפשרות CSV, ייפתח חלון הטרמינל של cbt CLI. מידע נוסף זמין בקטע ייבוא נתוני CSV במסמך הזה.
    • אם בוחרים ב-BigQuery, ‏ BigQuery Studio נפתח. ממלאים את השאילתה של reverse ETL ומריצים אותה.
    • אם בוחרים באפשרות 'כלי ליצירת משימות Dataflow', הכלי ליצירת משימות ייפתח. מידע נוסף זמין במאמר סקירה כללית של ממשק המשתמש של כלי בניית המשימות.
    • אם בוחרים באפשרות Avro,‏ Parquet,‏ SequenceFile או Cassandra, מוצגת במסוף תבנית Dataflow שהושלמה באופן חלקי. ממלאים את תבנית העבודה ולוחצים על הפעלת העבודה.

ייצוא מדף הטבלאות

אפשר להשתמש במסוףCloud de Confiance כדי להפעיל חלק משיטות הייצוא שמתוארות בדף הזה. אפשר לייצא את סוגי הנתונים הבאים מהדף Tables:

  • קובצי Avro
  • קבצי Parquet

  • קבצים מסוג SequenceFile

המסוף

  1. במסוף Cloud de Confiance , פותחים את רשימת מופעי Bigtable.

    פתיחת רשימת המופעים

  2. לוחצים על המופע שמכיל את הטבלה שרוצים לייצא.

  3. בחלונית הימנית, לוחצים על טבלאות.

    בדף Tables מוצגת רשימה של טבלאות במופע.

  4. לצד שם הטבלה, לוחצים על התפריט פעולות בטבלה.

  5. לוחצים על ייצוא נתונים ובוחרים את סוג הקובץ שרוצים לייצא.

    המסוף מציג תבנית Dataflow שהושלמה באופן חלקי.

  6. ממלאים את תבנית העבודה ולוחצים על הפעלת העבודה.

ייבוא נתונים מקובץ CSV

אפשר לייבא נתונים מקובץ CSV לטבלת Bigtable באמצעות cbtCLI. כדי לעשות זאת, צריך לוודא שלסביבה שלכם, כמו Cloud Shell, יש גישה לקובץ ה-CSV. אפשר להעביר את קובץ ה-CSV ל-Cloud Shell באחת מהדרכים הבאות:

העלאת קובץ CSV מקומי:

  1. ב-Cloud Shell, לוחצים על התפריט More ובוחרים באפשרות Upload.
  2. בוחרים את קובץ ה-CSV מהמחשב.
  3. אחרי שמעלים את הקובץ, מפנים אליו לפי השם שלו בפקודה של cbt CLI.

העתקת קובץ CSV מ-Cloud Storage:

ב-cbt CLI אין תמיכה ישירה בייבוא מקטגוריה ב-Cloud Storage. קודם צריך להעתיק את קובץ ה-CSV מ-Cloud Storage לסביבת Cloud Shell. מידע נוסף מופיע במאמר העלאת אובייקט לקטגוריה.

אחרי שקובץ ה-CSV זמין בסביבה שלכם, משתמשים בפקודה cbt CLI כדי לייבא את הנתונים. דוגמה לפקודה מופיעה במאמר בנושא כתיבת הרבה שורות בבת אחת על סמך קובץ הקלט.

המאמרים הבאים