מבוא לייצוא נתונים

במאמר הזה מוסבר על הדרכים השונות לייצוא נתונים מ-BigQuery.

מידע נוסף על שילוב נתונים זמין במאמר מבוא לטעינה, לשינוי ולייצוא של נתונים.

ייצוא תוצאות של שאילתה

אפשר לייצא את תוצאות השאילתה לקובץ מקומי (בפורמט CSV או JSON), ל-Google Drive או ל-Google Sheets. מידע נוסף זמין במאמר בנושא ייצוא תוצאות של שאילתות לקובץ.

ייצוא טבלאות

אפשר לייצא את הטבלאות של BigQuery בפורמטים הבאים של נתונים:

פורמט נתונים סוגי דחיסה נתמכים שיטות ייצוא נתמכות
CSV GZIP ייצוא ל-Cloud Storage
JSON GZIP ייצוא ל-Cloud Storage
קריאה מ-BigQuery באמצעות Dataflow
Avro DEFLATE, ‏ SNAPPY ייצוא ל-Cloud Storage
קריאה מ-BigQuery באמצעות Dataflow
Parquet GZIP, ‏ SNAPPY, ‏ ZSTD ייצוא ל-Cloud Storage

אפשר גם לייצא את הטבלאות של BigQuery כעמודות Protobuf כשעובדים עם מבני נתונים מקוננים שדורשים מניעת שגיאות הקלדה של סוגי אובייקטים, או אם נדרשת תמיכה בשפות נוספות.

שיקולים לגבי ייצוא של טבלאות גדולות

כשמייצאים כמות גדולה של נתונים מ-BigQuery, כדאי לשים לב לנקודות הבאות:

  • נפח ופורמט הנתונים:
    • חישוב נפח הנתונים לייצוא. עלויות הייצוא עשויות להיות גבוהות מאוד בהתאם לגודל הנתונים, לפורמט, לשיטה ולמיקום הגיאוגרפי. יש משאבים שחויבו לפי GiB, ויש משאבים שחויבו לפי TiB.
    • בוחרים פורמט שתואם לכלי הניתוח ולמבנה הנתונים. לדוגמה, קובץ CSV לא תומך בשדות בתוך שדות או בשדות חוזרים. בודקים את התאימות של סוג הנתונים.
    • כדאי להשתמש בפורמטים של דחיסה כדי להקטין את הגודל ואת העלויות.
  • עלות הייצוא:
    • חלק משיטות הייצוא הן בחינם עד למגבלה מסוימת, ואחרות כרוכות תמיד בעלויות. מידע נוסף מופיע במאמר בנושא תמחור של חילוץ נתונים.
    • יכולות להיות עלויות אם טבלה ב-BigQuery והיעד, כמו קטגוריה של Cloud Storage, נמצאים במיקומים שונים.
  • מכסות: יש מגבלות יומיות על חלק משיטות הייצוא. מידע נוסף זמין במאמר Extract jobs.
  • כמה קבצים: ייצוא גדול שמפוצל לכמה קבצים. כדאי לחשוב איך תנהלו את הקבצים האלה בהמשך.
  • אוטומציה: לייצוא חוזר, אפשר להשתמש בשאילתות מתוזמנות של BigQuery או ב-Dataflow.
  • מדיניות שמירה: קובעת תקופות שמירה במערך הנתונים של היעד ומטמיעה כללים של מחזור חיים כדי לייעל את עלויות האחסון.
  • אבטחה ובקרת גישה: הטמעת הרשאות מתאימות של IAM והצפנה.

כדי להעריך את העלויות, גודלי הקבצים, המספרים והזמן, מומלץ לבצע ייצוא ניסיון של קבוצת משנה של נתונים. אפשר להשתמש בסעיף WHERE בהצהרת ה-SQL EXPORT DATA כדי להגביל את הייצוא של הבדיקה.

ייצוא נכסי קוד של BigQuery

אתם יכולים להוריד נכסי קוד של BigQuery Studio, כמו שאילתות שמורות או מחברות, כדי לשמור עותק מקומי של הנכסים. מידע נוסף על הורדת נכסי הקוד של BigQuery זמין במאמרים הבאים:

ייצוא באמצעות העברת נתונים הפוכה של ETL

אתם יכולים להגדיר תהליכי עבודה של ETL הפוך (RETL) כדי להעביר נתונים מ-BigQuery למסדי הנתונים הבאים:

המאמרים הבאים