מבוא לשירות העברת הנתונים ל-BigQuery

שירות העברת הנתונים ל-BigQuery מאפשר לבצע אוטומציה של העברות נתונים מתוזמנות ומנוהלות ל-BigQuery. אחרי שמגדירים העברת נתונים, שירות העברת הנתונים ל-BigQuery טוען נתונים אוטומטית ב-BigQuery באופן קבוע. אפשר גם להשלים חוסר בנתונים (data backfill) כדי לפצות על הפסקות זמניות בשירות או על פערים, לבצע העתקות של מערכי נתונים ולהריץ שאילתות מתוזמנות. אי אפשר להשתמש בשירות העברת הנתונים ל-BigQuery כדי להעביר נתונים מחוץ ל-BigQuery.

כדי להגדיר ולנהל העברות, אתם יכולים להשתמש במסוףCloud de Confiance , בכלי שורת הפקודה של BigQuery או ב-API של שירות העברת נתונים ל-BigQuery. בדף Pipelines & Connections יש גם תהליך עבודה יעיל (גרסת טרום-השקה (Preview)) ליצירת העברות. כדי לקבל עדכונים על השירות, אתם יכולים להירשם לקבוצת ההודעות של BigQuery DTS.

מקורות נתונים נתמכים

שירות העברת הנתונים ל-BigQuery תומך בטעינת נתונים ממקורות הנתונים הבאים:

• אחסון בענן:
• Cloud Storage

שיקולים בנוגע ל-SLO של העברת נתונים

יעד ה-SLO של העברת נתונים חל על העברות נתונים שמתוזמנות באופן אוטומטי באמצעות שירות העברת הנתונים ל-BigQuery, ממקורות בתוך Cloud de Confiance by S3NS.

בהעברות נתונים שכוללות מקורות של צד שלישי או מקורות שהם לא שלCloud de Confiance by S3NS , הפסקות בשירות של המקורות האלה יכולות להשפיע על הביצועים של שירות העברת הנתונים ל-BigQuery. לכן, יעדי ה-SLO של העברת הנתונים לא חלים על העברות נתונים של שירות העברת הנתונים ל-BigQuery ממקורות שאינם שלCloud de Confiance by S3NS .

אזורים נתמכים

כמו BigQuery, שירות העברת הנתונים ל-BigQuery הוא משאב במספר אזורים, עם הרבה אזורים בודדים נוספים זמינים.

המיקום של מערך הנתונים ב-BigQuery מצוין כשיוצרים מערך נתונים של יעד לאחסון הנתונים שמועברים על ידי שירות העברת הנתונים ל-BigQuery. כשמגדירים העברה, הגדרת ההעברה עצמה נקבעת לאותו מיקום כמו מערך הנתונים של היעד. שירות העברת הנתונים ל-BigQuery מעבד ומכין את הנתונים באותו מיקום של מערך הנתונים ביעד.

שירות העברת הנתונים ל-BigQuery תומך בהעברות נתונים מכל אזור שבו הנתונים מאוחסנים לכל מיקום שבו נמצא מערך הנתונים של היעד.

מידע מפורט על העברות ותאימות לאזורים של שירות העברת הנתונים ל-BigQuery זמין במאמר מיקומים והעברות של מערכי נתונים. במאמר מיקומים של מערכי נתונים מפורטים האזורים הנתמכים ב-BigQuery.

שימוש במשבצות להזמנה עם העברות נתונים

משימות שמופעלות על ידי שירות העברת הנתונים ל-BigQuery משתמשות במשבצות של הזמנה רק אם הפרויקט, התיקייה או הארגון מוקצים להזמנה עם אחד מסוגי העבודה הבאים:

• משימות של שאילתות באמצעות QUERY
• טעינת משימות באמצעות PIPELINE

תמחור

למידע על התמחור של שירות העברת הנתונים ל-BigQuery, קראו את הדף תמחור.

אחרי שהנתונים מועברים ל-BigQuery, חלים התמחורים הרגילים של BigQuery לאחסון ולשאילתות.

מכסות

למידע על המכסות של שירות העברת הנתונים ל-BigQuery, קראו את הדף מכסות ומגבלות.

פתרון בעיות בהגדרות ההעברה

במאמר פתרון בעיות בהגדרות של העברות מוסבר איך לפתור בעיות בשירות העברת הנתונים ל-BigQuery.

המאמרים הבאים

• כדי ללמוד איך ליצור העברה, עיינו במסמכי התיעוד של מקור הנתונים שלכם.