טעינת נתונים מ-Display & Video 360 ל-BigQuery

אפשר לטעון נתונים מ-Display & Video 360 ל-BigQuery באמצעות שירות העברת הנתונים ל-BigQuery למחבר של Display & Video 360. שירות העברת הנתונים ל-BigQuery מאפשר לתזמן משימות העברה חוזרות שמוסיפות את הנתונים העדכניים מ-Display & Video 360 ל-BigQuery.

סקירה כללית של מחברים

שירות העברת הנתונים ל-BigQuery עבור המחבר של Display & Video 360 תומך באפשרויות הבאות להעברת נתונים.

אפשרויות להעברת נתונים תמיכה
דוחות נתמכים מחבר Display & Video 360 תומך בהעברת נתונים מהדוחות בקבצים של העברת נתונים גרסה 2 (Display & Video DTv2).

מידע על האופן שבו דוחות של Display & Video 360 הופכים לטבלאות ולתצוגות ב-BigQuery זמין במאמר שינוי של דוחות Display & Video 360.
תדירות החזרה מחבר Display & Video 360 תומך בהעברות נתונים יומיות.

כברירת מחדל, העברות נתונים מתוזמנות למועד שבו נוצרת העברת הנתונים. אפשר להגדיר את השעה של העברת הנתונים כשמגדירים את העברת הנתונים.
רענון החלון המחבר של Display & Video 360 מאחזר נתונים מ-Display & Video 360 עד יומיים לפני מועד הפעלת העברת הנתונים. אי אפשר להגדיר את חלון הרענון למחבר הזה.

מידע נוסף זמין במאמר בנושא חלונות רענון.
זמינות של נתונים להשלמת חוסר (data backfill) מריצים השלמת חוסר בנתונים כדי לאחזר נתונים שלא נכללים בהעברת הנתונים המתוזמנת. אפשר לאחזר נתונים עד לתקופה שמוגדרת במדיניות שמירת הנתונים במקור הנתונים.

מידע על מדיניות שמירת הנתונים ב-Display & Video 360 זמין במאמר עדכניות הנתונים וזמינותם בדוחות.

נתוני ההגדרה הנתמכים

בנוסף לנתוני הדיווח, שירות העברת הנתונים ל-BigQuery מעביר גם את נתוני ההגדרה הבאים מ-Display & Video 360. נתוני ההגדרה מאוחזרים מ-Display & Video 360 API v3.

מידע נוסף על כל סוג של נתוני הגדרה זמין בקישורים הבאים:

העברת נתונים מ-Display & Video 360

כשמעבירים נתונים מ-Display & Video 360 אל BigQuery, הנתונים נטענים לטבלאות BigQuery שמחולקות למחיצות לפי תאריך. המחיצה בטבלה שאליה נטען הנתון תואמת לתאריך ממקור הנתונים. אם מתזמנים כמה העברות לאותו תאריך, שירות העברת הנתונים ל-BigQuery מחליף את המחיצה של התאריך הספציפי הזה בנתונים העדכניים ביותר. העברות מרובות באותו יום או הפעלת מילוי חוסרים לא גורמות לשכפול נתונים, והמחיצות לתאריכים אחרים לא מושפעות.

רענון חלונות

חלון הרענון הוא מספר הימים שבהם מתבצעת אחזור נתונים בהעברת נתונים. לדוגמה, אם חלון הרענון הוא שלושה ימים וההעברה מתבצעת מדי יום, שירות העברת הנתונים ל-BigQuery מאחזר את כל הנתונים מטבלת המקור מ-3 הימים האחרונים. בדוגמה הזו, כשמתבצעת העברה יומית, שירות העברת הנתונים ל-BigQuery יוצר מחיצה חדשה בטבלת היעד ב-BigQuery עם עותק של נתוני טבלת המקור מהיום הנוכחי, ואז מפעיל אוטומטית מילוי חוסרים כדי לעדכן את המחיצות בטבלת היעד ב-BigQuery עם נתוני טבלת המקור מיומיים קודמים. הפעלות של מילוי חוסרים שמופעלות אוטומטית יחליפו או יעודכנו באופן מצטבר את טבלת היעד ב-BigQuery, בהתאם לתמיכה בעדכונים מצטברים במחבר של שירות העברת הנתונים ל-BigQuery.

כשמריצים העברת נתונים בפעם הראשונה, העברת הנתונים מאחזרת את כל נתוני המקור שזמינים בחלון הרענון. לדוגמה, אם חלון הרענון הוא שלושה ימים ואתם מריצים את העברת הנתונים בפעם הראשונה, שירות העברת הנתונים ל-BigQuery מאחזר את כל נתוני המקור תוך שלושה ימים.

כדי לאחזר נתונים מחוץ לחלון העדכון, כמו נתונים היסטוריים, או כדי לשחזר נתונים מהפסקות זמניות בשירות או מפערים בהעברה, אתם יכולים להפעיל או לתזמן השלמת חוסר בנתונים.

לפני שמתחילים

לפני שיוצרים העברת נתונים מ-Display & Video 360, כדאי לעיין בדרישות המוקדמות ובמידע הבא.

דרישות מוקדמות

  • מוודאים שביצעתם את כל הפעולות שנדרשות כדי להפעיל את שירות העברת נתונים ל-BigQuery.
  • יוצרים מערך נתונים ב-BigQuery לאחסון נתונים של Display & Video 360.
  • מוודאים שיש לכם את מזהה השותף או את מזהה המפרסם ב-Display & Video 360. מזהה השותף הוא ההורה בהיררכיה.
  • צריך לוודא שיש לכם הרשאות קריאה כדי לגשת לנתוני שותפים או מפרסמים מ-Display and Video API.

  • מוודאים שיש לארגון גישה לקבצים של Display & Video 360 Data Transfer v2‏ (Display & Video 360 DTv2). הקבצים האלה מועברים על ידי צוות Display & Video 360 בקטגוריה של Cloud Storage. האפשרות לבקש גישה לקבצים של Display & Video 360 DTv2 תלויה בשאלה אם יש לכם חוזה ישיר עם Display & Video 360. בשני המקרים, יכול להיות שיחולו חיובים נוספים.

    • אם יש לכם חוזה עם Display & Video 360, עליכם לפנות לתמיכה של Display & Video 360 כדי להגדיר קבצים של Display & Video 360 DTv2.
    • אם אין לכם חוזה עם Display & Video 360, תוכלו לפנות לסוכנות שלכם כדי לקבל גישה לקבצים של Display & Video 360 DTv2.
    • אחרי שתשלימו את השלב הזה, תקבלו את שם הקטגוריה של Cloud Storage, בהתאם לסוג ההגדרה: שותף או מפרסם:
      • gs://dcdt_-dbm_partnerPARTNER_ID
      • gs://dcdt_-dbm_advertiserADVERTISER_ID

  • כדי להגדיר התראות על הפעלת העברה ב-Pub/Sub, אתם צריכים הרשאות pubsub.topics.setIamPolicy. מידע נוסף זמין במאמר התראות על הפעלת שירות העברת נתונים ל-BigQuery.

איפה אפשר למצוא את מספר החשבון ב-Display & Video 360

כדי לאחזר את המזהה שלכם ב-Display & Video 360, עוברים לדף Buckets ב-Cloud Storage במסוף Cloud de Confiance ובודקים את הקבצים בקטגוריה של Cloud Storage להעברת נתונים מ-Display & Video 360. מזהה Display & Video 360 משמש להתאמת קבצים בקטגוריה של Cloud Storage שצוינה. המזהה מוטמע בשם הקובץ, ולא בשם הקטגוריה של Cloud Storage. לדוגמה:

  • בקובץ בשם dbm_partner123_activity_*, המזהה הוא 123.
  • בקובץ בשם dbm_advertiser567_activity_*, המזהה הוא 567.

איך מוצאים את הקידומת של שם הקובץ

במקרים מסוימים, יכול להיות שלקבצים בקטגוריה של Cloud Storage יש שמות קבצים מותאמים אישית ולא סטנדרטיים, שהוגדרו בשבילכם על ידי צוות השירותים של Google Marketing Platform. לדוגמה:

בקובץ בשם dbm_partner123456custom_activity_*, התחילית היא dbm_partner123456custom.

לקבלת עזרה בנושא קידומות של שמות קבצים, אפשר לפנות לתמיכה של Display & Video 360.

הגדרת העברת נתונים מ-Display & Video 360

בוחרים באחת מהאפשרויות הבאות:

המסוף

  1. עוברים לדף 'העברות נתונים' במסוף Cloud de Confiance .

    מעבר אל 'העברות נתונים'

  2. לוחצים על Create transfer (יצירת העברה).

  3. בדף Create transfer, מבצעים את הפעולות הבאות:

    • בקטע סוג המקור, בוחרים באפשרות Display & Video 360 במקור.
    • בקטע Transfer config name (שם הגדרת ההעברה), בשדה Display name (שם מוצג), מזינים שם להעברת הנתונים. שם ההעברה יכול להיות כל ערך שיעזור לכם לזהות את ההעברה אם תצטרכו לשנות אותה בהמשך.

  4. בקטע אפשרויות תזמון:

    • בוחרים באפשרות התחלה מיידית או התחלה בשעה מוגדרת, ואז מציינים תאריך התחלה וזמן הפעלה.
    • בקטע חזרות, בוחרים את התדירות שבה רוצים להפעיל את העברת הנתונים. אם בוחרים באפשרות ימים, צריך לציין שעה תקינה לפי שעון UTC.

  5. בקטע הגדרות יעד, בתפריט מערך נתונים של היעד, בוחרים את מערך הנתונים שיצרתם כדי לאחסן את הנתונים.

  6. בקטע פרטי מקור הנתונים:

    • בשדה DV360 DTV2 Cloud Storage bucket (קטגוריית Cloud Storage של DTV2 ב-DV360), מזינים את קטגוריית Cloud Storage שמכילה את קובצי DTV2 של Display & Video 360. אם אתם צריכים להגדיר את המאגר הזה, אתם יכולים לפנות לתמיכה של Display & Video 360.
    • בשדה מזהה שותף או מפרסם ב-DV360 מזינים את מזהה השותף או את מזהה המפרסם.
    • אופציונלי: בקטע אפשרויות התראות:
      • לוחצים על המתג כדי להפעיל את ההתראות באימייל. אם מפעילים את האפשרות הזו, האדמין של ההעברה מקבל התראה באימייל כשהרצת העברה נכשלת.
      • לוחצים על המתג כדי להפעיל התראות Pub/Sub. בקטע Select a Cloud Pub/Sub topic, בוחרים את שם הנושא או לוחצים על Create a topic. האפשרות הזו מגדירה התראות על הפעלת Pub/Sub להעברה.

  7. לוחצים על Save.

BQ

מזינים את הפקודה bq mk ומספקים את האפשרות ליצירת העברה – --transfer_config. נדרשים הדגלים הבאים:

  • --data_source
  • --target_dataset
  • --display_name
  • --params
  bq mk --transfer_config \
  --project_id=PROJECT_ID \
  --target_dataset=DATASET \
  --display_name=NAME \
  --params='PARAMETERS' \
  --data_source=DATA_SOURCE

כאשר:

  • PROJECT_ID: מזהה הפרויקט.
  • ‫DATASET: מערך הנתונים של היעד להגדרת העברת הנתונים.
  • ‫NAME: השם המוצג של הגדרת העברת הנתונים. שם ההעברה יכול להיות כל ערך שיעזור לכם לזהות את ההעברה אם תצטרכו לשנות אותה בהמשך.
  • ‫PARAMETERS: הפרמטרים של הגדרת העברת הנתונים שנוצרה בפורמט JSON. לדוגמה – --params='{"param":"param_value"}'. בהעברות של Display & Video 360, הפרמטרים bucket ו-displayvideo_id נדרשים. הפרמטר file_name_prefix הוא אופציונלי ומשמש רק לשמות קבצים מותאמים אישית נדירים.
  • ‫DATA_SOURCE: מקור הנתונים – displayvideo.

לדוגמה, הפקודה הבאה יוצרת העברת נתונים של Display & Video 360 בשם My Transfer באמצעות מזהה Display & Video 360‏ 123456, מאגר (bucket) של Cloud Storage‏ dcdt_-dbm_partner123456 ומערך נתונים של יעד mydataset.

העברת הנתונים נוצרת בפרויקט ברירת המחדל:

  bq mk --transfer_config \
  --target_dataset=mydataset \
  --display_name='My Transfer' \
  --params='{"bucket":"dcdt_-dbm_partner123456","displayvideo_id": "123456","file_name_prefix":"YYY"}' \
  --data_source=displayvideo

אחרי הרצת הפקודה, תקבלו הודעה כמו זו:

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

פועלים לפי ההוראות בהודעה ומדביקים את קוד האימות בשורת הפקודה.

API

משתמשים בשיטה projects.locations.transferConfigs.create ומספקים מופע של המשאב TransferConfig.

שאילתות על הנתונים

כשמעבירים את הנתונים ל-BigQuery, הם נכתבים בטבלאות עם חלוקה למחיצות לפי זמן ההטמעה. מידע נוסף זמין במאמר מבוא לטבלאות עם מחיצות.

מומלץ לשלוח שאילתות לתצוגות המפורטות שנוצרו באופן אוטומטי במקום לשלוח שאילתות ישירות לטבלאות. עם זאת, אם רוצים לשלוח שאילתה ישירות לטבלאות, צריך להשתמש בעמודה הווירטואלית _PARTITIONTIME בשאילתה. מידע נוסף מופיע במאמר בנושא שליחת שאילתות לטבלאות מחולקות.