טעינת נתונים מ-Klaviyo ל-BigQuery

כדי לתזמן העברות נתונים חוזרות מ-Klaviyo ל-BigQuery, צריך ליצור הגדרת העברה שבה מציינים אילו אובייקטים של נתונים רוצים להעביר ובאיזו תדירות לתזמן את העברת הנתונים. אפשר ליצור הגדרות העברה באמצעות מסוף Cloud de Confiance או כלי שורת הפקודה של bq. אחרי שמגדירים את ההעברה, שירות העברת הנתונים ל-BigQuery מעביר את הנתונים העדכניים לטבלה ב-BigQuery לפי לוח הזמנים שצוין.

כדי לקבל מידע על אופן הפעולה של העברה ב-Klaviyo, אפשר לעיין במאמר מבוא להעברות נתונים ב-Klaviyo.

מגבלות

העברות מצטברות מ-Klaviyo כפופות למגבלות הבאות:

  • אפשר לבחור רק TIMESTAMP עמודות כעמודות של סימן מים.
  • הטמעה מצטברת נתמכת רק בנכסים עם עמודות סימן מים תקינות.
  • הערכים בעמודת סימן המים חייבים להיות בעלייה מונוטונית.
  • העברות מצטברות לא יכולות לסנכרן פעולות מחיקה בטבלת המקור.
  • הגדרת העברה אחת יכולה לתמוך רק בהעברה מצטברת או בהעברה מלאה.
  • אי אפשר לעדכן אובייקטים ברשימה asset אחרי ההפעלה הראשונה של ההטמעה המצטברת.
  • אי אפשר לשנות את מצב הכתיבה בהגדרות ההעברה אחרי ההפעלה הראשונה של הטמעת הנתונים המצטברים.
  • אי אפשר לשנות את העמודה של סימן המים או את המפתח הראשי אחרי ההפעלה הראשונה של הטמעת נתונים מצטברת.
  • טבלת היעד ב-BigQuery מסודרת באשכולות באמצעות המפתח הראשי שסופק, והיא כפופה למגבלות של טבלאות מסודרות באשכולות.
  • כשמעדכנים הגדרת העברה קיימת למצב הטמעה מצטברת בפעם הראשונה, העברת הנתונים הראשונה אחרי העדכון מעבירה את כל הנתונים הזמינים ממקור הנתונים. בכל העברת נתונים מצטברת שתתבצע לאחר מכן, יועברו רק השורות החדשות והמעודכנות ממקור הנתונים.

לפני שמתחילים

בקטעים הבאים מפורטות הדרישות המוקדמות שצריך לבצע לפני שיוצרים העברת נתונים ב-Klaviyo.

דרישות מוקדמות לשימוש ב-Klaviyo

כדי לאפשר למחבר של Klaviyo להעביר נתונים ל-BigQuery, צריך מפתח API פרטי לקריאה בלבד. מידע נוסף זמין במאמר יצירת מפתח פרטי.

דרישות מוקדמות ל-BigQuery

התפקידים הנדרשים ב-BigQuery

כדי לקבל את ההרשאות שדרושות ליצירת העברת נתונים באמצעות שירות העברת הנתונים ל-BigQuery, בקשו מהאדמין להקצות לכם את התפקיד אדמין ב-BigQuery (roles/bigquery.admin) ב-IAM בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקיד המוגדר מראש הזה כולל את ההרשאות שנדרשות ליצירת העברת נתונים בשירות העברת נתונים ל-BigQuery. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי ליצור העברת נתונים באמצעות שירות העברת הנתונים ל-BigQuery, נדרשות ההרשאות הבאות:

  • הרשאות לשירות העברת נתונים ל-BigQuery:
    • bigquery.transfers.update
    • bigquery.transfers.get
  • הרשאות ב-BigQuery:
    • bigquery.datasets.get
    • bigquery.datasets.getIamPolicy
    • bigquery.datasets.update
    • bigquery.datasets.setIamPolicy
    • bigquery.jobs.create

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

מידע נוסף מופיע במאמר בנושא מתן גישה ל-bigquery.admin.

אם אתם מתכוונים להגדיר התראות על הפעלת העברות ב-Pub/Sub, ודאו שיש לכם את ההרשאה pubsub.topics.setIamPolicy ב-IAM. אם אתם מגדירים רק התראות באימייל, אתם לא צריכים הרשאות Pub/Sub. מידע נוסף זמין במאמר התראות על הפעלות של שירות העברת הנתונים ל-BigQuery.

הגדרת העברת נתונים מ-Klaviyo

כדי להוסיף נתונים מ-Klaviyo ל-BigQuery, צריך להגדיר העברה באמצעות אחת מהאפשרויות הבאות:

המסוף

  1. נכנסים לדף Data transfers במסוף Cloud de Confiance .

    מעבר אל "העברות נתונים"

  2. לוחצים על Create transfer (יצירת העברה).

  3. בקטע Source type (סוג המקור), בוחרים באפשרות Klaviyo - Preview (תצוגה מקדימה) בשדה Source (מקור).

  4. בקטע Data source details (פרטים של מקור הנתונים), מבצעים את הפעולות הבאות:

    • בשדה Private API Key (מפתח API פרטי), מזינים את מפתח ה-API הפרטי. מידע נוסף מופיע במאמר דרישות מוקדמות של Klaviyo.
    • אופציונלי: בשדה Start Date, מציינים את תאריך ההתחלה של הרשומות החדשות שייכללו בהעברת הנתונים. רק רשומות שנוצרו בתאריך הזה או אחריו נכללות בהעברת הנתונים. ערך ברירת המחדל הוא 3 חודשים לפני תאריך ההפעלה של ההעברה.
    • בקטע Klaviyo objects to transfer (אובייקטים של Klaviyo להעברה), לוחצים על Browse (עיון) כדי לבחור אובייקטים להעברה למערך נתוני היעד ב-BigQuery. אפשר גם להזין ידנית בשדה הזה את האובייקטים שרוצים לכלול בהעברת הנתונים.

  5. בקטע Destination settings, בשדה Dataset בוחרים את מערך הנתונים שיצרתם כדי לאחסן את הנתונים.

  6. בקטע Transfer config name (שם הגדרת ההעברה), בשדה Display name (שם מוצג), מזינים שם להעברת הנתונים.

  7. בקטע אפשרויות תזמון:

    • ברשימה Repeat frequency, בוחרים אפשרות כדי לציין באיזו תדירות תתבצע העברת הנתונים. כדי להגדיר תדירות חזרה מותאמת אישית, לוחצים על בהתאמה אישית. אם בוחרים באפשרות על פי דרישה, ההעברה הזו תתבצע כשמפעילים אותה באופן ידני.
    • אם רלוונטי, בוחרים באפשרות Start now או באפשרות Start at set time, ומציינים תאריך התחלה וזמן ריצה.

  8. אופציונלי: בקטע אפשרויות התראה, מבצעים את הפעולות הבאות:

    • כדי להפעיל התראות באימייל, לוחצים על המתג התראות באימייל. כשמפעילים את האפשרות הזו, האדמין של ההעברה מקבל התראה באימייל אם הפעלת ההעברה נכשלת.
    • כדי להפעיל התראות על הפעלת העברות ב-Pub/Sub, לוחצים על המתג Pub/Sub notifications. אפשר לבחור את שם הנושא או ללחוץ על יצירת נושא כדי ליצור נושא חדש.

  9. לוחצים על Save.

BQ

מזינים את הפקודה bq mk ומספקים את דגל יצירת ההעברה --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID (אופציונלי): מזהה הפרויקט ב- Cloud de Confiance by S3NS . אם לא מציינים פרויקט מסוים באמצעות --project_id, המערכת משתמשת בפרויקט שמוגדר כברירת מחדל.
  • ‫DATA_SOURCE: מקור הנתונים – klaviyo.
  • ‫NAME: השם המוצג של הגדרות העברת הנתונים. שם ההעברה יכול להיות כל ערך שיאפשר לכם לזהות את ההעברה אם תצטרכו לשנות אותה בהמשך.
  • DATASET: קבוצת הנתונים של היעד להגדרות ההעברה.

  • ‫PARAMETERS: הפרמטרים של הגדרות ההעברה שנוצרו, בפורמט JSON. לדוגמה: --params='{"param":"param_value"}'. אלה הפרמטרים להעברת נתונים מ-Klaviyo:

    • ‫assets: הנתיב לאובייקטים של Klaviyo שיועברו אל BigQuery.
    • ‫connector.authentication.privateApiKey: מפתח ה-API הפרטי של חשבון Klaviyo.
    • ‫connector.startDate: (אופציונלי) תאריך התחלה של רשומות חדשות שייכללו בהעברת הנתונים, בפורמט YYYY-MM-DD. רק רשומות שנוצרו בתאריך הזה או אחריו נכללות בהעברת הנתונים. ערך ברירת המחדל הוא 3 חודשים לפני תאריך ההפעלה של ההעברה.

הפקודה הבאה יוצרת העברת נתונים מ-Klaviyo בפרויקט ברירת המחדל.

    bq mk
        --transfer_config
        --target_dataset=mydataset
        --data_source=klaviyo
        --display_name='My Transfer'
        --params= ' {
            "assets": [ "Events" , "Flows"] ,
            "connector.authentication.privateApiKey" : "pk_123456789123",
            "connector.startDate": "2025-10-20"
            }'
כששומרים את הגדרת ההעברה, מחבר Klaviyo מפעיל אוטומטית העברה לפי האפשרות של לוח הזמנים שהגדרתם. בכל הפעלה של העברה, המחבר של Klaviyo מעביר את כל הנתונים שזמינים מ-Klaviyo אל BigQuery.

כדי להפעיל ידנית העברת נתונים מחוץ ללוח הזמנים הרגיל, אפשר להתחיל הרצה של מילוי נתונים.

רשימה של הנתונים שנכללים בהעברת נתונים מ-Klaviyo מופיעה בהפניה למודל הנתונים של Klaviyo.

פתרון בעיות בהגדרת ההעברה

אם נתקלתם בבעיות בהגדרת העברת הנתונים, כדאי לעיין במאמר בעיות בהעברה של Klaviyo.

המאמרים הבאים

  • לסקירה כללית של שירות העברת הנתונים ל-BigQuery, קראו את המאמר מהו שירות העברת הנתונים ל-BigQuery.
  • במאמר ניהול העברות מוסבר איך משתמשים בהעברות, כולל איך מקבלים מידע על הגדרת העברה, איך מציגים רשימה של הגדרות העברה ואיך מציגים את היסטוריית ההרצה של העברה.