טעינת נתונים מ-Klaviyo ל-BigQuery
אפשר לטעון נתונים מ-Klaviyo ל-BigQuery באמצעות שירות העברת הנתונים ל-BigQuery של מחבר Klaviyo. באמצעות שירות העברת הנתונים ל-BigQuery, אתם יכולים לתזמן משימות העברה חוזרות שמוסיפות את הנתונים העדכניים שלכם מ-Klaviyo ל-BigQuery.
לפני שמתחילים
בקטעים הבאים מפורטות הדרישות המוקדמות שצריך לבצע לפני שיוצרים העברת נתונים של Klaviyo.
דרישות מוקדמות לשימוש ב-Klaviyo
כדי לאפשר למחבר של Klaviyo להעביר נתונים ל-BigQuery, צריך מפתח API פרטי עם הרשאת קריאה בלבד. מידע נוסף זמין במאמר יצירת מפתח פרטי.
דרישות מוקדמות ל-BigQuery
- מוודאים שביצעתם את כל הפעולות שנדרשות כדי להפעיל את שירות העברת נתונים ל-BigQuery.
- יוצרים מערך נתונים ב-BigQuery לאחסון הנתונים.
התפקידים הנדרשים ב-BigQuery
כדי לקבל את ההרשאות שנדרשות ליצירת העברת נתונים באמצעות שירות העברת נתונים ל-BigQuery, צריך לבקש מהאדמין להקצות לכם את תפקיד BigQuery Admin (roles/bigquery.admin) ב-IAM בפרויקט.
כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
התפקיד המוגדר מראש הזה כולל את ההרשאות שנדרשות ליצירת העברת נתונים בשירות העברת נתונים ל-BigQuery. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:
ההרשאות הנדרשות
כדי ליצור העברת נתונים באמצעות שירות העברת הנתונים ל-BigQuery, נדרשות ההרשאות הבאות:
-
הרשאות של שירות העברת נתונים ל-BigQuery:
-
bigquery.transfers.update -
bigquery.transfers.get
-
-
הרשאות ב-BigQuery:
-
bigquery.datasets.get -
bigquery.datasets.getIamPolicy -
bigquery.datasets.update -
bigquery.datasets.setIamPolicy -
bigquery.jobs.create
-
יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.
מידע נוסף מופיע במאמר בנושא מתן גישה ל-bigquery.admin.
אם אתם מתכוונים להגדיר התראות על הפעלת העברה ב-Pub/Sub, ודאו שיש לכם את הרשאת pubsub.topics.setIamPolicyIAM. אם מגדירים רק התראות באימייל, לא צריך הרשאות Pub/Sub. מידע נוסף זמין במאמר בנושא התראות על הפעלת שירות העברת נתונים ל-BigQuery.
הגדרה של העברת נתונים ב-Klaviyo
כדי להוסיף נתונים מ-Klaviyo ל-BigQuery, צריך להגדיר העברה באמצעות אחת מהאפשרויות הבאות:
המסוף
עוברים לדף 'העברות נתונים' במסוף Cloud de Confiance .
לוחצים על Create transfer (יצירת העברה).
בקטע Source type (סוג המקור), בשדה Source (מקור), בוחרים באפשרות Klaviyo - Preview (קלאוויו – תצוגה מקדימה).
בקטע Data source details (פרטים של מקור הנתונים), מבצעים את הפעולות הבאות:
- בשדה Private API Key (מפתח API פרטי), מזינים את מפתח ה-API הפרטי. מידע נוסף מופיע במאמר דרישות מוקדמות ל-Klaviyo.
- אופציונלי: בשדה תאריך התחלה, מציינים את תאריך ההתחלה של הרשומות החדשות שרוצים לכלול בהעברת הנתונים. העברת הנתונים כוללת רק רשומות שנוצרו בתאריך הזה או אחריו. ערך ברירת המחדל הוא 3 חודשים לפני התאריך של הפעלת ההעברה.
- בקטע Klaviyo objects to transfer (אובייקטים של Klaviyo להעברה), לוחצים על Browse (עיון) כדי לבחור אובייקטים להעברה למערך נתוני היעד ב-BigQuery. אפשר גם להזין באופן ידני אובייקטים שרוצים לכלול בהעברת הנתונים בשדה הזה.
בקטע הגדרות יעד, בשדה מערך נתונים, בוחרים את מערך הנתונים שיצרתם לאחסון הנתונים.
בקטע Transfer config name (שם הגדרת ההעברה), בשדה Display name (שם מוצג), מזינים שם להעברת הנתונים.
בקטע אפשרויות תזמון:
- ברשימה תדירות החזרה, בוחרים אפשרות כדי לציין באיזו תדירות יתבצע העברת הנתונים. כדי לציין תדירות חזרה מותאמת אישית, בוחרים באפשרות בהתאמה אישית. אם בוחרים באפשרות על פי דרישה, ההעברה הזו תתבצע כשמפעילים אותה באופן ידני.
- אם רלוונטי, בוחרים באפשרות התחלה מיידית או התחלה בשעה שנקבעה, ומזינים תאריך התחלה ומשך הפעלה.
אופציונלי: בקטע אפשרויות התראות, מבצעים את הפעולות הבאות:
- כדי להפעיל התראות באימייל, לוחצים על המתג התראות באימייל. כשמפעילים את האפשרות הזו, האדמין של ההעברה מקבל הודעה באימייל אם ההעברה נכשלת.
- כדי להפעיל התראות על הפעלת העברה ב-Pub/Sub להעברה הזו, לוחצים על המתג Pub/Sub notifications. אפשר לבחור את שם הנושא או ללחוץ על יצירת נושא כדי ליצור נושא.
לוחצים על Save.
BQ
מזינים את הפקודה bq mk ומספקים את הדגל ליצירת העברה --transfer_config:
bq mk --transfer_config --project_id=PROJECT_ID --data_source=DATA_SOURCE --display_name=NAME --target_dataset=DATASET --params='PARAMETERS'
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID(אופציונלי): מזהה הפרויקט ב- Cloud de Confiance by S3NS . אם לא מציינים את--project_idכדי לציין פרויקט מסוים, המערכת משתמשת בפרויקט שמוגדר כברירת מחדל. -
DATA_SOURCE: מקור הנתונים –klaviyo. -
NAME: השם המוצג של הגדרות העברת הנתונים. שם ההעברה יכול להיות כל ערך שיעזור לכם לזהות את ההעברה אם תצטרכו לשנות אותה בהמשך. -
DATASET: מערך הנתונים של היעד להגדרת ההעברה.
PARAMETERS: הפרמטרים של הגדרות ההעברה שנוצרו בפורמט JSON. לדוגמה:--params='{"param":"param_value"}'. אלה הפרמטרים להעברת נתונים ב-Klaviyo:-
assets: הנתיב לאובייקטים של Klaviyo שיועברו ל-BigQuery. -
connector.authentication.privateApiKey: מפתח ה-API הפרטי של חשבון Klaviyo. -
connector.startDate: (אופציונלי) תאריך התחלה של רשומות חדשות שייכללו בהעברת הנתונים, בפורמטYYYY-MM-DD. רק רשומות שנוצרו בתאריך הזה או אחריו ייכללו בהעברת הנתונים. ערך ברירת המחדל הוא 3 חודשים לפני תאריך ההפעלה של ההעברה.
-
הפקודה הבאה יוצרת העברת נתונים של Klaviyo בפרויקט ברירת המחדל.
bq mk --transfer_config --target_dataset=mydataset --data_source=klaviyo --display_name='My Transfer' --params= ' { "assets": [ "Events" , "Flows"] , "connector.authentication.privateApiKey" : "pk_123456789123", "connector.startDate": "2025-10-20" }'
כדי להפעיל העברת נתונים ידנית מחוץ ללוח הזמנים הרגיל, אפשר להתחיל הרצה של מילוי חוסרים.
רשימת הנתונים שכלולים בהעברת נתונים ב-Klaviyo מופיעה במאמר Klaviyo data model reference.
מיפוי סוגי נתונים
בטבלה הבאה מפורטים סוגי הנתונים ב-Klaviyo וסוגי הנתונים התואמים ב-BigQuery:
| סוג הנתונים ב-Klaviyo | סוג נתונים ב-BigQuery |
|---|---|
String |
STRING |
Text |
STRING |
Integer |
INTEGER |
Boolean |
BOOLEAN |
Date (YYYY-MM-DD HH:MM:SS) |
TIMESTAMP |
List |
ARRAY |
תמחור
העברת נתונים מ-Klaviyo ל-BigQuery לא כרוכה בתשלום בזמן שהתכונה נמצאת בגרסת Preview.
פתרון בעיות בהגדרת ההעברה
אם נתקלתם בבעיות בהגדרת העברת הנתונים, כדאי לעיין במאמר בעיות בהעברת נתונים ב-Klaviyo.
המאמרים הבאים
- סקירה כללית של שירות העברת הנתונים ל-BigQuery זמינה במאמר מהו שירות העברת נתונים ל-BigQuery.
- מידע על שימוש בהעברות, כולל קבלת מידע על הגדרת העברה, הצגת רשימה של הגדרות העברה והצגת היסטוריית ההרצה של העברה, זמין במאמר ניהול העברות.