טעינת נתונים מ-HubSpot ל-BigQuery

אפשר לטעון נתונים מ-HubSpot ל-BigQuery באמצעות שירות העברת הנתונים ל-BigQuery של מחבר HubSpot. באמצעות שירות העברת הנתונים ל-BigQuery, אתם יכולים לתזמן משימות העברה חוזרות שמוסיפות את הנתונים העדכניים שלכם מ-HubSpot ל-BigQuery.

מגבלות

כדי להתחבר ל-HubSpot, צריך אסימון גישה לאפליקציה פרטית לצורך אימות.

  • כדי להגדיר העברת נתונים מ-HubSpot, צריך ליצור אפליקציה פרטית ב-HubSpot ולקבל אסימון גישה לאפליקציה הפרטית. מידע נוסף זמין במאמר בנושא דרישות מוקדמות ל-HubSpot.

לפני שמתחילים

בקטעים הבאים מפורטות הדרישות המוקדמות שצריך לבצע לפני שיוצרים העברת נתונים ב-HubSpot.

דרישות מוקדמות לשימוש ב-HubSpot

צריך ליצור אפליקציה פרטית ב-HubSpot ולאחזר את טוקן הגישה של האפליקציה הפרטית. למידע נוסף, קראו את המאמרים הבאים:

היקפים נדרשים

היקפי HubSpot מאפשרים לשירותים אחרים לגשת לנקודות קצה ספציפיות של API כדי לגשת לנתונים בחשבון HubSpot. כדי לאפשר למחבר HubSpot להעביר נתונים מחשבון HubSpot שלכם, אתם צריכים להפעיל את היקפי ההרשאות הבאים באפליקציה הפרטית שלכם:

היקפים נדרשים

  • automation
  • business-intelligence
  • collector_graphql_query_execute
  • collector_graphql_query_read
  • content
  • conversations.read
  • conversations.visitor_identification.tokens.create
  • crm.import
  • crm.lists.read
  • crm.objects.companies.read
  • crm.objects.contacts.read
  • crm.objects.deals.read
  • crm.objects.owners.read
  • crm.schemas.companies.read
  • crm.schemas.contacts.read
  • crm.schemas.deals.read
  • e-commerce
  • files
  • forms
  • forms-uploaded-files
  • hubdb
  • integration-sync
  • oauth
  • sales-email-read
  • settings.users.read
  • settings.users.teams.read
  • social
  • tickets
  • timeline
  • transactional-email

מידע על הגדרת היקפים לאפליקציה פרטית מופיע במאמר בנושא אפליקציות פרטיות מדור קודם.

היקפי הרשאות אופציונליים

כדי להעביר אובייקטים מסוימים של נתונים ב-HubSpot, כמו מידע אישי רגיש או נתונים רגישים מאוד, צריך גם להפעיל את היקפי ההרשאות הבאים:

היקפים של מידע אישי רגיש

כדי להעביר מידע אישי רגיש, צריך להפעיל את היקפי ההרשאות הבאים:

  • crm.objects.contacts.sensitive.read
  • crm.objects.companies.sensitive.read
  • crm.objects.deals.sensitive.read
  • crm.objects.appointments.sensitive.read
  • crm.objects.custom.sensitive.read
  • crm.objects.projects.sensitive.read
  • tickets.sensitive

היקפים של מידע אישי רגיש

כדי להעביר נתונים רגישים מאוד, צריך להפעיל את היקפי ההרשאות הבאים:

  • crm.objects.contacts.highly_sensitive.read
  • crm.objects.companies.highly_sensitive.read
  • crm.objects.deals.highly_sensitive.read
  • crm.objects.custom.highly_sensitive.read
  • crm.objects.projects.highly_sensitive.read
  • tickets.highly_sensitive

היקפי גישה לנתונים אחרים

כדי להעביר חלק מאובייקטי הנתונים, צריך לכלול היקפים ספציפיים בהעברת הנתונים. לדוגמה, כדי להעביר את objects.courses, צריך להגדיר את היקף ההרשאות crm.objects.courses.read. הרשימה הבאה כוללת את היקפי ההרשאות הנדרשים להעברת אובייקט הנתונים המתאים:

  • crm.objects.appointments.read
  • crm.objects.courses.read
  • crm.objects.custom.read
  • crm.objects.goals.read
  • crm.objects.leads.read
  • crm.objects.line_items.read
  • crm.objects.listings.read
  • crm.objects.orders.read
  • crm.objects.owners.read
  • crm.objects.products.read
  • crm.objects.services.read
  • crm.objects.users.read
  • crm.pipelines.orders.read
  • crm.schemas.appointments.read
  • crm.schemas.courses.read
  • crm.schemas.custom.read
  • crm.schemas.deals.read
  • crm.schemas.line_items.read
  • crm.schemas.listings.read
  • crm.schemas.orders.read
  • crm.schemas.quotes.read
  • crm.schemas.services.read
  • marketing.campaigns.read
  • marketing.campaigns.revenue.read
  • settings.users.read
  • settings.users.teams.read
  • crm.dealsplits.read_write
  • crm.export
  • crm.extensions_calling_transcripts.read
  • crm.schemas.carts.read
  • crm.objects.carts.read
  • crm.objects.subscriptions.read
  • crm.objects.commercepayments.read
  • crm.objects.projects.read
  • crm.objects.quotes.read
  • crm.objects.partner-clients.read
  • crm.objects.partner-services.read
  • crm.objects.marketing_events.read
  • crm.objects.invoices.read
  • crm.objects.feedback_submissions.read
  • crm.objects.forecasts.read
  • crm.schemas.commercepayments.read
  • crm.schemas.forecasts.read
  • crm.schemas.invoices.read
  • crm.schemas.projects.read
  • crm.schemas.subscriptions.read

דרישות מוקדמות ל-BigQuery

התפקידים הנדרשים ב-BigQuery

כדי לקבל את ההרשאות שנדרשות ליצירת העברת נתונים באמצעות שירות העברת נתונים ל-BigQuery, צריך לבקש מהאדמין להקצות לכם את תפקיד BigQuery Admin ‏ (roles/bigquery.admin) ב-IAM בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקיד המוגדר מראש הזה כולל את ההרשאות שנדרשות ליצירת העברת נתונים בשירות העברת נתונים ל-BigQuery. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי ליצור העברת נתונים באמצעות שירות העברת הנתונים ל-BigQuery, נדרשות ההרשאות הבאות:

  • הרשאות של שירות העברת נתונים ל-BigQuery:
    • bigquery.transfers.update
    • bigquery.transfers.get
  • הרשאות ב-BigQuery:
    • bigquery.datasets.get
    • bigquery.datasets.getIamPolicy
    • bigquery.datasets.update
    • bigquery.datasets.setIamPolicy
    • bigquery.jobs.create

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

מידע נוסף מופיע במאמר בנושא מתן גישה ל-bigquery.admin.

אם אתם מתכוונים להגדיר התראות על הפעלת העברה ב-Pub/Sub, ודאו שיש לכם את הרשאת pubsub.topics.setIamPolicyIAM. אם מגדירים רק התראות באימייל, לא צריך הרשאות Pub/Sub. מידע נוסף זמין במאמר בנושא התראות על הפעלת שירות העברת נתונים ל-BigQuery.

הגדרה של העברת נתונים מ-HubSpot

כדי להוסיף נתונים מ-HubSpot ל-BigQuery, צריך להגדיר העברה באחת מהדרכים הבאות:

המסוף

  1. עוברים לדף 'העברות נתונים' במסוף Cloud de Confiance .

    מעבר אל 'העברות נתונים'

  2. לוחצים על Create transfer (יצירת העברה).

  3. בקטע סוג המקור, בוחרים באפשרות HubSpot – תצוגה מקדימה בשדה מקור.

  4. בקטע Data source details (פרטים של מקור הנתונים), מבצעים את הפעולות הבאות:

    • בשדה Access token (טוקן גישה), מזינים את מפתח טוקן הגישה הפרטי. מידע נוסף זמין במאמר בנושא דרישות מוקדמות ל-HubSpot.
    • בקטע HubSpot objects to transfer (אובייקטים של HubSpot להעברה), לוחצים על Browse (עיון) כדי לבחור אובייקטים להעברה למערך הנתונים של היעד ב-BigQuery. אפשר גם להזין באופן ידני אובייקטים שרוצים לכלול בהעברת הנתונים בשדה הזה.
      • אפשר לבחור אובייקטים מותאמים אישית של HubSpot, שמופיעים בתפריט עיון בפורמט CUSTOM_OBJECT_NAME__c.

  5. בקטע הגדרות יעד, בשדה מערך נתונים, בוחרים את מערך הנתונים שיצרתם לאחסון הנתונים.

  6. בקטע Transfer config name (שם הגדרת ההעברה), בשדה Display name (שם מוצג), מזינים שם להעברת הנתונים.

  7. בקטע אפשרויות תזמון:

    • ברשימה תדירות החזרה, בוחרים אפשרות כדי לציין באיזו תדירות יתבצע העברת הנתונים. כדי לציין תדירות חזרה מותאמת אישית, בוחרים באפשרות בהתאמה אישית. אם בוחרים באפשרות על פי דרישה, ההעברה הזו תתבצע כשמפעילים אותה באופן ידני.
    • אם רלוונטי, בוחרים באפשרות התחלה מיידית או התחלה בשעה שנקבעה, ומזינים תאריך התחלה ומשך הפעלה.

  8. אופציונלי: בקטע אפשרויות התראות, מבצעים את הפעולות הבאות:

    • כדי להפעיל התראות באימייל, לוחצים על המתג התראות באימייל. כשמפעילים את האפשרות הזו, האדמין של ההעברה מקבל הודעה באימייל אם ההעברה נכשלת.
    • כדי להפעיל התראות על הפעלת העברה ב-Pub/Sub להעברה הזו, לוחצים על המתג Pub/Sub notifications. אפשר לבחור את שם הנושא או ללחוץ על יצירת נושא כדי ליצור נושא.

  9. לוחצים על Save.

BQ

מזינים את הפקודה bq mk ומספקים את הדגל ליצירת העברה --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID (אופציונלי): מזהה הפרויקט ב- Cloud de Confiance by S3NS . אם לא מציינים את --project_id כדי לציין פרויקט מסוים, המערכת משתמשת בפרויקט שמוגדר כברירת מחדל.
  • ‫DATA_SOURCE: מקור הנתונים – hubspot.
  • ‫NAME: השם המוצג של הגדרות העברת הנתונים. שם ההעברה יכול להיות כל ערך שיעזור לכם לזהות את ההעברה אם תצטרכו לשנות אותה בהמשך.
  • ‫DATASET: מערך הנתונים של היעד להגדרת ההעברה.

  • ‫PARAMETERS: הפרמטרים של הגדרות ההעברה שנוצרו בפורמט JSON. לדוגמה: --params='{"param":"param_value"}'. אלה הפרמטרים להעברת נתונים ב-HubSpot:

    • ‫assets: הנתיב לאובייקטים של HubSpot שיועברו ל-BigQuery.
      • אפשר לציין אובייקטים מותאמים אישית של HubSpot באמצעות הפורמט CUSTOM_OBJECT_NAME__c.
    • ‫connector.authentication.oauth.accessToken: המפתח של אסימון הגישה הפרטי ב-HubSpot.

הפקודה הבאה יוצרת העברת נתונים של HubSpot בפרויקט ברירת המחדל.

    bq mk \
        --transfer_config \
        --target_dataset=mydataset \
        --data_source=hubspot \
        --display_name='My Transfer' \
        --params= ' {
            "assets": ["Contacts", "Deals"],
            "connector.authentication.oauth.accessToken": "pat_123456789123"}'
כששומרים את הגדרות ההעברה, מחבר HubSpot מפעיל באופן אוטומטי העברה בהתאם לאפשרות של לוח הזמנים שהגדרתם. בכל הפעלה של העברה, המחבר של HubSpot מעביר את כל הנתונים שזמינים ב-HubSpot אל BigQuery.

כדי להפעיל העברת נתונים ידנית מחוץ ללוח הזמנים הרגיל, אפשר להתחיל הרצה של מילוי חוסרים.

מיפוי סוגי נתונים

בטבלה הבאה מפורטים סוגי הנתונים ב-HubSpot והסוגים התואמים ב-BigQuery:

סוג הנתונים ב-HubSpot סוג נתונים ב-BigQuery
String STRING
Text STRING
Integer INTEGER
Boolean BOOLEAN
Date TIMESTAMP
Datetime TIMESTAMP
Long BIGNUMERIC

תמחור

העברת נתונים מ-HubSpot אל BigQuery לא כרוכה בתשלום בזמן שהתכונה הזו נמצאת בגרסת Preview.

פתרון בעיות בהגדרת ההעברה

אם נתקלתם בבעיות בהגדרת העברת הנתונים, כדאי לעיין במאמר בעיות בהעברה של HubSpot.

המאמרים הבאים