ניהול חילופי נתונים

במאמר הזה מוסבר איך לנהל שיתוף נתונים ב-BigQuery (לשעבר Analytics Hub). כאדמין של BigQuery sharing, תוכלו לבצע את הפעולות הבאות:

  • יצירה, עדכון, צפייה, שיתוף ומחיקה של החלפות נתונים.
  • ליצור, לעדכן, למחוק ולשתף כרטיסי מוצר.
  • ניהול מנהלי BigQuery sharing, מנהלי רישום, מפרסמים, מנויים וצופים.

כברירת מחדל, חילופי נתונים הם פרטיים. רק משתמשים או קבוצות שיש להם גישה לאוסף נתונים לשיתוף יכולים לראות את הנתונים שלו או להירשם לקבלת עדכונים לגביו. אתם יכולים לבקש לפרסם את חילופי הנתונים שלכם. הגדרת אוסף הנתונים לשיתוף כציבורי מאפשרת למשתמשיCloud de Confiance by S3NS (allAuthenticatedUsers) לגלות ולהירשם לרישומים.

לפני שמתחילים

כדי להתחיל להשתמש ב-BigQuery sharing (לשעבר Analytics Hub), צריך להפעיל את Analytics Hub API בתוך Cloud de Confiance by S3NS הפרויקט.

כדי להפעיל את Analytics Hub API, אתם צריכים את ההרשאות הבאות בממשק של ניהול הזהויות והרשאות הגישה (IAM):

  • serviceUsage.services.get
  • serviceUsage.services.list
  • serviceUsage.services.enable

תפקיד ה-IAM המוגדר מראש הבא כולל את ההרשאות שנדרשות להפעלת Analytics Hub API:

כדי להפעיל את Analytics Hub API, בוחרים באחת מהאפשרויות הבאות:

המסוף

עוברים לדף Analytics Hub API ומפעילים את Analytics Hub API בפרויקט שלכם ב- Cloud de Confiance .

הפעלת Analytics Hub API

gcloud

מריצים את הפקודה gcloud services enable:

gcloud services enable analyticshub.googleapis.com

התפקידים הנדרשים

כדי לקבל את ההרשאות שנדרשות לניהול מרכזי נתונים, צריך לבקש מהאדמין להקצות לכם ב-IAM את התפקיד אדמין של Analytics Hub (roles/analyticshub.admin) בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

יצירת אוסף נתונים לשיתוף

כדי ליצור אוסף נתונים לשיתוף, פועלים לפי השלבים הבאים:

המסוף

  1. עוברים לדף שיתוף (מרכז Analytics).

    מעבר אל 'שיתוף' (Analytics Hub)

  2. לוחצים על Create exchange.

  3. בתיבת הדו-שיח Create exchange, בוחרים פרויקט ואזור לחילופי הנתונים. אחרי שיוצרים את אוסף הנתונים לשיתוף, אי אפשר לעדכן את הפרויקט והאזור.

  4. בשדה שם לתצוגה, מזינים שם לבורסת הנתונים.

  5. אופציונלי: מזינים ערכים בשדות הבאים:

    • איש קשר ראשי: מזינים את כתובת ה-URL או כתובת האימייל של איש הקשר הראשי שאחראי על אוסף הנתונים לשיתוף.
    • תיאור: מזינים תיאור לחילופי הנתונים.
  6. כדי לרשום ביומן את מזהי העיקרון של כל המשתמשים שמריצים משימות ושאילתות במערכי נתונים מקושרים, לוחצים על המתג Subscriber Email Logging (רישום ביומן של כתובות אימייל של מנויים). כשמפעילים את האפשרות הזו, רישום כתובות האימייל של המנויים מופעל בכל כרטיסי המוצר העתידיים בבורסת הנתונים. הנתונים שנרשמו ביומן זמינים בשדה job_principal_subject בתצוגה INFORMATION_SCHEMA.SHARED_DATASET_USAGE.

  7. כדי לאפשר גילוי ציבורי, לוחצים על המתג גילוי ציבורי. כשבורסה ניתנת לגילוי באופן ציבורי, כל כרטיסי המוצר בבורסה מופיעים בקטלוג וניתן לחפש אותם. אם מפעילים את האפשרות 'גילוי על ידי הציבור', צריך להגדיר את הרשאות הגישה. כברירת מחדל, כל כרטיסי המוצר מקבלים בירושה את הגדרת החשיפה לציבור של חילופי הנתונים. המשמעות של העברת ההגדרות היא שבבורסות ציבוריות לא יכולים להיות דפים פרטיים, אבל בבורסות פרטיות יכולים להיות דפים ציבוריים. אפשר להגדיר את סוג החשיפה לציבור ברמת כרטיס המוצר הבודד. לפרויקט שבו יוצרים את אוסף הנתונים לשיתוף צריך להיות משויך ארגון וחשבון לחיוב.

  8. לוחצים על יצירת בורסה.

  9. אופציונלי: בקטע Exchange Permissions (הרשאות Exchange), מבצעים את השלבים הבאים:

    1. מזינים כתובות אימייל בשדות הבאים כדי להעניק את התפקידים בניהול זהויות והרשאות גישה (IAM):

    2. כדי לשמור את ההרשאות, לוחצים על הגדרת הרשאות.

  10. אם לא הגדרתם הרשאות לשיתוף הנתונים, לוחצים על דילוג.

API

משתמשים בשיטה projects.locations.dataExchanges.create.

POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/location/LOCATION/dataExchanges?dataExchangeId=DATAEXCHANGE_ID

מחליפים את מה שכתוב בשדות הבאים:

  • PROJECT_ID: מזהה הפרויקט שבו רוצים ליצור את אוסף נתונים לשיתוף.
  • LOCATION: המיקום של אוסף נתונים לשיתוף. מידע נוסף על מיקומים שתומכים ב-BigQuery sharing זמין במאמר בנושא אזורים נתמכים.
  • DATAEXCHANGE_ID: המזהה של אוסף הנתונים לשיתוף.

בגוף הבקשה, מציינים את פרטי חילופי הנתונים.

אם הבקשה מצליחה, גוף התגובה מכיל את פרטי חילופי הנתונים.

אם מפעילים את רישום היומנים של כתובות האימייל של המנויים באמצעות השדה logLinkedDatasetQueryUserEmail, התשובה של חילופי הנתונים מכילה את הערך log_linked_dataset_query_user_email: true. הנתונים שנרשמו ביומן זמינים בשדה job_principal_subject של התצוגה INFORMATION_SCHEMA.SHARED_DATASET_USAGE.

מידע נוסף על המשימות שאפשר לבצע בבורסות נתונים באמצעות ממשקי API זמין במאמר שיטות של projects.locations.dataExchanges.

עדכון של שיתוף נתונים

כדי לעדכן אוסף נתונים לשיתוף, פועלים לפי השלבים הבאים:

המסוף

  1. עוברים לדף שיתוף (מרכז Analytics).

    מעבר אל 'שיתוף' (Analytics Hub)

  2. ברשימת חילופי הנתונים, בוחרים את חילוף הנתונים שרוצים לעדכן.

  3. עוברים לכרטיסייה פרטים.

  4. לוחצים על עריכת החשבון.

  5. בתיבת הדו-שיח עריכת בורסה, מעדכנים את השדות הבאים:

    • השם המוצג
    • איש הקשר הראשי
    • תיאור
    • גילוי ציבורי
      • אם מפעילים את האפשרות 'גילוי ציבורי', צריך להעניק את התפקיד 'צפייה ב-Analytics Hub' (roles/analyticshub.viewer) למשתמשים allUsers או allAuthenticatedUsers.
      • אם משביתים את האפשרות שאנשים יוכלו למצוא את המרכז באופן ציבורי, צריך להסיר את התפקיד 'צפייה ב-Analytics Hub' (roles/analyticshub.viewer) מ-allUsers או מ-allAuthenticatedUsers. בבורסות פתוחות אי אפשר לפרסם מלאי שטחי פרסום פרטי, אבל בבורסות פרטיות אפשר לפרסם מלאי שטחי פרסום פתוח.
    • רישום ביומן של אימיילים למנויים

  6. לוחצים על Save.

API

משתמשים בשיטה projects.locations.dataExchanges.patch.

PATCH https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/location/LOCATION/dataExchanges/DATAEXCHANGE_ID?updateMask=UPDATEMASK

מחליפים את UPDATEMASK ברשימת השדות שרוצים לעדכן. כדי לעדכן כמה ערכים, צריך להשתמש ברשימה מופרדת בפסיקים. לדוגמה, כדי לעדכן את השם המוצג ואת איש הקשר הראשי של אוסף נתונים לשיתוף, מזינים displayName,primaryContact.

בגוף הבקשה, מציינים ערכים מעודכנים בשדות הבאים:

  • displayName
  • description
  • primaryContact
  • documentation
  • icon
  • discoveryType
  • logLinkedDatasetQueryUserEmail

פרטים על השדות האלה זמינים במאמר בנושא משאב: DataExchange.

מידע נוסף על המשימות שאפשר לבצע בבורסות נתונים באמצעות ממשקי API זמין במאמר שיטות של projects.locations.dataExchanges.

הצגת החלפות נתונים

כדי לראות את חילופי הנתונים בפרויקט או בארגון שלכם שיש לכם גישה אליהם, פועלים לפי השלבים הבאים:

המסוף

  1. עוברים לדף שיתוף (מרכז Analytics).

    מעבר אל 'שיתוף' (Analytics Hub)

  2. בדף מוצגים חילופי הנתונים ב Cloud de Confiance by S3NS פרויקט. אם יש לכם הרשאה resourcemanager.organizations.get, תוכלו גם לראות את חילופי הנתונים בארגון שלכם Cloud de Confiance .

API

כדי לראות את חילופי הנתונים בפרויקט, משתמשים בשיטה projects.locations.dataExchanges.list:

GET https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/location/LOCATION/dataExchanges

מחליפים את מה שכתוב בשדות הבאים:

  • PROJECT_ID: מזהה הפרויקט.
  • LOCATION: המיקום שבו רוצים להציג את בורסות הנתונים הקיימות.

כדי לראות את חילופי הנתונים בארגון, משתמשים בשיטה organizations.locations.dataExchanges.list:

GET https://analyticshub.googleapis.com/v1/organizations/ORGANIZATION_ID/location/LOCATION/dataExchanges

מחליפים את מה שכתוב בשדות הבאים:

  • ORGANIZATION_ID: מזהה הארגון. מידע נוסף זמין במאמר איך מוצאים את מספר הארגון.
  • LOCATION: המיקום שבו רוצים להציג את רשימת חילופי הנתונים הקיימים.

שיתוף אוסף נתונים לשיתוף

אם המפרסם של BigQuery sharing שייך לארגון אחר מהארגון שמכיל את אוסף הנתונים לשיתוף, המפרסם לא יכול לראות את אוסף הנתונים לשיתוף ב-BigQuery sharing. משתפים עם בעל התוכן הדיגיטלי קישור לחילופי הנתונים.

  1. עוברים לדף שיתוף (מרכז Analytics).

    מעבר אל 'שיתוף' (Analytics Hub)

  2. ברשימת חילופי הנתונים, לוחצים על אפשרויות נוספות.

  3. לוחצים על העתקת קישור לשיתוף.

מתן גישה למשתמשים לאוסף נתונים לשיתוף

כדי לתת למשתמשים גישה לאוסף נתונים לשיתוף, צריך להגדיר את מדיניות IAM לאוסף הנתונים לשיתוף הזה. במאמר תפקידי IAM לשיתוף ב-BigQuery יש מידע על תפקידי משתמש מוגדרים מראש ב-IAM.

המסוף

  1. נכנסים לדף Sharing (Analytics Hub) במסוף Cloud de Confiance .

    מעבר אל 'שיתוף' (Analytics Hub)

  2. לוחצים על השם של חילופי הנתונים שרוצים להגדיר להם הרשאות.

  3. עוברים לכרטיסייה פרטים.

  4. לוחצים על הגדרת הרשאות.

  5. כדי להוסיף ישויות, לוחצים על Add principal.

  6. בשדה New principals, מוסיפים את מזהי האימייל שרוצים להעניק להם גישה. אפשר גם להשתמש ב-allUsers כדי להגדיר משאב כציבורי ונגיש לכל אחד באינטרנט, או ב-allAuthenticatedUsers כדי להגדיר אותו כנגיש רק למשתמשים מחוברים ב-Google.

  7. בתפריט Select a role, בוחרים באפשרות Analytics Hub ואז בוחרים אחד מהתפקידים הבאים בניהול זהויות והרשאות גישה (IAM):

    • Analytics Hub Admin
    • אדמין של כרטיס מוצר ב-Analytics Hub
    • Analytics Hub Publisher
    • Analytics Hub Subscriber
    • בעלים של מינוי ל-Analytics Hub
    • Analytics Hub Viewer
  8. לוחצים על Save.

API

  1. קוראים את המדיניות הקיימת באמצעות ה-method‏ getIamPolicy של הרישום באמצעות projects.locations.dataExchanges.getIamPolicy:

    POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataExchanges/DATAEXCHANGE_ID:getIamPolicy
    

    מחליפים את מה שכתוב בשדות הבאים:

    • PROJECT_ID: מזהה הפרויקט, לדוגמה: my-project-1.
    • LOCATION: המיקום של מרכז הנתונים שלכם. משתמשים באותיות קטנות.
    • DATAEXCHANGE_ID: מזהה חילופי הנתונים.

    שיתוף ב-BigQuery (לשעבר Analytics Hub) מחזיר את המדיניות הנוכחית.

  2. כדי להוסיף או להסיר חברים ואת התפקידים המשויכים שלהם בניהול הזהויות והרשאות הגישה (IAM), צריך לערוך את המדיניות באמצעות כלי לעריכת טקסט. כדי להוסיף חברים, צריך להשתמש בפורמט הבא:

    • user:test-user@gmail.com
    • group:admins@example.com
    • serviceAccount:test123@example.domain.com
    • domain:example.domain.com

    לדוגמה, כדי להקצות את התפקיד roles/analyticshub.subscriber ל-group:subscribers@example.com, מוסיפים את הקישור הבא למדיניות:

    {
     "members": [
       "group:subscribers@example.com"
     ],
     "role":"roles/analyticshub.subscriber"
    }
    
  3. כותבים את המדיניות המעודכנת באמצעות השיטה projects.locations.dataExchanges.setIamPolicy. בגוף הבקשה, מציינים את מדיניות ה-IAM המעודכנת מהשלב הקודם.

    POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataExchanges/DATAEXCHANGE_ID:setIamPolicy
    

    בגוף הבקשה, מציינים את פרטי הכרטיס. אם הבקשה תאושר, גוף התגובה יכיל פרטים על כרטיס המוצר.

יצירת אדמינים לשיתוף ב-BigQuery

כדי לנהל אוספי נתונים לשיתוף, צריך ליצור אדמינים של אוספי נתונים לשיתוף על ידי הענקת הרשאת אדמין ב-Analytics Hub (roles/analyticshub.admin) למשתמשים ברמת הפרויקט או ברמת אוסף הנתונים לשיתוף.

כדי לאפשר לאדמינים לנהל את כל חילופי הנתונים בפרויקט, צריך להקצות להם את תפקיד האדמין ב-Analytics Hub בפרויקט הזה.

כדי לאפשר לאדמינים לנהל אוסף נתונים לשיתוף ספציפי, צריך להקצות להם את תפקיד האדמין ב-Analytics Hub עבור אוסף הנתונים לשיתוף האלה.

הגדרת גישה ציבורית לאוסף נתונים לשיתוף

כברירת מחדל, חילופי נתונים הם פרטיים. רק משתמשים או קבוצות עם גישה לאוסף נתונים לשיתוף יכולים לראות את כרטיסי המוצר שלו או להירשם אליו. אפשר להפוך את אוסף הנתונים לשיתוף לציבורי, וכך משתמשיCloud de Confiance by S3NS (allAuthenticatedUsers) יוכלו לגלות את כרטיסי המוצר שלהם ולהירשם אליהם.

כדי להפוך את שיתוף הנתונים לציבורי, פועלים לפי השלבים הבאים:

  1. כדי לאפשר למשתמש allAuthenticatedUsers לצפות בכרטיסי מוצר, צריך להקצות לו את התפקיד 'צפייה ב-Analytics Hub' (roles/analyticshub.viewer) ברמת חילופי הנתונים.

  2. כדי לאפשר ל-allAuthenticatedUsers להירשם לכרטיסי מוצר, צריך להקצות לו את התפקיד 'מנוי ל-Analytics Hub' (roles/analyticshub.subscriber) ברמת אוסף הנתונים לשיתוף.

  3. מפעילים את האפשרות 'גילוי על ידי הציבור' כשיוצרים או מעדכנים אוסף נתונים לשיתוף. כשמגדירים שיתוף נתונים כציבורי, צריך לציין את ההרשאות המתאימות.

מחיקת שיתוף נתונים

מחיקה של אוסף נתונים לשיתוף תגרום גם למחיקה של כל כרטיסי המוצר שלו. עם זאת, מערכי נתונים משותפים ומקושרים לא נמחקים. כשמוחקים פרויקט, חילופי הנתונים שלו לא נמחקים. צריך למחוק את חילופי הנתונים האלה לפני מחיקת הפרויקט. אי אפשר לבטל מחיקה של אוסף נתונים לשיתוף.

לפני שמוחקים אוסף נתונים לשיתוף, צריך לבצע את השלבים הבאים בהתאם להגדרות של אוסף הנתונים לשיתוף:

כדי למחוק אוסף נתונים לשיתוף, פועלים לפי השלבים הבאים:

המסוף

  1. עוברים לדף שיתוף (מרכז Analytics).

    מעבר אל 'שיתוף' (Analytics Hub)

  2. ברשימת אוספי הנתונים לשיתוף, בוחרים את אוסף הנתונים לשיתוף שרוצים למחוק.

  3. עוברים לכרטיסייה פרטים.

  4. לוחצים על מחיקת החשבון.

  5. בתיבת הדו-שיח מחיקת ההחלפה?, מקלידים מחיקה כדי לאשר את המחיקה.

  6. לוחצים על Delete.

API

משתמשים בשיטה projects.locations.dataExchanges.delete.

DELETE https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataExchanges/DATAEXCHANGE_ID

מחליפים את מה שכתוב בשדות הבאים:

  • PROJECT_ID: מזהה הפרויקט שבו רוצים ליצור את אוסף נתונים לשיתוף.
  • LOCATION: המיקום של אוסף נתונים לשיתוף. מידע נוסף על מיקומים שתומכים ב-BigQuery sharing זמין במאמר בנושא אזורים נתמכים.
  • DATAEXCHANGE_ID: המזהה של אוסף הנתונים לשיתוף.

מידע נוסף על המשימות שאפשר לבצע בבורסות נתונים באמצעות ממשקי API זמין במאמר שיטות של projects.locations.dataExchanges.

המאמרים הבאים