ניהול חילופי נתונים
במאמר הזה מוסבר איך לנהל שיתוף נתונים ב-BigQuery (לשעבר Analytics Hub). כאדמין של BigQuery sharing, תוכלו לבצע את הפעולות הבאות:
- יצירה, עדכון, צפייה, שיתוף ומחיקה של החלפות נתונים.
- ליצור, לעדכן, למחוק ולשתף כרטיסי מוצר.
- ניהול מנהלי BigQuery sharing, מנהלי רישום, מפרסמים, מנויים וצופים.
כברירת מחדל, חילופי נתונים הם פרטיים. רק משתמשים או קבוצות שיש להם גישה לאוסף נתונים לשיתוף יכולים לראות את הנתונים שלו או להירשם לקבלת עדכונים לגביו. אתם יכולים לבקש לפרסם את חילופי הנתונים שלכם.
הגדרת אוסף הנתונים לשיתוף כציבורי מאפשרת למשתמשיCloud de Confiance by S3NS (allAuthenticatedUsers) לגלות ולהירשם לרישומים.
לפני שמתחילים
כדי להתחיל להשתמש ב-BigQuery sharing (לשעבר Analytics Hub), צריך להפעיל את Analytics Hub API בתוך Cloud de Confiance by S3NS הפרויקט.
כדי להפעיל את Analytics Hub API, אתם צריכים את ההרשאות הבאות בממשק של ניהול הזהויות והרשאות הגישה (IAM):
serviceUsage.services.getserviceUsage.services.listserviceUsage.services.enable
תפקיד ה-IAM המוגדר מראש הבא כולל את ההרשאות שנדרשות להפעלת Analytics Hub API:
- אדמין בשימוש בשירות (
roles/serviceusage.serviceUsageAdmin)
כדי להפעיל את Analytics Hub API, בוחרים באחת מהאפשרויות הבאות:
המסוף
עוברים לדף Analytics Hub API ומפעילים את Analytics Hub API בפרויקט שלכם ב- Cloud de Confiance .
gcloud
מריצים את הפקודה gcloud services enable:
gcloud services enable analyticshub.googleapis.com
התפקידים הנדרשים
כדי לקבל את ההרשאות שנדרשות לניהול מרכזי נתונים, צריך לבקש מהאדמין להקצות לכם ב-IAM את התפקיד אדמין של Analytics Hub (roles/analyticshub.admin) בפרויקט.
כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.
יצירת אוסף נתונים לשיתוף
כדי ליצור אוסף נתונים לשיתוף, פועלים לפי השלבים הבאים:
המסוף
עוברים לדף שיתוף (מרכז Analytics).
לוחצים על Create exchange.
בתיבת הדו-שיח Create exchange, בוחרים פרויקט ואזור לחילופי הנתונים. אחרי שיוצרים את אוסף הנתונים לשיתוף, אי אפשר לעדכן את הפרויקט והאזור.
בשדה שם לתצוגה, מזינים שם לבורסת הנתונים.
אופציונלי: מזינים ערכים בשדות הבאים:
- איש קשר ראשי: מזינים את כתובת ה-URL או כתובת האימייל של איש הקשר הראשי שאחראי על אוסף הנתונים לשיתוף.
- תיאור: מזינים תיאור לחילופי הנתונים.
כדי לרשום ביומן את מזהי העיקרון של כל המשתמשים שמריצים משימות ושאילתות במערכי נתונים מקושרים, לוחצים על המתג Subscriber Email Logging (רישום ביומן של כתובות אימייל של מנויים). כשמפעילים את האפשרות הזו, רישום כתובות האימייל של המנויים מופעל בכל כרטיסי המוצר העתידיים בבורסת הנתונים. הנתונים שנרשמו ביומן זמינים בשדה
job_principal_subjectבתצוגהINFORMATION_SCHEMA.SHARED_DATASET_USAGE.כדי לאפשר גילוי ציבורי, לוחצים על המתג גילוי ציבורי. כשבורסה ניתנת לגילוי באופן ציבורי, כל כרטיסי המוצר בבורסה מופיעים בקטלוג וניתן לחפש אותם. אם מפעילים את האפשרות 'גילוי על ידי הציבור', צריך להגדיר את הרשאות הגישה. כברירת מחדל, כל כרטיסי המוצר מקבלים בירושה את הגדרת החשיפה לציבור של חילופי הנתונים. המשמעות של העברת ההגדרות היא שבבורסות ציבוריות לא יכולים להיות דפים פרטיים, אבל בבורסות פרטיות יכולים להיות דפים ציבוריים. אפשר להגדיר את סוג החשיפה לציבור ברמת כרטיס המוצר הבודד. לפרויקט שבו יוצרים את אוסף הנתונים לשיתוף צריך להיות משויך ארגון וחשבון לחיוב.
לוחצים על יצירת בורסה.
אופציונלי: בקטע Exchange Permissions (הרשאות Exchange), מבצעים את השלבים הבאים:
מזינים כתובות אימייל בשדות הבאים כדי להעניק את התפקידים בניהול זהויות והרשאות גישה (IAM):
- אדמינים: מקצים למשתמשים האלה את תפקיד האדמין ב-Analytics Hub (
roles/analyticshub.admin). - בעלי תוכן דיגיטלי: מקצים למשתמשים האלה את תפקיד בעל התוכן הדיגיטלי ב-Analytics Hub (
roles/analyticshub.publisher). מידע על המשימות שמפרסמים ב-BigQuery sharing יכולים לבצע זמין במאמר ניהול כרטיסי מוצר. - מנויים: צריך להקצות למשתמשים האלה את תפקיד המנוי ב-Analytics Hub (
roles/analyticshub.subscriber). במאמר צפייה בפרטים של כרטיסי מוצר ובבורסות נתונים והרשמה אליהם מוסבר אילו משימות יכולים לבצע מנויים ל-BigQuery sharing. משתמשים עם הרשאת צפייה: צריך להקצות למשתמשים האלה את הרשאת הצפייה ב-Analytics Hub (
roles/analyticshub.viewer). משתמשים עם הרשאת צפייה ב-BigQuery יכולים לצפות בכרטיסי המוצר.אם הופעלה האפשרות 'גילוי ציבורי', צריך להעניק את הרשאת הצפייה ב-Analytics Hub למשתמש
allUsersאוallAuthenticatedUsers.
- אדמינים: מקצים למשתמשים האלה את תפקיד האדמין ב-Analytics Hub (
כדי לשמור את ההרשאות, לוחצים על הגדרת הרשאות.
אם לא הגדרתם הרשאות לשיתוף הנתונים, לוחצים על דילוג.
API
משתמשים בשיטה projects.locations.dataExchanges.create.
POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/location/LOCATION/dataExchanges?dataExchangeId=DATAEXCHANGE_ID
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: מזהה הפרויקט שבו רוצים ליצור את אוסף נתונים לשיתוף. LOCATION: המיקום של אוסף נתונים לשיתוף. מידע נוסף על מיקומים שתומכים ב-BigQuery sharing זמין במאמר בנושא אזורים נתמכים.-
DATAEXCHANGE_ID: המזהה של אוסף הנתונים לשיתוף.
בגוף הבקשה, מציינים את פרטי חילופי הנתונים.
אם הבקשה מצליחה, גוף התגובה מכיל את פרטי חילופי הנתונים.
אם מפעילים את רישום היומנים של כתובות האימייל של המנויים באמצעות השדה logLinkedDatasetQueryUserEmail, התשובה של חילופי הנתונים מכילה את הערך log_linked_dataset_query_user_email: true. הנתונים שנרשמו ביומן זמינים בשדה job_principal_subject של התצוגה INFORMATION_SCHEMA.SHARED_DATASET_USAGE.
מידע נוסף על המשימות שאפשר לבצע בבורסות נתונים באמצעות ממשקי API זמין במאמר שיטות של projects.locations.dataExchanges.
עדכון של שיתוף נתונים
כדי לעדכן אוסף נתונים לשיתוף, פועלים לפי השלבים הבאים:
המסוף
עוברים לדף שיתוף (מרכז Analytics).
ברשימת חילופי הנתונים, בוחרים את חילוף הנתונים שרוצים לעדכן.
עוברים לכרטיסייה פרטים.
לוחצים על עריכת החשבון.
בתיבת הדו-שיח עריכת בורסה, מעדכנים את השדות הבאים:
- השם המוצג
- איש הקשר הראשי
- תיאור
- גילוי ציבורי
- אם מפעילים את האפשרות 'גילוי ציבורי', צריך להעניק את התפקיד 'צפייה ב-Analytics Hub' (
roles/analyticshub.viewer) למשתמשיםallUsersאוallAuthenticatedUsers. - אם משביתים את האפשרות שאנשים יוכלו למצוא את המרכז באופן ציבורי, צריך להסיר את התפקיד 'צפייה ב-Analytics Hub' (
roles/analyticshub.viewer) מ-allUsersאו מ-allAuthenticatedUsers. בבורסות פתוחות אי אפשר לפרסם מלאי שטחי פרסום פרטי, אבל בבורסות פרטיות אפשר לפרסם מלאי שטחי פרסום פתוח.
- אם מפעילים את האפשרות 'גילוי ציבורי', צריך להעניק את התפקיד 'צפייה ב-Analytics Hub' (
רישום ביומן של אימיילים למנויים
לוחצים על Save.
API
משתמשים בשיטה projects.locations.dataExchanges.patch.
PATCH https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/location/LOCATION/dataExchanges/DATAEXCHANGE_ID?updateMask=UPDATEMASK
מחליפים את UPDATEMASK ברשימת השדות שרוצים לעדכן. כדי לעדכן כמה ערכים, צריך להשתמש ברשימה מופרדת בפסיקים. לדוגמה, כדי לעדכן את השם המוצג ואת איש הקשר הראשי של אוסף נתונים לשיתוף, מזינים displayName,primaryContact.
בגוף הבקשה, מציינים ערכים מעודכנים בשדות הבאים:
displayNamedescriptionprimaryContactdocumentationicondiscoveryTypelogLinkedDatasetQueryUserEmail
פרטים על השדות האלה זמינים במאמר בנושא משאב: DataExchange.
מידע נוסף על המשימות שאפשר לבצע בבורסות נתונים באמצעות ממשקי API זמין במאמר שיטות של projects.locations.dataExchanges.
הצגת החלפות נתונים
כדי לראות את חילופי הנתונים בפרויקט או בארגון שלכם שיש לכם גישה אליהם, פועלים לפי השלבים הבאים:
המסוף
עוברים לדף שיתוף (מרכז Analytics).
בדף מוצגים חילופי הנתונים ב Cloud de Confiance by S3NS פרויקט. אם יש לכם הרשאה
resourcemanager.organizations.get, תוכלו גם לראות את חילופי הנתונים בארגון שלכם Cloud de Confiance .
API
כדי לראות את חילופי הנתונים בפרויקט, משתמשים בשיטה projects.locations.dataExchanges.list:
GET https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/location/LOCATION/dataExchanges
מחליפים את מה שכתוב בשדות הבאים:
- PROJECT_ID: מזהה הפרויקט.
- LOCATION: המיקום שבו רוצים להציג את בורסות הנתונים הקיימות.
כדי לראות את חילופי הנתונים בארגון, משתמשים בשיטה organizations.locations.dataExchanges.list:
GET https://analyticshub.googleapis.com/v1/organizations/ORGANIZATION_ID/location/LOCATION/dataExchanges
מחליפים את מה שכתוב בשדות הבאים:
-
ORGANIZATION_ID: מזהה הארגון. מידע נוסף זמין במאמר איך מוצאים את מספר הארגון. -
LOCATION: המיקום שבו רוצים להציג את רשימת חילופי הנתונים הקיימים.
שיתוף אוסף נתונים לשיתוף
אם המפרסם של BigQuery sharing שייך לארגון אחר מהארגון שמכיל את אוסף הנתונים לשיתוף, המפרסם לא יכול לראות את אוסף הנתונים לשיתוף ב-BigQuery sharing. משתפים עם בעל התוכן הדיגיטלי קישור לחילופי הנתונים.
עוברים לדף שיתוף (מרכז Analytics).
ברשימת חילופי הנתונים, לוחצים על אפשרויות נוספות.
לוחצים על העתקת קישור לשיתוף.
מתן גישה למשתמשים לאוסף נתונים לשיתוף
כדי לתת למשתמשים גישה לאוסף נתונים לשיתוף, צריך להגדיר את מדיניות IAM לאוסף הנתונים לשיתוף הזה. במאמר תפקידי IAM לשיתוף ב-BigQuery יש מידע על תפקידי משתמש מוגדרים מראש ב-IAM.
המסוף
נכנסים לדף Sharing (Analytics Hub) במסוף Cloud de Confiance .
לוחצים על השם של חילופי הנתונים שרוצים להגדיר להם הרשאות.
עוברים לכרטיסייה פרטים.
לוחצים על הגדרת הרשאות.
כדי להוסיף ישויות, לוחצים על Add principal.
בשדה New principals, מוסיפים את מזהי האימייל שרוצים להעניק להם גישה. אפשר גם להשתמש ב-
allUsersכדי להגדיר משאב כציבורי ונגיש לכל אחד באינטרנט, או ב-allAuthenticatedUsersכדי להגדיר אותו כנגיש רק למשתמשים מחוברים ב-Google.בתפריט Select a role, בוחרים באפשרות Analytics Hub ואז בוחרים אחד מהתפקידים הבאים בניהול זהויות והרשאות גישה (IAM):
- Analytics Hub Admin
- אדמין של כרטיס מוצר ב-Analytics Hub
- Analytics Hub Publisher
- Analytics Hub Subscriber
- בעלים של מינוי ל-Analytics Hub
- Analytics Hub Viewer
לוחצים על Save.
API
קוראים את המדיניות הקיימת באמצעות ה-method
getIamPolicyשל הרישום באמצעותprojects.locations.dataExchanges.getIamPolicy:POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataExchanges/DATAEXCHANGE_ID:getIamPolicy
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: מזהה הפרויקט, לדוגמה:my-project-1. -
LOCATION: המיקום של מרכז הנתונים שלכם. משתמשים באותיות קטנות. -
DATAEXCHANGE_ID: מזהה חילופי הנתונים.
שיתוף ב-BigQuery (לשעבר Analytics Hub) מחזיר את המדיניות הנוכחית.
-
כדי להוסיף או להסיר חברים ואת התפקידים המשויכים שלהם בניהול הזהויות והרשאות הגישה (IAM), צריך לערוך את המדיניות באמצעות כלי לעריכת טקסט. כדי להוסיף חברים, צריך להשתמש בפורמט הבא:
user:test-user@gmail.comgroup:admins@example.comserviceAccount:test123@example.domain.comdomain:example.domain.com
לדוגמה, כדי להקצות את התפקיד
roles/analyticshub.subscriberל-group:subscribers@example.com, מוסיפים את הקישור הבא למדיניות:{ "members": [ "group:subscribers@example.com" ], "role":"roles/analyticshub.subscriber" }כותבים את המדיניות המעודכנת באמצעות השיטה
projects.locations.dataExchanges.setIamPolicy. בגוף הבקשה, מציינים את מדיניות ה-IAM המעודכנת מהשלב הקודם.POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataExchanges/DATAEXCHANGE_ID:setIamPolicy
בגוף הבקשה, מציינים את פרטי הכרטיס. אם הבקשה תאושר, גוף התגובה יכיל פרטים על כרטיס המוצר.
יצירת אדמינים לשיתוף ב-BigQuery
כדי לנהל אוספי נתונים לשיתוף, צריך ליצור אדמינים של אוספי נתונים לשיתוף על ידי הענקת הרשאת אדמין ב-Analytics Hub (roles/analyticshub.admin) למשתמשים ברמת הפרויקט או ברמת אוסף הנתונים לשיתוף.
כדי לאפשר לאדמינים לנהל את כל חילופי הנתונים בפרויקט, צריך להקצות להם את תפקיד האדמין ב-Analytics Hub בפרויקט הזה.
כדי לאפשר לאדמינים לנהל אוסף נתונים לשיתוף ספציפי, צריך להקצות להם את תפקיד האדמין ב-Analytics Hub עבור אוסף הנתונים לשיתוף האלה.
הגדרת גישה ציבורית לאוסף נתונים לשיתוף
כברירת מחדל, חילופי נתונים הם פרטיים. רק משתמשים או קבוצות עם גישה לאוסף נתונים לשיתוף יכולים לראות את כרטיסי המוצר שלו או להירשם אליו. אפשר להפוך את אוסף הנתונים לשיתוף לציבורי, וכך משתמשיCloud de Confiance by S3NS (allAuthenticatedUsers) יוכלו לגלות את כרטיסי המוצר שלהם ולהירשם אליהם.
כדי להפוך את שיתוף הנתונים לציבורי, פועלים לפי השלבים הבאים:
כדי לאפשר למשתמש
allAuthenticatedUsersלצפות בכרטיסי מוצר, צריך להקצות לו את התפקיד 'צפייה ב-Analytics Hub' (roles/analyticshub.viewer) ברמת חילופי הנתונים.כדי לאפשר ל-
allAuthenticatedUsersלהירשם לכרטיסי מוצר, צריך להקצות לו את התפקיד 'מנוי ל-Analytics Hub' (roles/analyticshub.subscriber) ברמת אוסף הנתונים לשיתוף.מפעילים את האפשרות 'גילוי על ידי הציבור' כשיוצרים או מעדכנים אוסף נתונים לשיתוף. כשמגדירים שיתוף נתונים כציבורי, צריך לציין את ההרשאות המתאימות.
מחיקת שיתוף נתונים
מחיקה של אוסף נתונים לשיתוף תגרום גם למחיקה של כל כרטיסי המוצר שלו. עם זאת, מערכי נתונים משותפים ומקושרים לא נמחקים. כשמוחקים פרויקט, חילופי הנתונים שלו לא נמחקים. צריך למחוק את חילופי הנתונים האלה לפני מחיקת הפרויקט. אי אפשר לבטל מחיקה של אוסף נתונים לשיתוף.
לפני שמוחקים אוסף נתונים לשיתוף, צריך לבצע את השלבים הבאים בהתאם להגדרות של אוסף הנתונים לשיתוף:
- כדי להחליף נתונים עם כרטיסי מוצר מסחריים שמשולבים עם Google Cloud Marketplace, צריך להסיר את השילוב של כרטיסי המוצר עם Cloud Marketplace.
- אם אתם משתמשים בחילופי נתונים עם כרטיסי מוצר בכמה אזורים, צריך להסיר את כל המינויים הפעילים באמצעות השיטה
projects.locations.subscriptions.revoke.
כדי למחוק אוסף נתונים לשיתוף, פועלים לפי השלבים הבאים:
המסוף
עוברים לדף שיתוף (מרכז Analytics).
ברשימת אוספי הנתונים לשיתוף, בוחרים את אוסף הנתונים לשיתוף שרוצים למחוק.
עוברים לכרטיסייה פרטים.
לוחצים על מחיקת החשבון.
בתיבת הדו-שיח מחיקת ההחלפה?, מקלידים מחיקה כדי לאשר את המחיקה.
לוחצים על Delete.
API
משתמשים בשיטה projects.locations.dataExchanges.delete.
DELETE https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataExchanges/DATAEXCHANGE_ID
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: מזהה הפרויקט שבו רוצים ליצור את אוסף נתונים לשיתוף. LOCATION: המיקום של אוסף נתונים לשיתוף. מידע נוסף על מיקומים שתומכים ב-BigQuery sharing זמין במאמר בנושא אזורים נתמכים.-
DATAEXCHANGE_ID: המזהה של אוסף הנתונים לשיתוף.
מידע נוסף על המשימות שאפשר לבצע בבורסות נתונים באמצעות ממשקי API זמין במאמר שיטות של projects.locations.dataExchanges.