הצגה והרשמה לכרטיסי מוצר ולמרכזי נתונים

במאמר הזה מוסבר איך לצפות בפרטי כרטיסי מוצר ובבורסות נתונים ב-BigQuery sharing (לשעבר Analytics Hub) ולהירשם אליהם. אם יש לכם מינוי לשיתוף ב-BigQuery, אתם יכולים לראות ולהירשם לרישומים ולמרכזי נתונים שיש לכם גישה אליהם. כשנרשמים לכרטיס מוצר או לאוסף נתונים לשיתוף ב-BigQuery sharing, נוצר מערך נתונים מקושר ב Cloud de Confiance פרויקט.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לשימוש ב-BigQuery sharing, צריך לבקש מהאדמין של BigQuery sharing להקצות לכם את התפקידים הבאים ב-Identity and Access Management (IAM) בפרויקט המנוי של BigQuery sharing:

כדי לקרוא הסבר על מתן תפקידים, קראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות לביצוע המשימות שמתוארות במסמך הזה. כדי לראות בדיוק אילו הרשאות נדרשות ליצירה של מערכי נתונים ולשאילתות שלהם, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

  • יצירת מערכי נתונים חדשים: bigquery.datasets.create או bigquery.datasets.* כדי לבצע פעולות נוספות במערכי נתונים.
  • שאילתות על מערכי נתונים: bigquery.jobs.create או bigquery.jobs.* כדי לבצע פעולות נוספות על משימות.

יכול להיות שתוכלו לקבל את ההרשאות האלה גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

חיפוש כרטיסי מוצר

כדי לראות את כל הרישומים הציבוריים והפרטיים:

  1. נכנסים לדף Sharing (Analytics Hub) במסוף Cloud de Confiance .

    מעבר אל 'שיתוף' (Analytics Hub)

  2. לוחצים על כרטיסי מוצר בחיפוש. מופיעה תיבת דו-שיח עם רשימה של כרטיסי מוצר שאפשר לגשת אליהם.

  3. כדי לסנן כרטיסי מוצר לפי השם או התיאור שלהם, מזינים את השם או התיאור של כרטיס המוצר בשדה חיפוש כרטיסי מוצר.

  4. בקטע Filters אפשר לסנן את כרטיסי המוצר לפי השדות הבאים:

    • כרטיסי מוצר: בוחרים אם רוצים לראות כרטיסי מוצר פרטיים, כרטיסי מוצר גלויים לכולם או כרטיסי מוצר בארגון.

    • קטגוריות: בוחרים קטגוריה אחת או יותר.

    • מיקום: בוחרים מיקום. אפשר לחפש רק לפי מיקום חילופי נתונים. מידע נוסף זמין במאמר בנושא אזורים נתמכים.

    • ספק: בוחרים את ספק הנתונים. חלק מספקי הנתונים דורשים שתבקשו גישה למערכי הנתונים המסחריים שלהם. אחרי ששולחים בקשת גישה, ספק הנתונים יוצר איתכם קשר כדי לשתף את מערכי הנתונים שלו.

  5. מעיינים בתוצאות הסינון.

גילוי של חילופי נתונים

כדי למצוא נתוני שיתוף:

  1. נכנסים לדף Sharing (Analytics Hub) במסוף Cloud de Confiance .

    מעבר אל 'שיתוף' (Analytics Hub)

  2. לוחצים על כרטיסי מוצר בחיפוש. מופיעה תיבת דו-שיח עם רשימה של כרטיסי מוצר ונתוני שוק שאפשר להירשם אליהם.

  3. כדי לסנן את ההחלפות של נתונים לפי השם או התיאור שלהן, מזינים את השם או התיאור של ההחלפה של נתוני ה-DCR בשדה חיפוש כרטיסי מוצר.

  4. בקטע Filters (מסננים), אפשר לסנן את הנתונים שמועברים בחדר נקי לנתונים לפי השדות הבאים:

    • כרטיסי מוצר: מסמנים את תיבת הסימון חדרים נקיים לנתונים כדי לראות את החדרים הנקיים לנתונים ששותפו איתכם.

    • קטגוריות: בוחרים קטגוריה אחת או יותר.

    • מיקום: בוחרים מיקום. אפשר לחפש רק לפי המיקום של חילופי הנתונים. מידע נוסף זמין במאמר בנושא אזורים נתמכים.

  5. מעיינים בחדרים הנקיים לנתונים שסוננו.

הרשמה לדפי אפליקציה

כשנרשמים לרשימה, מקבלים גישה לקריאה בלבד לנתונים ברשימה על ידי יצירת מערך נתונים מקושר בפרויקט.

כדי להירשם לקבלת עדכונים על דף עסקי:

המסוף

  1. כדי לראות רשימה של כרטיסי מוצר שיש לכם גישה אליהם, פועלים לפי השלבים במאמר בנושא איתור כרטיסי מוצר.

  2. מעיינים בכרטיסי המוצר ולוחצים על כרטיס מוצר שרוצים להירשם אליו. מופיעה תיבת דו-שיח עם פרטי כרטיס המוצר. בתיבת הדו-שיח מוצג אם הספק הפעיל רישום ביומן של כתובות האימייל של המנויים. בקטע פרטים נוספים אפשר לראות את האזורים שבהם הספק הציע את כרטיס המוצר.

  3. אם אין לכם גישה להרשמה לכרטיס מוצר, למשל כרטיס מוצר שמפנה אל מערך נתונים מסחרי, אתם יכולים ללחוץ על בקשת גישה או על רכישה דרך Marketplace. אם לוחצים על מערך נתונים שאפשר להירשם אליו, ואז לוחצים על Subscribe, נפתח הדיאלוג Create linked dataset.

  4. אם Analytics Hub API לא מופעל בפרויקט, תוצג הודעת שגיאה עם קישור להפעלת ה-API. לוחצים על Enable Analytics Hub API (הפעלת Analytics Hub API).

  5. בתיבת הדו-שיח יצירת מערך נתונים מקושר, מציינים את הפרטים הבאים:

    • ‫Project: מציינים את שם הפרויקט שרוצים להוסיף לו את מערך הנתונים.
    • שם מערך הנתונים המקושר: מציינים את השם של מערך הנתונים המקושר.

    • אזור ראשי: בוחרים את האזור שבו רוצים ליצור את מערך הנתונים המקושר.

    • אופציונלי: אזורים של עותקים משוכפלים: בוחרים את האזור או האזורים שבהם רוצים ליצור עותקים משוכפלים משניים של מערך נתונים מקושר. כדי למזער את תעבורת הנתונים היוצאת (egress) ולבצע בקלות שאילתת איחוד (join) של נתונים ממערכי נתונים שונים, כדאי למקם את מערך הנתונים המקושר באותו אזור שבו נמצאים הנתונים האחרים. כדי ליצור עותקים של מערך נתונים מקושר, אתם צריכים את ההרשאה bigquery.datasets.update במערך הנתונים המקושר.

  6. כדי לשמור את השינויים, לוחצים על שמירה. מערך הנתונים המקושר מופיע בפרויקט.

API

משתמשים בשיטה projects.locations.dataExchanges.listings.subscribe.

POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/location/LOCATION/dataExchanges/DATAEXCHANGE_ID/listings/LISTING_ID:subscribe

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט של כרטיס המוצר שרוצים להירשם אליו.
  • LOCATION: המיקום של כרטיס המוצר שרוצים להירשם אליו.
  • ‫DATAEXCHANGE_ID: המזהה של אוסף הנתונים לשיתוף של כרטיס המוצר שרוצים להירשם אליו.
  • ‫LISTING_ID: מזהה כרטיס המוצר שרוצים להירשם אליו.
  • ‫SUBSCRIBER_PROJECT_ID: מזהה הפרויקט של המנוי שבו רוצים ליצור את מערך הנתונים המקושר.
  • ‫LINKED_DATASET_ID: המזהה שרוצים לתת למערך הנתונים המקושר.
  • ‫PRIMARY_REGION: האזור הגיאוגרפי הראשי שבו רוצים ליצור את מערך הנתונים המקושר.

בגוף הבקשה, מציינים את מערך הנתונים שבו רוצים ליצור את מערך הנתונים המקושר:

{
"destinationDataset": {
  "datasetReference": {
    "projectId": "SUBSCRIBER_PROJECT_ID",
    "datasetId": "LINKED_DATASET_ID"
  },
  "location": "PRIMARY_REGION"
}
}

כדי ליצור מינוי עם העתקים מקושרים של מערך נתונים שזמינים בכמה אזורים, צריך לציין את האזור הראשי של מערך הנתונים המקושר באמצעות השדה location בגוף הבקשה. באזורים המשניים שבהם רוצים ליצור העתקים של מערך הנתונים המקושר, אפשר להשתמש בשדה destinationDataset.replica_locations בגוף הבקשה ולציין את כל האזורים המשניים שנבחרו. מוודאים שהאזורים שצוינו במאפיין location ובשדה destinationDataset.replica_locations הם אזורים שבהם הכרטיס המשויך זמין.

אם הבקשה מצליחה, גוף התגובה מכיל את אובייקט המינוי.

אם מפעילים את הרישום של כתובות האימייל של המנויים בבורסת הנתונים או בכרטיס המוצר באמצעות השדה logLinkedDatasetQueryUserEmail, התגובה להרשמה מכילה את הערך log_linked_dataset_query_user_email: true. הנתונים שנרשמו זמינים בשדה job_principal_subject של התצוגה INFORMATION_SCHEMA.SHARED_DATASET_USAGE.

אם מפעילים את שיתוף הפרוצדורות המאוחסנות (תצוגה מקדימה), התשובה של כרטיס המוצר תכיל את stored_procedure_config: true.

הרשמה להחלפת נתונים

כשנרשמים לאוסף נתונים לשיתוף, מקבלים גישת קריאה בלבד לנתונים באוסף הנתונים לשיתוף של חדר נקי לנתונים, על ידי יצירת קבוצת נתונים מקושרת בפרויקט.

כדי להירשם להחלפת נתונים בחדר נתונים נקי:

המסוף

  1. כדי לראות רשימה של אוספי נתונים לשיתוף בחדרים נקיים לנתונים שיש לכם גישה אליהם, פועלים לפי השלבים במאמר גילוי אוספי נתונים לשיתוף.

  2. מעיינים באוספי הנתונים לשיתוף בחדר הנקי לנתונים ולוחצים על אוסף נתונים לשיתוף בחדר הנקי לנתונים שרוצים להירשם אליו. מופיעה תיבת דו-שיח עם פרטי ההחלפה של מרחב נקי לנתונים.

  3. אם לוחצים על אוסף נתונים לשיתוף של חדר נקי לנתונים שאפשר להירשם אליו, ואז לוחצים על Subscribe (הרשמה), נפתח הדיאלוג Add data clean room to project (הוספת חדר נקי לנתונים לפרויקט).

  4. אם Analytics Hub API לא מופעל בפרויקט, תוצג הודעת שגיאה עם קישור להפעלת ה-API. לוחצים על Enable Analytics Hub API (הפעלת Analytics Hub API).

  5. בתיבת הדו-שיח הוספת חדר נקי לנתונים לפרויקט, מציינים את הפרטים הבאים:

    • יעד: מציינים את שם הפרויקט שרוצים להוסיף אליו את מערך הנתונים.

  6. כדי לשמור את השינויים, לוחצים על שמירה. מערך הנתונים המקושר מופיע בפרויקט.

API

משתמשים בשיטה projects.locations.dataExchanges.subscribe.

POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/location/LOCATION/dataExchanges/DATAEXCHANGE_ID:subscribe

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט של אוסף הנתונים לשיתוף שרוצים להירשם אליו.
  • LOCATION: המיקום של אוסף הנתונים לשיתוף שרוצים להירשם אליהם.
  • ‫DATAEXCHANGE_ID: המזהה של אוסף הנתונים לשיתוף שרוצים להירשם אליהם.
  • ‫SUBSCRIBER_PROJECT_ID: מזהה הפרויקט של המנוי שבו רוצים ליצור את מערך הנתונים המקושר.
  • ‫SUBSCRIPTION_ID: השם של המינוי שרוצים ליצור.
  • ‫LINKED_DATASET_ID: המזהה שרוצים לתת למערך הנתונים המקושר.
  • ‫PRIMARY_REGION: האזור הגיאוגרפי הראשי שבו רוצים ליצור את מערך הנתונים המקושר.

בגוף הבקשה, מציינים את מיקום היעד, את שם המינוי ואת מערך הנתונים שבו רוצים ליצור את מערך הנתונים המקושר:

{
"destination": "projects/SUBSCRIBER_PROJECT_ID/locations/LOCATION",
"subscription": "SUBSCRIPTION_ID",
"destinationDataset": {
  "datasetReference": {
    "projectId": "SUBSCRIBER_PROJECT_ID",
    "datasetId": "LINKED_DATASET_ID"
  },
  "location": "PRIMARY_REGION"
}
}

אם הבקשה מצליחה, גוף התגובה מכיל את אובייקט המינוי. אם הפעלתם רישום ביומן של כתובות אימייל של מנויים להחלפת הנתונים, התגובה של המינוי תכיל את log_linked_dataset_query_user_email: true.

צפייה בקבוצות נתונים מקושרות

מערכי נתונים מקושרים מוצגים יחד עם מערכי נתונים אחרים במסוףCloud de Confiance .

כדי לראות את מערכי הנתונים המקושרים בפרויקט, פועלים לפי השלבים הבאים:

המסוף

  1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית ניווט קלאסי, לוחצים על category ניווט קלאסי:

    הלחצן המודגש של חלונית הסייר הקלאסי.

    אם החלונית Classic Explorer לא מוצגת, לוחצים על Expand left pane כדי לפתוח אותה.

  3. בחלונית Classic Explorer, לוחצים על שם הפרויקט שמכיל את מערך הנתונים המקושר סמל של מערך נתונים מקושר ב-Analytics Hub.

אפשר גם להשתמש ב-Data Catalog (הוצא משימוש) או ב-Knowledge Catalog כדי לחפש ולהציג מערכי נתונים מקושרים. כדי להתאים לכל מערכי הנתונים המקושרים של שיתוף BigQuery, משתמשים בפרדיקט type=dataset.linked. מידע נוסף זמין במאמרים בנושא תחביר החיפוש ב-Data Catalog או תחביר החיפוש ב-Knowledge Catalog.

Cloud Shell

מריצים את הפקודה הבאה:

PROJECT=PROJECT_ID \
for dataset in $(bq ls --project_id $PROJECT | tail +3); do [ "$(bq show -d --project_id $PROJECT $dataset | egrep LINKED)" ] && echo $dataset; done

מחליפים את PROJECT_ID במזהה הפרויקט ב- Cloud de Confiance .

שליחת שאילתות לקבוצות נתונים מקושרות

אפשר לשלוח שאילתות לטבלאות ולתצוגות במערכי הנתונים המקושרים באותו אופן שבו שולחים שאילתות לכל טבלה אחרת ב-BigQuery.

עדכון של מערכי נתונים מקושרים

המשאבים במערך נתונים מקושר הם לקריאה בלבד. אי אפשר לערוך את הנתונים או את המטא-נתונים של משאבים במערכי נתונים מקושרים, או לציין הרשאות למשאבים ספציפיים.

אתם יכולים לעדכן רק את התיאור והתוויות של מערכי הנתונים המקושרים. שינויים במערך נתונים מקושר לא משפיעים על מערכי הנתונים המשותפים או על מקור הנתונים.

כדי לעדכן את התיאור והתוויות של מערך נתונים מקושר, פועלים לפי השלבים הבאים:

  1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית Explorer (סייר), לוחצים על Explorer (סייר):

    כפתור מודגש לחלונית הסייר.

  3. בחלונית Explorer, מרחיבים את שם הפרויקט, לוחצים על Datasets (מערכי נתונים) ואז לוחצים על השם של מערך הנתונים המקושר כדי לפתוח אותו.

  4. בחלונית הפרטים, לוחצים על עריכת הפרטים ומציינים את הפרטים הבאים:

    1. כדי להוסיף תוויות, אפשר לעיין במאמר בנושא הוספת תווית למערך נתונים.

    2. כדי להפעיל איסוף נתונים, מרחיבים את הקטע אפשרויות מתקדמות ופועלים לפי השלבים הבאים:

      1. בוחרים באפשרות הפעלת ברירת מחדל של איסוף.
      2. ברשימה Default collation, בוחרים באפשרות הרצויה.

  5. לוחצים על Save.

צפייה במטא-נתונים של טבלה

כדי לראות את המטא-נתונים של טבלת הבסיס, מריצים שאילתה בתצוגה INFORMATION_SCHEMA.TABLES:

SELECT * FROM `LINKED-DATASET.INFORMATION_SCHEMA.TABLES`

מחליפים את LINKED-DATASET בשם של מערך הנתונים המקושר.

ביטול ההרשמה למערכי נתונים מקושרים או מחיקה שלהם

כדי לבטל את ההרשמה למערך נתונים, צריך למחוק את מערך הנתונים המקושר. מחיקה של מערך נתונים מקושר לא מוחקת את מערך הנתונים המקורי.

אחרי שמוחקים מערך נתונים מקושר, אי אפשר לאחזר אותו. עם זאת, אפשר ליצור מחדש את מערך הנתונים המקושר שנמחק על ידי הרשמה לכרטיס המוצר שוב והוספה של מערך הנתונים ומערכי הנתונים המקושרים שנוצרו מתוך כרטיסי מוצר משולבים ב-Google Cloud Marketplace לפרויקט.

אם המפרסם של השיתוף ב-BigQuery מסיר את המינוי שלכם, מערך הנתונים המקושר שלכם יבוטל הקישור שלו אל מערך הנתונים המשותף. מכיוון שמדובר בפעולה שיוזם בעל התוכן הדיגיטלי במשאב שבבעלות המנוי, מערך הנתונים המקושר נשאר בפרויקט של המנוי שמשתף ב-BigQuery sharing במצב לא מקושר. כדי להסיר את קבוצת הנתונים שלא קושרה, צריך למחוק אותה.

כדי למחוק קבוצת נתונים מקושרת:

  1. במסוף Cloud de Confiance , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית Explorer (סייר), לוחצים על Explorer (סייר):

    כפתור מודגש לחלונית הסייר.

  3. בחלונית Explorer, מרחיבים את שם הפרויקט, לוחצים על Datasets (מערכי נתונים) ואז לוחצים על השם של מערך הנתונים המקושר כדי לפתוח אותו.

  4. לוחצים על Delete.

  5. בתיבת הדו-שיח האם למחוק את מערך הנתונים המקושר?, מקלידים delete כדי לאשר את המחיקה.

  6. לוחצים על Delete.

המאמרים הבאים