מעקב אחר כרטיסי מוצר

במאמר הזה מוסבר איך לעקוב אחרי כרטיסי מוצר ב-BigQuery Sharing (לשעבר Analytics Hub). כספקי נתונים, אתם יכולים לעקוב אחרי מדדי השימוש בכרטיסי המוצר שלכם. יש שתי שיטות לקבלת מדדי השימוש בנתונים משותפים:

  • שימוש ב-BigQuery sharing. אתם יכולים להשתמש בתכונה 'שיתוף' כדי לראות את לוח הבקרה של מדדי השימוש בכרטיסי המוצר שלכם. לוח הבקרה הזה כולל מינויים יומיים, משימות יומיות שהופעלו, מספר המנויים לכל ארגון ותדירות המשימות לכל טבלה. כדי לאחזר את מדדי השימוש בנתונים המשותפים, צריך להריץ שאילתה בתצוגה המפורטת INFORMATION_SCHEMA.SHARED_DATASET_USAGE.

  • שימוש בתצוגה INFORMATION_SCHEMA אתם יכולים לעקוב אחרי השימוש של המנויים במערכי הנתונים שלכם באמצעות שאילתה בתצוגה INFORMATION_SCHEMA.SHARED_DATASET_USAGE.

שימוש בשיתוף

כדי לקבל מדדי שימוש לגבי הנתונים המשותפים באמצעות שיתוף, פועלים לפי השלבים הבאים:

  1. נכנסים לדף Sharing (Analytics Hub) במסוף Cloud de Confiance .

    מעבר אל 'שיתוף' (Analytics Hub)

  2. כדי לראות את מדדי השימוש, לוחצים על השם של אוסף הנתונים לשיתוף שכולל את כרטיס המוצר.

  3. לוחצים על מדדי שימוש ומבצעים את הפעולות הבאות:

    1. בתפריט כרטיסי מוצר, בוחרים את כרטיס המוצר.

    2. מגדירים את טווח הזמן.

בדף מוצגים מדדי השימוש הבאים:

  • ‫Total Subscriptions: מספר המינויים הנוכחיים לכרטיס המוצר שנבחר. אפשר לראות את מספר המינויים הכולל עד 60 ימים אחורה.
  • מספר המנויים הכולל: מספר המנויים הייחודיים בכל המינויים בדף המוצר שנבחר. אפשר לראות את מספר המנויים הכולל עד 60 ימים אחורה.
  • סך כל המשימות שהופעלו: מספר המשימות הייחודיות שהופעלו בכל טבלה של כרטיס המוצר שנבחר.
  • המספר הכולל של בייטים שנסרקו: המספר הכולל של בייטים שנסרקו מכל הטבלאות של הרשימה שנבחרה.
  • מינויים יומיים: התרשים שבו אפשר לעקוב אחרי מספר המינויים של כרטיס המוצר שנבחר לאורך תקופת זמן. אפשר לראות את נתוני המינויים היומיים עד 60 ימים אחורה.
  • מנויים לכל ארגון: רשימה של הארגונים ומספר המנויים שלהם שצורכים את כרטיס המוצר שבחרתם.
  • משימות שבוצעו מדי יום: בתרשים הזה מוצג צריכת המשימות מהכרטיס שנבחר.
  • תדירות העיבוד של הטבלאות: התדירות שבה מתבצעת גישה לטבלאות בדף המוצר שנבחר.

שימוש בתצוגת INFORMATION_SCHEMA

ספקי נתונים יכולים לעקוב אחרי השימוש של המנויים במערכי נתונים באמצעות שאילתות על התצוגה INFORMATION_SCHEMA.SHARED_DATASET_USAGE. מוודאים שיש לכם את התפקיד הנדרש כדי לשלוח שאילתה לתצוגה הזו.

כדי להריץ את השאילתה בפרויקט Cloud de Confiance שלא מוגדר כברירת מחדל, משתמשים בפורמט הבא:

PROJECT_ID.region-REGION_NAME.INFORMATION_SCHEMA.SHARED_DATASET_USAGE

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט Cloud de Confiance
  • ‫REGION_NAME: שם האזור של מערך הנתונים ב-BigQuery

לדוגמה, myproject.region-us.INFORMATION_SCHEMA.SHARED_DATASET_USAGE.

בדוגמאות הבאות מוסבר איך להציג את מדדי השימוש באמצעות שאילתה בתצוגה INFORMATION_SCHEMA.

קבלת המספר הכולל של עבודות שהופעלו בכל הטבלאות המשותפות

בדוגמה הבאה מחושב מספר העבודות הכולל שהופעלו על ידי מנויים בפרויקט:

SELECT
  COUNT(DISTINCT job_id) AS num_jobs
FROM
  `region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE

התוצאה אמורה להיראות כך:

+------------+
| num_jobs   |
+------------+
| 1000       |
+------------+

כדי לבדוק את מספר העבודות הכולל שהופעלו על ידי מנויים, משתמשים בסעיף WHERE:

  • למערכי נתונים, צריך להשתמש ב-WHERE dataset_id = "...".
  • לגבי טבלאות, צריך להשתמש ב-WHERE dataset_id = "..." AND table_id = "...".

קבלת הטבלה שהכי הרבה משתמשים משתמשים בה על סמך מספר השורות שעברו עיבוד

השאילתה הבאה מחשבת את הטבלה שהכי הרבה מנויים משתמשים בה, על סמך מספר השורות שהם מעבדים.

SELECT
  dataset_id,
  table_id,
  SUM(num_rows_processed) AS usage_rows
FROM
  `region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
GROUP BY
  1,
  2
ORDER BY
  3 DESC
LIMIT
  1

הפלט אמור להיראות כך:

+---------------+-------------+----------------+
| dataset_id    | table_id      | usage_rows     |
+---------------+-------------+----------------+
| mydataset     | mytable     | 15             |
+---------------+-------------+----------------+

איך מוצאים את הארגונים המובילים שצורכים את הטבלאות שלכם

השאילתה הבאה מחשבת את המנויים המובילים על סמך מספר הבייטים שעובדו מהטבלאות שלכם. אפשר גם להשתמש בעמודה num_rows_processed כמדד.

SELECT
  subscriber_org_number,
  ANY_VALUE(subscriber_org_display_name) AS subscriber_org_display_name,
  SUM(total_bytes_processed) AS usage_bytes
FROM
  `region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
GROUP BY
  1

הפלט אמור להיראות כך:

+--------------------------+--------------------------------+----------------+
|subscriber_org_number     | subscriber_org_display_name    | usage_bytes    |
+-----------------------------------------------------------+----------------+
| 12345                    | myorganization                 | 15             |
+--------------------------+--------------------------------+----------------+

למנויים שאין להם ארגון, אפשר להשתמש ב-job_project_number במקום ב-subscriber_org_number.

קבלת מדדי שימוש להחלפת הנתונים

אם אוסף הנתונים לשיתוף ומערך הנתונים של המקור נמצאים בפרויקטים שונים, צריך לפעול לפי השלבים הבאים כדי לראות את מדדי השימוש באוסף הנתונים לשיתוף:

  1. למצוא את כל הדפים העסקיים שמשתייכים לחילופי הנתונים.
  2. מאחזרים את מערך הנתונים של המקור שמצורף לכרטיס המוצר.
  3. כדי לראות את מדדי השימוש של אוסף הנתונים לשיתוף, משתמשים בשאילתה הבאה:
SELECT
  *
FROM
  source_project_1.`region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
WHERE
  dataset_id='source_dataset_id'
AND data_exchange_id="projects/4/locations/us/dataExchanges/x1"
UNION ALL
SELECT
  *
FROM
  source_project_2.`region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
WHERE
  dataset_id='source_dataset_id'
AND data_exchange_id="projects/4/locations/us/dataExchanges/x1"

קבלת מדדי שימוש לתצוגות משותפות

השאילתה הבאה מציגה את מדדי השימוש בכל התצוגות המשותפות בפרויקט:

SELECT
  project_id,
  dataset_id,
  table_id,
  num_rows_processed,
  total_bytes_processed,
  shared_resource_id,
  shared_resource_type,
  referenced_tables
FROM `myproject`.`region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
WHERE shared_resource_type = 'VIEW'

הפלט אמור להיראות כך:

+---------------------+----------------+----------+--------------------+-----------------------+--------------------+----------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|     project_id      |   dataset_id   | table_id | num_rows_processed | total_bytes_processed | shared_resource_id | shared_resource_type |                                                                                                              referenced_tables                                                                                                              |
+---------------------+----------------+----------+--------------------+-----------------------+--------------------+----------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|     myproject       | source_dataset | view1    |                  6 |                    38 | view1              | VIEW                 | [{"project_id":"myproject","dataset_id":"source_dataset","table_id":"test_table","processed_bytes":"21"},
{"project_id":"bq-dataexchange-exp","dataset_id":"other_dataset","table_id":"other_table","processed_bytes":"17"}]                 |

+---------------------+----------------+----------+--------------------+-----------------------+--------------------+----------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

קבלת מדדי שימוש בפונקציות משותפות שמחזירות ערכים של טבלה

השאילתה הבאה מציגה את מדדי השימוש בכל הפונקציות של טבלאות משותפות שמופיעות בפרויקט:

SELECT
  project_id,
  dataset_id,
  table_id,
  num_rows_processed,
  total_bytes_processed,
  shared_resource_id,
  shared_resource_type,
  referenced_tables
FROM `myproject`.`region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
WHERE shared_resource_type = 'TABLE_VALUED_FUNCTION'

הפלט אמור להיראות כך:

+---------------------+----------------+----------+--------------------+-----------------------+--------------------+-----------------------+---------------------------------------------------------------------------------------------------------------------+
|     project_id      |   dataset_id   | table_id | num_rows_processed | total_bytes_processed | shared_resource_id | shared_resource_type  |                                                  referenced_tables                                                  |
+---------------------+----------------+----------+--------------------+-----------------------+--------------------+-----------------------+---------------------------------------------------------------------------------------------------------------------+
|     myproject       | source_dataset |          |                  3 |                    45 | provider_exp       | TABLE_VALUED_FUNCTION | [{"project_id":"myproject","dataset_id":"source_dataset","table_id":"test_table","processed_bytes":"45"}]           |
+---------------------+----------------+----------+--------------------+-----------------------+--------------------+-----------------------+---------------------------------------------------------------------------------------------------------------------+

המאמרים הבאים