מבוא ל-BigQuery sharing

שיתוף ב-BigQuery (לשעבר Analytics Hub) הוא פלטפורמה לשיתוף נתונים שמאפשרת לכם לשתף נתונים ותובנות בהיקפים גדולים בין גבולות ארגוניים, במסגרת חזקה של אבטחה ופרטיות. BigQuery sharing מאפשר לכם לגלות ולגשת לספריית נתונים שאוצרה על ידי ספקי נתונים שונים. ספריית הנתונים הזו כוללת גם מערכי נתונים שסופקו על ידי Google.

לדוגמה, תוכלו להשתמש בשיתוף כדי להרחיב את הפרויקטים שקשורים לניתוח נתונים וללמידת מכונה באמצעות מערכי הנתונים של Google ושל צד שלישי.

תפקידים במרכז Analytics לניהול זהויות והרשאות גישה (IAM) מאפשרים לכם לבצע את משימות השיתוף הבאות:

  • כבעלי נתונים ב-Analytics Hub, אתם יכולים לשתף נתונים בזמן אמת עם רשת השותפים שלכם או בתוך הארגון שלכם. רישומים מאפשרים לכם לשתף נתונים בלי לשכפל את הנתונים המשותפים, ואפשר להרוויח מהם כסף ב-Google Cloud Marketplace או דרך הערוצים שלכם. תוכלו ליצור קטלוג של מקורות נתונים שמוכנים לניתוח, ולהשתמש בהרשאות פרטניות כדי לוודא שהם יועברו בדיוק לקהל הנכון. אתם יכולים גם לנהל את המינויים ולצפות במדדי השימוש של כרטיסי המוצר.

  • אם יש לכם מינוי ל-Analytics Hub, תוכלו למצוא את הנתונים שאתם מחפשים, לשלב נתונים משותפים עם הנתונים הקיימים שלכם ולהשתמש בתכונות המובנות של BigQuery. כשנרשמים לכרטיס מוצר, נוצר מערך נתונים מקושר או מינוי Pub/Sub מקושר בפרויקט ב- Cloud de Confiance . אתם יכולים לנהל את המינויים באמצעות משאב המינוי, שבו מאוחסן מידע רלוונטי על המנוי ומוצג הקשר בין בעל התוכן הדיגיטלי לבין המנוי.

  • אם יש לכם הרשאת צפייה ב-Analytics Hub, אתם יכולים לעיין באוספי הנתונים לשיתוף וברישומים שיש לכם גישה לצפייה בהם ב-BigQuery sharing. אם עדיין אין לכם הרשאות מינוי לכרטיסי מוצר, אתם יכולים לבקש מהמוציא לאור הרשאה לקבל גישה לנתונים המשותפים. אפשר למצוא כרטיסי מוצר מסחריים שמשולבים ב-Cloud Marketplace גם ב-BigQuery sharing וגם ב-Cloud Marketplace.

  • אדמינים ב-Analytics Hub יכולים ליצור מרכזי נתונים שמאפשרים שיתוף נתונים, ואז לתת הרשאות לבעלי נתונים ולמנויים לגשת למרכזי הנתונים האלה.

מידע נוסף זמין במאמר בנושא הגדרת תפקידים ב-Analytics Hub.

ארכיטקטורה

השיתוף ב-BigQuery מבוסס על מודל של פרסום והרשמה שלCloud de Confiance by S3NS משאבי נתונים, שמאפשר שיתוף במקום ללא העתקה. שיתוף ב-BigQuery תומך במשאבים הבאים Cloud de Confiance by S3NS :

  • מערכי נתונים ב-BigQuery
  • נושאים ב-Pub/Sub

תהליך עבודה של בעל תוכן דיגיטלי

בתרשים הבא מתואר תהליך השיתוף של נכסים על ידי בעל תוכן דיגיטלי:

תהליך העבודה של תפקיד המפרסם ב-Analytics Hub, שכולל משאבים משותפים, חילופי נתונים וכרטיסי מוצר.

בקטעים הבאים מתוארים התכונות בתהליך העבודה הזה.

משאבים משותפים

משאבים משותפים הם יחידת השיתוף של מוציא לאור בשיתוף ב-BigQuery.

מערכי נתונים משותפים

מערך נתונים משותף הוא מערך נתונים ב-BigQuery שמשמש כיחידת שיתוף הנתונים ב-BigQuery sharing. ההפרדה בין מחשוב ואחסון בארכיטקטורה של BigQuery מאפשרת לבעלי נתונים לשתף מערכי נתונים עם כמה מנויים שרוצים, בלי ליצור כמה עותקים של הנתונים. בעלי תוכן דיגיטלי יוצרים או משתמשים במערך נתונים קיים ב-BigQuery בפרויקט שלהם עם האובייקטים הנתמכים הבאים שהם רוצים להעביר למנויים שלהם:

מערכי נתונים משותפים תומכים באבטחה ברמת העמודה ובאבטחה ברמת השורה.

כדאי לשים לב למגבלות הבאות של VPC Service Controls ושיתוף:

  • לא לפרסם נתונים משותפים בפרויקטים שנמצאים בתוך היקפי VPC Service Controls. אם מערכי נתונים משותפים בפרויקט נמצאים בתוך גבולות גזרה של VPC Service Controls, צריך כללים מתאימים לתעבורת נתונים נכנסת (ingress) ויוצאת (egress) גם לפרויקט של אוסף הנתונים לשיתוף (כרטיסי מוצר מארחים) וגם לכל הפרויקטים של המנויים, כדי להירשם בהצלחה לכרטיסי המוצר של האפליקציה לשליחת הודעות.

  • אל תכללו את אוסף הנתונים לשיתוף ב-service perimeter של VPC Service Controls, כי זה עלול לשבש את תהליכי העבודה של פרסום הנתונים. כדי להירשם בהצלחה לנתונים, תצטרכו להגדיר כללי תעבורת נתונים נכנסת (ingress) ויוצאת (egress) לפרויקט של מפרסם הנתונים ולכל הפרויקטים של המנויים.

נושאים משותפים

נושא משותף הוא נושא ב-Pub/Sub, שהוא היחידה של שיתוף נתונים בזמן אמת ב-BigQuery. בעלי תוכן דיגיטלי יוצרים או משתמשים בנושא Pub/Sub קיים בפרויקט שלהם ומפיצים אותו למנויים.

בורסות לפרסום

מרכז נתונים הוא מאגר שמאפשר לכם לשתף נתונים באמצעות שירות עצמי. הוא מכיל רשימות שמתייחסות למשאבים משותפים. מוציאים לאור ואדמינים יכולים להעניק גישה למנויים ברמת הבורסה וברמת כרטיס המוצר. כך לא תצטרכו להעניק גישה באופן מפורש למשאבים המשותפים הבסיסיים. אתם יכולים לעיין בבורסות נתונים, לגלות נתונים שיש לכם גישה אליהם ולהירשם למשאבים משותפים. כשיוצרים אוסף נתונים לשיתוף, אפשר להקצות כתובת אימייל של איש קשר ראשי. כתובת האימייל הזו מאפשרת למשתמשים ליצור קשר עם הבעלים של אוסף הנתונים לשיתוף כדי לשאול שאלות או להעלות חששות.

החלפת נתונים יכולה להיות אחת מהסוגים הבאים:

  • החלפת נתונים פרטיים. כברירת מחדל, אוסף נתונים לשיתוף הוא פרטי ורק משתמשים או קבוצות שיש להם גישה לאוסף הנתונים לשיתוף יכולים לראות את כרטיסי המוצר או להירשם כמנויים אליהם.
  • חילופי נתונים ציבוריים. כברירת מחדל, אוסף נתונים לשיתוף הוא פרטי ורק משתמשים או קבוצות שיש להם גישה לאוסף הנתונים לשיתוף יכולים לראות את כרטיסי המוצר או להירשם כמנויים אליהם. עם זאת, אתם יכולים לבחור להפוך את אוסף הנתונים לשיתוף לציבורי. משתמשיCloud de Confiance by S3NS (allAuthenticatedUsers) יכולים לגלות ולרכוש מינויים לרישומים בבורסות נתונים ציבוריות. למידע נוסף על בורסות נתונים ציבוריות, אפשר לעיין במאמר הפיכת בורסת נתונים לציבורית.

תפקיד האדמין ב-Analytics Hub מאפשר לכם ליצור כמה מרכזי נתונים ולנהל משתמשים אחרים שמבצעים משימות שיתוף.

כרטיסי מוצר

כרטיס מוצר הוא הפניה למקור מידע משותף שבעל אפליקציה מפרסם בבורסת מידע. בעלי תוכן דיגיטלי יכולים ליצור כרטיס מוצר ולציין את תיאור המשאב, שאילתות לדוגמה להרצה או נתוני הודעות לדוגמה, קישורים לכל מסמך רלוונטי וכל מידע נוסף שיעזור למנויים להשתמש במשאב המשותף. כשיוצרים כרטיס מוצר, אפשר להקצות כתובת אימייל ראשית ליצירת קשר, שם ופרטים ליצירת קשר של ספק, ושם ופרטים ליצירת קשר של בעל תוכן דיגיטלי.

כתובת האימייל של איש הקשר הראשי מאפשרת למשתמשים ליצור קשר עם בעל הכרטיס כדי לשאול שאלות או להביע חששות לגבי שיתוף הנתונים. השם של הספק והפרטים ליצירת קשר הם של הסוכנות שסיפקה במקור את הנתונים של כרטיס המוצר. המידע הזה הוא אופציונלי. השם והפרטים של בעל התוכן הדיגיטלי הם של הסוכנות שמפרסמת את הנתונים לשימוש בשיתוף ב-BigQuery. הוספת המידע הזה היא אופציונלית. מידע נוסף מופיע במאמר בנושא ניהול כרטיסי מוצר.

יכולים להיות שני סוגים של כרטיסי מוצר, בהתאם למדיניות IAM שמוגדרת לכרטיס המוצר ולסוג אוסף נתונים לשיתוף שכולל את כרטיס המוצר:

  • כרטיס ציבורי. רשימת מוצרים ציבורית משותפת עם כל Cloud de Confiance by S3NS המשתמשים (allAuthenticatedUsers). רשימות מוצרים בבורסת נתונים ציבורית הן רשימות מוצרים ציבוריות. הרישומים האלה יכולים להיות הפניות למקור ציבורי חינמי או למקור מסחרי. אם הרישום הוא של משאב מסחרי, המנויים יכולים לבקש גישה לרישום ישירות מספק הנתונים, או לעיין ברישומים מסחריים שמשולבים ב-Google Cloud Marketplace ולרכוש אותם.
  • כרטיס מוצר פרטי. רישום פרטי משותף ישירות עם אנשים או קבוצות. לדוגמה, יכול להיות שרישום פרטי יפנה למערך נתונים של מדדי שיווק ששיתפתם עם צוותים פנימיים אחרים בארגון.

תהליך העבודה של המנוי

בתרשים הבא מתואר אופן האינטראקציה של מנויי Analytics Hub עם משאבים משותפים:

תהליך העבודה של תפקיד המנוי ב-Analytics Hub, שכולל משאבים משותפים, חילופי נתונים, כרטיסי מוצר ומשאבים מקושרים.

בקטעים הבאים מתוארים התכונות בתהליך העבודה של המנוי.

משאבים מקושרים

משאבים מקושרים נוצרים כשנרשמים למינוי של BigQuery sharing, וכך מקשרים מנוי למשאב הבסיסי שמשותף.

מערכי נתונים מקושרים

מערך נתונים מקושר הוא מערך נתונים ב-BigQuery לקריאה בלבד שמשמש כאינדיקטור או כהפניה למערך נתונים משותף. כשנרשמים למינוי של רשימה, נוצר מערך נתונים מקושר בפרויקט, ולא עותק של מערך הנתונים. לכן, המנויים יכולים לקרוא את הנתונים, אבל לא יכולים להוסיף או לעדכן אובייקטים בתוכו. כשמריצים שאילתות על אובייקטים כמו טבלאות ותצוגות דרך מערך נתונים מקושר, הנתונים ממערך הנתונים המשותף מוחזרים. מידע נוסף על מערכי נתונים מקושרים זמין במאמר הצגה של כרטיסי מוצר ובורסות נתונים והרשמה אליהם.

למערכי נתונים מקושרים יש הרשאה לגשת לטבלאות ולתצוגות של מערך נתונים משותף. מנויים עם מערכי נתונים מקושרים יכולים לגשת לטבלאות ולתצוגות של מערך נתונים משותף בלי הרשאה נוספת לניהול זהויות והרשאות גישה.

מערכי נתונים מקושרים תומכים באובייקטים הבאים:

מינויים מקושרים ל-Pub/Sub

הרשמה לכרטיס מוצר עם נושא משותף יוצרת מינוי Pub/Sub מקושר בפרויקט של המנוי. לא נוצרים עותקים של הנושא או של נתוני ההודעה ששותפו. אפליקציות רשומות למינוי Pub/Sub המקושר יכולות לגשת להודעות שפורסמו בנושא המשותף. מנויים מקבלים גישה לנתוני ההודעות של נושא משותף ללא צורך בהרשאת IAM נוספת. בעלי תוכן דיגיטלי יכולים לנהל מינויים ישירות ב-Pub/Sub או דרך ניהול מינויים לשיתוף ב-BigQuery. מידע נוסף על מינויים מקושרים ל-Pub/Sub זמין במאמר שיתוף נתונים עם Pub/Sub.

אפשרויות ליציאת נתונים (רק במערכי נתונים משותפים ב-BigQuery)

אפשרויות תעבורת נתונים יוצאת (egress) מאפשרות לבעלי תוכן דיגיטלי להגביל את היכולת של מנויים לייצא נתונים ממערכי נתונים מקושרים ב-BigQuery.

בעלי אפליקציות יכולים להפעיל הגבלה על העברת נתונים בכרטיס מוצר, בתוצאות של שאילתה או בשניהם. כשמגבילים את תעבורת הנתונים היוצאת, ההגבלות הבאות חלות:

  • ממשקי API של העתקה, שכפול, ייצוא וצילום תמונת מצב לא זמינים.

  • האפשרויות 'העתקה', 'שיבוט', 'ייצוא' ו'תמונת מצב' לא זמינות במסוף Cloud de Confiance .

  • אי אפשר לקשר את מערך הנתונים המוגבל לכלי לבחירת טבלאות.

  • שירות העברת הנתונים ל-BigQuery לא זמין במערך הנתונים המוגבל.

  • הצהרות CREATE TABLE AS SELECT וכתיבה לטבלת יעד לא זמינות.

  • אי אפשר להשתמש בהצהרות CREATE VIEW AS SELECT ובכתיבה לתצוגת יעד.

כשיוצרים כרטיס מוצר, אפשר להגדיר את האפשרויות המתאימות של העברת נתונים.

מגבלות

אלו המגבלות שחלות על שיתוף ב-BigQuery:

  • מערך נתונים משותף יכול לכלול עד 1,000 מערכי נתונים מקושרים.

  • לנושא משותף יכולים להיות מקסימום 10,000 מינויים ל-Pub/Sub. המגבלה הזו כוללת מינויים מקושרים ל-Pub/Sub ומינויים ל-Pub/Sub שנוצרו מחוץ לשיתוף ב-BigQuery (לדוגמה, ישירות מ-Pub/Sub).

  • כשיוצרים כרטיס מוצר, אי אפשר לבחור מערך נתונים עם משאבים שלא נתמכים כמערך נתונים משותף. למידע נוסף על אובייקטים של BigQuery שנתמכים ב-BigQuery sharing, אפשר לעיין במאמר בנושא מערכי נתונים משותפים.

  • אי אפשר להגדיר תפקידים ב-IAM או מדיניות IAM בטבלאות בודדות בתוך מערך נתונים מקושר. במקום זאת, כדאי להחיל אותם ברמה של מערך הנתונים המקושר.

  • אי אפשר לצרף תגי IAM לטבלאות במערך נתונים מקושר. במקום זאת, מחילים אותם ברמת מערך הנתונים המקושר.

  • מערכי נתונים מקושרים שנוצרו לפני 25 ביולי 2023 לא מתמלאים מחדש על ידי משאב המינוי. רק מינויים שנוצרו אחרי 25 ביולי 2023 פועלים עם שיטות ה-API.

  • אם אתם בעלי תוכן דיגיטלי, חלים עליכם המגבלות הבאות בנוגע לתאימות של BigQuery:

    • כדי לבצע שאילתות בתצוגות בתוך מערכי נתונים מקושרים, צריך להעניק למנויים הרשאות מפורשות לקריאת מערך הנתונים של המקור. כדי להעניק גישה לתצוגות מפורטות, מומלץ ליצור תצוגות מפורטות מורשות. תצוגות מורשות יכולות להעניק למנויים גישה לנתונים בתצוגה בלי לתת להם גישה לנתוני המקור הבסיסיים.

    • תוכנית השאילתה חושפת את השאילתה של התצוגה המשותפת ואת השאילתה השגרתית, כולל מזהי הפרויקט ומערכי נתונים אחרים שמשתתפים בתצוגות מורשות. לעולם אל תכללו בתצוגה המשותפת או בשאילתה השגרתית פרטים רגישים כמו מפתחות הצפנה.

    • מערכי נתונים משותפים עוברים אינדוקס ב-Data Catalog (הוצא משימוש) וב-Knowledge Catalog. עדכונים במערך נתונים משותף, כמו הוספה של טבלאות או תצוגות, זמינים למנויים באופן מיידי. עם זאת, בתרחישים מסוימים, למשל כשקיימים יותר מ-100 מנויים או טבלאות במערך נתונים משותף, יכול להיות שיחלפו עד 18 שעות עד שהעדכונים יאונדקסו בשירותים האלה. בגלל העיכוב באינדוקס, המנויים לא יכולים לחפש את המשאבים המעודכנים האלה במסוף Cloud de Confiance באופן מיידי.

    • נושאים משותפים עוברים אינדוקס ב-Data Catalog (הוצא משימוש) וב-Knowledge Catalog, אבל אי אפשר לסנן במיוחד לפי סוג המשאב שלהם.

    • אם הגדרתם מדיניות של אבטחה ברמת השורה או הסתרת נתונים בטבלאות שמופיעות ברשימה, המנויים צריכים להיות לקוחות Enterprise או Enterprise Plus כדי להריץ את עבודת השאילתה במערך הנתונים המקושר. מידע על מהדורות זמין במאמר מבוא למהדורות BigQuery.

  • אם יש לכם מינוי, חלות עליכם המגבלות הבאות בנוגע לתאימות עם BigQuery:

    • לא ניתן להשתמש בתצוגות חומריות שמפנות לטבלאות במערך הנתונים המקושר.

    • אין תמיכה בתמונות מצב של טבלאות של מערכי נתונים מקושרים.

    • יכול להיות ששאילתות עם מערכי נתונים מקושרים ועם הצהרות JOIN שגדולות מ-1 TB (אחסון פיזי) ייכשלו. כדי לפתור את הבעיה, אפשר לפנות לתמיכה.

    • אי אפשר להשתמש במסנני אזור עם תצוגות של INFORMATION_SCHEMA כדי לראות את המטא-נתונים של מערך הנתונים המקושר.

    • המגבלות הבאות חלות על כרטיסי מוצר בכמה אזורים:

    • רישומים של מספר אזורים נתמכים רק במערכי נתונים משותפים וברפליקות של מערכי נתונים מקושרים. אין תמיכה בכרטיסי מוצר בכמה אזורים לנושאים ולמינויים משותפים ב-Pub/Sub.

    • אין תמיכה בכרטיסי מוצר בכמה אזורים בחדרים נקיים.

    • אין תמיכה בכרטיסי מוצר בכמה אזורים באזורים של BigQuery Omni.

  • המגבלות הבאות חלות על מדדי השימוש:

    • אי אפשר לקבל את מדדי השימוש בכרטיסי מוצר שנרשמו לפני 20 ביולי 2023.

    • מדדי השימוש בטבלה חיצונית בשדות num_rows_processed ו-total_bytes_processed עשויים להכיל נתונים לא מדויקים.

    • מדדי השימוש בצריכה נתמכים רק לשימוש במשימות BigQuery. במשאבים הבאים אין תמיכה בשימוש:

    • מדדי השימוש של צפיות מאוכלסים רק עבור שאילתות שבוצעו אחרי 22 באפריל 2024.

    • מדדי השימוש לא נרשמים ב-BigQuery לגבי מינויים מקושרים ל-Pub/Sub. אפשר להמשיך לראות את השימוש ישירות ב-Pub/Sub.

    • תהליכים מאוחסנים של SQL לא זמינים בלוח הבקרה של מדדי השימוש בשיתוף ב-BigQuery. אפשר לראות את הפרטים בתצוגה INFORMATION_SCHEMA.ROUTINES, אבל לא בתצוגה INFORMATION_SCHEMA.SHARED_DATASET_USAGE. מידע נוסף זמין במאמר בנושא שימוש בתצוגה INFORMATION_SCHEMA.

  • כשנרשמים למינוי לנתונים של Salesforce Data Cloud, חלות המגבלות הבאות:

    • הנתונים ב-Data Cloud משותפים כתצוגות. בתור מנויים, אין לכם גישה לטבלאות הבסיסיות שהתצוגות המפורטות מפנות אליהן.

אזורים נתמכים

שיתוף ב-BigQuery נתמך באזורים ובמספר אזורים הבאים.

אזורים

בטבלה הבאה מפורטים האזורים באמריקה שבהם אפשר לשתף.
תיאור האזור שם האזור פרטים
קולומבוס, אוהיו us-east5
דאלאס us-south1 ‫סמל של עלה רמה נמוכה של CO2‎
אייווה us-central1 ‫סמל של עלה רמה נמוכה של CO2‎
לאס וגאס us-west4
לוס אנג'לס us-west2
מקסיקו northamerica-south1
מונטריאול northamerica-northeast1 ‫סמל של עלה רמה נמוכה של CO2‎
צפון וירג'יניה us-east4
אוקלהומה us-central2 ‫סמל של עלה רמה נמוכה של CO2‎
אורגון us-west1 ‫סמל של עלה רמה נמוכה של CO2‎
סולט לייק סיטי us-west3
סאו פאולו southamerica-east1 ‫סמל של עלה רמה נמוכה של CO2‎
סנטיאגו southamerica-west1
דרום קרוליינה us-east1
טורונטו northamerica-northeast2
בטבלה הבאה מפורטים האזורים באסיה ובאוקיינוס השקט שבהם אפשר לשתף.
תיאור האזור שם האזור פרטים
דלהי asia-south2
הונג קונג asia-east2
ג'קארטה asia-southeast2
מלבורן australia-southeast2
מומבאי asia-south1
אוסקה asia-northeast2
סיאול asia-northeast3
סינגפור asia-southeast1
סידני australia-southeast1
טייוואן asia-east1
טוקיו asia-northeast1
בטבלה הבאה מפורטים האזורים באירופה שבהם אפשר לשתף.
תיאור האזור שם האזור פרטים
בלגיה europe-west1 ‫סמל של עלה רמה נמוכה של CO2‎
ברלין europe-west10
פינלנד europe-north1 ‫סמל של עלה רמה נמוכה של CO2‎
פרנקפורט europe-west3
לונדון europe-west2 ‫סמל של עלה רמה נמוכה של CO2‎
מדריד europe-southwest1 ‫סמל של עלה רמה נמוכה של CO2‎
מילאנו europe-west8
הולנד europe-west4 ‫סמל של עלה רמה נמוכה של CO2‎
פריז europe-west9 ‫סמל של עלה רמה נמוכה של CO2‎
טורינו europe-west12
ורשה europe-central2
ציריך europe-west6 ‫סמל של עלה רמה נמוכה של CO2‎
בטבלה הבאה מפורטים האזורים במזרח התיכון שבהם אפשר לשתף.
תיאור האזור שם האזור פרטים
דמאם me-central2
דוחה me-central1
תל אביב me-west1
בטבלה הבאה מפורטים האזורים באפריקה שבהם אפשר לשתף.
תיאור האזור שם האזור פרטים
יוהנסבורג africa-south1

במספר אזורים

בטבלה הבאה מפורטים האזורים המרובים שבהם אפשר לשתף.
תיאור של המיקום 'במספר אזורים' השם של המיקום 'במספר אזורים'
מרכזי נתונים במדינות החברות באיחוד האירופי1 EU
מרכזי נתונים בארצות הברית US

‫1 נתונים שנמצאים במיקום 'במספר אזורים' של EU לא מאוחסנים במרכזי הנתונים europe-west2 (לונדון) או europe-west6 (ציריך).

אזורים בכל הערוצים

בטבלה הבאה מפורטים המקומות שבהם אפשר לשתף ב-Omni.
תיאור האזור הגיאוגרפי לאחסון נתונים ב-Omni שם האזור ב-Omni
AWS
‫AWS – מזרח ארה"ב (צפון וירג'יניה) וירג'יניה) aws-us-east-1
AWS - US West (Oregon) aws-us-west-2
AWS - Asia Pacific (Seoul) aws-ap-northeast-2
AWS - Asia Pacific (Sydney) aws-ap-southeast-2
AWS - Europe (Ireland) aws-eu-west-1
AWS - Europe (Frankfurt) aws-eu-central-1
Azure
Azure - East US 2 azure-eastus2

תרחישים לדוגמה

בקטע הזה מפורטות דוגמאות לשימוש ב-BigQuery sharing לשיתוף פעולה עם שותפים ולמונטיזציה של נתונים.

שיתוף פעולה עם שותפים

נניח שאתם קמעונאים ולארגון שלכם יש נתונים של תחזית ביקוש בזמן אמת בפרויקט Cloud de Confiance by S3NS בשם Forecasting. אתם רוצים לשתף את נתוני התחזית לגבי הביקוש עם מאות ספקים במערכת שרשרת האספקה שלכם. בקטעים הבאים מתואר איך אפשר לשתף את הנתונים עם ספקים באמצעות שיתוף ב-BigQuery.

מנהלי מערכת

כבעלים של פרויקט התחזיות, קודם צריך להפעיל את ה-API ואז להקצות למשתמש את תפקיד האדמין של Analytics Hub (roles/analyticshub.admin), כדי שהוא יוכל לנהל את שיתוף הנתונים בפרויקט. משתמשים עם תפקיד אדמין ב-Analytics Hub נקראים אדמינים של שיתוף ב-BigQuery.

אדמין עם הרשאת שיתוף ב-BigQuery יכול לבצע את המשימות הבאות:

  • יצירה, עדכון, מחיקה ושיתוף של אוסף נתונים לשיתוף בפרויקט התחזיות של הארגון.

  • לנהל אדמינים אחרים של שיתוף ב-BigQuery באמצעות התפקיד 'אדמין' ב-Analytics Hub.

  • כדי לנהל את הגורמים המפרסמים בשיתוף BigQuery, צריך להעניק לעובדים בארגון את התפקיד 'מפרסם' ב-Analytics Hub (roles/analyticshub.publisher). אם רוצים שהעובדים יוכלו רק לעדכן, למחוק ולשתף כרטיסי מוצר, אבל לא ליצור אותם, צריך להעניק להם את תפקיד האדמין של כרטיסי מוצר ב-Analytics Hub (roles/analyticshub.listingAdmin).

  • כדי לנהל את המשתמשים שנרשמו לשיתוף ב-BigQuery, צריך להעניק לקבוצת Google שכוללת את כל הספקים את התפקיד 'נרשם ל-Analytics Hub' (roles/analyticshub.subscriber). אם רוצים שהספקים יוכלו רק לראות את הבורסות והרישומים הזמינים, צריך להעניק להם את התפקיד 'צפייה ב-Analytics Hub' (roles/analyticshub.viewer). ספקים כאלה לא יכולים להירשם לרישומים.

מידע נוסף זמין במאמרים תפקידי IAM לשיתוף ב-BigQuery וניהול של חילופי נתונים.

בעלי תוכן דיגיטלי

בעלי תוכן דיגיטלי יוצרים את כרטיסי המוצר הבאים למערכי הנתונים שלהם בפרויקט התחזיות או בפרויקט אחר:

  • כרטיס מוצר א': מערך נתונים 1 של תחזית ביקוש
  • כרטיס מוצר ב': מערך נתונים של תחזית ביקוש 2
  • רשימה C: מערך נתונים 3 של תחזית ביקוש

אם אתם ספקי נתונים, אתם יכולים לעקוב אחרי מדדי השימוש במערך הנתונים ששיתפתם. מדדי השימוש כוללים את הפרטים הבאים:

  • משימות שמופעלות על מערך הנתונים המשותף.
  • פרטי הצריכה של מערך הנתונים המשותף לפי פרויקטים וארגונים של מנויים.
  • מספר השורות והבייטים שהעבודה מעבדת.

מידע נוסף מופיע במאמר בנושא ניהול כרטיסי מוצר.

מנויים

מנויים יכולים לעיין ברשימות של נתונים שיש להם גישה אליהם בבורסות נתונים. הם יכולים גם להירשם לרשימות האלה ולהוסיף את מערכי הנתונים האלה לפרויקטים שלהם על ידי יצירת מערך נתונים מקושר. לאחר מכן, ספקים יכולים להריץ שאילתות במערכי הנתונים המקושרים האלה ולאחזר תוצאות בזמן אמת.

מידע נוסף זמין במאמר הצגה והרשמה לכרטיסי מוצר ולמרכזי נתונים.

מונטיזציה של נתונים

נניח שאתם ספקי נתונים פיננסיים והארגון שלכם אסף מערכי נתונים של תמחור היסטורי של מניות ב Cloud de Confiance פרויקט בשםMarketDataSource. אתם רוצים לייצר הכנסות מהנתונים האלה על ידי הצעתם למוסדות פיננסיים חיצוניים ולסוחרים פרטיים. בקטעים הבאים מוסבר איך אפשר לייצר הכנסות מהנתונים באמצעות שיתוף ב-BigQuery.

מנהלי מערכת

בתור הבעלים של פרויקט MarketDataSource, קודם צריך להפעיל את Analytics Hub API ואת Cloud Marketplace API. לאחר מכן מקצים את תפקיד האדמין ב-Analytics Hub (roles/analyticshub.admin) לצוות שמנהל את אוסף הנתונים לשיתוף.

אדמינים עם הרשאות שיתוף יכולים לבצע את המשימות הבאות:

בעלי תוכן דיגיטלי

בעלי האתרים יוצרים את פרטי המוצרים הבאים עבור מערכי הנתונים הפיננסיים שלהם:

  • רשימה א': מחירי מניות גלובליים (מינוי חודשי)
  • כרטיס מוצר ב': אותות שוק בזמן אמת (מינוי שנתי)
  • כרטיס C: אינדיקטורים כלכליים היסטוריים (תקופת ניסיון בחינם)

בעלי תוכן דיגיטלי יכולים לעקוב אחרי הביצועים של כרטיסי המוצר באמצעות לוח הבקרה של מדדי השימוש כדי לראות את פרטי הצריכה לפי ארגוני מנויים ואת נפח הנתונים הכולל שעבר עיבוד.

מנויים

מנויים יכולים לעיין בפרטי המוצרים ב-BigQuery sharing או ישירות ב-Cloud Marketplace. אחרי שמשתמש רוכש מינוי, הוא יכול להירשם לכרטיס המוצר וליצור מערך נתונים מקושר בCloud de Confiance פרויקט שלו. המנוי יכול להריץ שאילתות ניתוח על נתוני המלאי ההיסטוריים, ולשלב אותם עם אלגוריתמים קנייניים למסחר, בלי להטמיע, להעתיק או לנהל קבצים לא עדכניים.

תמחור

אין עלות נוספת על ניהול של חילופי נתונים או כרטיסי מוצר.

במערכי נתונים של BigQuery, בעלי האתרים משלמים על אחסון הנתונים, ואילו המנויים משלמים על שאילתות שמופעלות על הנתונים המשותפים, על סמך מודלים של תמחור לפי דרישה או לפי קיבולת. מידע על תמחור זמין במאמר תמחור ב-BigQuery.

ב-Pub/Sub, אפליקציות לשליחת הודעות לנושאים משלמות על המספר הכולל של הבייטים שנכתבו (תפוקת פרסום) לנושא המשותף ועל תעבורת נתונים יוצאת מהרשת (אם רלוונטי). המנויים משלמים על המספר הכולל של הבייטים שנקראו (תפוקת מינוי) מהמינוי המקושר ועל תעבורת נתונים יוצאת מהרשת (אם רלוונטי). מידע נוסף על התמחור של Pub/Sub

מכסות

מידע על מכסות שיתוף ב-BigQuery זמין במאמר מכסות ומגבלות.

תאימות

שיתוף ב-BigQuery, כחלק מ-BigQuery, עומד בדרישות של תוכניות התאימות הבאות:

VPC Service Controls

אפשר להגדיר את כללי התעבורה הנכנסת והיוצאת שנדרשים כדי לאפשר למפרסמים ולמנויים לגשת לנתונים מפרויקטים שיש להם גבולות גזרה של VPC Service Controls. מידע נוסף זמין במאמר בנושא שיתוף כללים של VPC Service Controls.

המאמרים הבאים