הגדרה ושימוש בפתרון ישויות ב-BigQuery
במסמך הזה מוסבר איך להטמיע זיהוי ישויות עבור משתמשי קצה וספקי זהויות.
אפשר להשתמש במסמך הזה כדי להתחבר לספק זהויות ולהשתמש בשירות שלו כדי להתאים רשומות. ספקי זהויות יכולים להשתמש במסמך הזה כדי להגדיר שירותים לשיתוף איתכם ב-Google Cloud Marketplace.
תהליך העבודה למשתמשי קצה
בקטעים הבאים מוסבר איך להגדיר את פתרון הישויות ב-BigQuery. כאן אפשר לראות ייצוג חזותי של ההגדרה המלאה.
לפני שמתחילים
- פונים לספק הזהויות. BigQuery תומך בפתרון ישויות באמצעות LiveRamp ו-TransUnion.
- מקבלים את הפריטים הבאים מספק הזהויות:
- פרטי כניסה לחשבון שירות
- חתימת פונקציה מרוחקת
- יוצרים שני מערכי נתונים בפרויקט Cloud de Confiance :
- קבוצת נתונים של קלט
- מערך נתונים של פלט
התפקידים הנדרשים
כדי לקבל את ההרשאות שדרושות להרצת משימות של זיהוי ישויות, אתם צריכים לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:
-
כדי שחשבון השירות של ספק הזהויות יוכל לקרוא את קבוצת נתוני הקלט ולכתוב לקבוצת נתוני הפלט:
- BigQuery Data Viewer (צפייה בנתוני BigQuery)
roles/bigquery.dataViewerבמערך הנתונים של הקלט - BigQuery Data Editor (
roles/bigquery.dataEditor) במערך הנתונים של הפלט
- BigQuery Data Viewer (צפייה בנתוני BigQuery)
להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.
תרגום או פתרון של ישויות
בקטעים הבאים יש הוראות ספציפיות לספקי זהויות.
LiveRamp
דרישות מוקדמות
- מגדירים את LiveRamp Embedded Identity ב-BigQuery. מידע נוסף זמין במאמר בנושא הפעלת LiveRamp Embedded Identity ב-BigQuery.
- צריך לתאם עם LiveRamp כדי להפעיל את פרטי הכניסה ל-API לשימוש ב-Embedded Identity. מידע נוסף זמין במאמר בנושא אימות.
הגדרה
כשמשתמשים ב-LiveRamp Embedded Identity בפעם הראשונה, צריך לבצע את השלבים הבאים. אחרי ההגדרה, צריך לשנות רק את טבלת הקלט ואת טבלת המטא-נתונים בין הרצות.
יצירת טבלת קלט
יוצרים טבלה במערך הנתונים של הקלט. מאכלסים את הטבלה עם RampID, דומיינים לטירגוט וסוגי טירגוט. לפרטים נוספים ולדוגמאות, ראו תיאורים של עמודות בטבלת הקלט.
יצירת טבלת מטא-נתונים
טבלת המטא-נתונים שולטת בהרצה של LiveRamp Embedded Identity ב-BigQuery. יוצרים טבלת מטא-נתונים במערך הנתונים של הקלט. מאכלסים את טבלת המטא-נתונים במזהי לקוחות, במצבי הפעלה, בדומיינים של היעד ובסוגי היעד. לפרטים נוספים ולעיון בדוגמאות, ראו תיאורים של עמודות בטבלת מטא-נתונים.
שיתוף טבלאות עם LiveRamp
נותנים לחשבון השירות של LiveRamp Cloud de Confiance by S3NS גישה לצפייה ולעיבוד של נתונים במערך נתוני הקלט. לפרטים נוספים ולדוגמאות, ראו שיתוף טבלאות וערכות נתונים עם LiveRamp.
הפעלת משימה עם זהות מוטמעת
כדי להריץ ב-BigQuery עבודה של זהות מוטמעת באמצעות LiveRamp, צריך לבצע את השלבים הבאים:
- מוודאים שכל מזהי RampID שהוצפנו בדומיין מופיעים בטבלת הקלט.
- לפני שמריצים את העבודה, צריך לוודא שטבלת המטא-נתונים עדיין מדויקת.
- כדי לבקש תהליך של משימה, צריך לפנות לכתובת LiveRampIdentitySupport@liveramp.com. כוללים את מזהה הפרויקט, מזהה קבוצת הנתונים ומזהה הטבלה (אם רלוונטי) עבור טבלת הקלט, טבלת המטא-נתונים וקבוצת נתוני הפלט.
בדרך כלל התוצאות מועברות למערך נתוני הפלט תוך שלושה ימי עסקים.
תמיכה ב-LiveRamp
לבעיות שקשורות לתמיכה, אפשר לפנות אל התמיכה של LiveRamp Identity.
חיוב ב-LiveRamp
LiveRamp מטפלת בחיוב על פתרון ישויות.
TransUnion
דרישות מוקדמות
- כדי לחתום על הסכם לגישה לשירות, צריך לפנות אל TransUnion Cloud Support. צריך לספק את Cloud de Confiance מזהה הפרויקט, סוגי נתוני הקלט, תרחיש השימוש ונפח הנתונים.
- צוות התמיכה של TransUnion Cloud מפעיל את השירות עבור Cloud de Confiance הפרויקט שלכם ושולח מדריך הטמעה מפורט שכולל את נתוני הפלט הזמינים.
הגדרה
השלבים הבאים נדרשים כשמשתמשים בשירות TruAudience Identity Resolution and Enrichment של TransUnion בסביבת BigQuery.
יצירת חיבור חיצוני
יוצרים חיבור למקור נתונים חיצוני מסוג Vertex AI remote models, remote functions and BigLake (Cloud Resource). אתם משתמשים בחיבור הזה כדי להפעיל את שירות זיהוי הזהויות שמתארח בחשבון TransUnion Cloud de Confiance מהחשבון שלכם ב-Cloud de Confiance .
מעתיקים את מזהה החיבור ואת מזהה חשבון השירות ומשתפים את המזהים האלה עם צוות המסירה ללקוחות של TransUnion.
יצירת פונקציה מרחוק
יוצרים פונקציה מרוחקת כדי ליצור אינטראקציה עם נקודת הקצה של מתזמן השירותים שמתארחת בפרויקט TransUnion Cloud de Confiance , כדי להעביר את המטא-נתונים הנדרשים (כולל מיפויי סכימות) לשירות TransUnion. משתמשים במזהה החיבור מהחיבור החיצוני שיצרתם ובנקודת הקצה של פונקציית הענן שמתארחת ב-TransUnion, ששותפה על ידי צוות המסירה ללקוחות של TransUnion.
יצירת טבלת קלט
יוצרים טבלה במערך הנתונים של הקלט. TransUnion תומכת בשם, בכתובת למשלוח דואר, בכתובת אימייל, במספר טלפון, בתאריך לידה, בכתובת IPv4 ובמזהי מכשירים כקלט. צריך לפעול לפי הנחיות הפורמט שמפורטות במדריך ההטמעה ש-TransUnion שיתפה איתכם.
יצירת טבלת מטא-נתונים
יוצרים טבלת מטא-נתונים לאחסון ההגדרות שנדרשות לשירות לזיהוי זהויות כדי לעבד נתונים, כולל מיפוי סכימות. לפרטים נוספים ולדוגמאות, אפשר לעיין במדריך ההטמעה ש-TransUnion שיתפה איתכם.
יצירת טבלה של סטטוס המשימות
יוצרים טבלה כדי לקבל עדכונים לגבי העיבוד של קבוצת קלט. אפשר להריץ שאילתות על הטבלה הזו כדי להפעיל תהליכים אחרים ב-downstream בצינור הנתונים. הסטטוסים האפשריים של המשרות הם RUNNING, COMPLETED או ERROR.
יצירת קריאה לשירות
כדי להפעיל את שירות זיהוי הזהויות של TransUnion, צריך לבצע את השלבים הבאים אחרי איסוף כל המטא-נתונים, אריזתם והעברתם לנקודת הקצה של פונקציית הענן להפעלת שירותים שמארחת TransUnion.
-- create service invocation procedure
CREATE OR REPLACE
PROCEDURE
`<project_id>.<dataset_id>.TransUnion_get_identities`(metadata_table STRING, config_id STRING)
begin
declare sql_query STRING;
declare json_result STRING;
declare base64_result STRING;
SET sql_query =
'''select to_json_string(array_agg(struct(config_id,key,value))) from `''' || metadata_table
|| '''` where config_id="''' || config_id || '''" ''';
EXECUTE immediate sql_query INTO json_result;
SET base64_result = (SELECT to_base64(CAST(json_result AS bytes)));
SELECT `<project_id>.<dataset_id>.remote_call_TransUnion_er`(base64_result);
END;
יצירת טבלת הפלט התואמת
מריצים את סקריפט ה-SQL הבא כדי ליצור את טבלת הפלט התואמת. זה הפלט הרגיל של האפליקציה, שכולל דגלים של התאמות, ציונים, מזהים קבועים של אנשים ומזהים של משקי בית.
-- create output table
CREATE TABLE `<project_id>.<dataset_id>.TransUnion_identity_output`(
batchid STRING,
uniqueid STRING,
ekey STRING,
hhid STRING,
collaborationid STRING,
firstnamematch STRING,
lastnamematch STRING,
addressmatches STRING,
addresslinkagescores STRING,
phonematches STRING,
phonelinkagescores STRING,
emailmatches STRING,
emaillinkagescores STRING,
dobmatches STRING,
doblinkagescore STRING,
ipmatches STRING,
iplinkagescore STRING,
devicematches STRING,
devicelinkagescore STRING,
lastprocessed STRING);
הגדרת מטא-נתונים
פועלים לפי מדריך ההטמעה ש-TransUnion שיתפה איתכם כדי למפות את סכמת הקלט לסכמת האפליקציה. המטא-נתונים האלה מגדירים גם את יצירת מזהי שיתוף הפעולה, שהם מזהים לא קבועים שאפשר לשתף ושאפשר להשתמש בהם בחדרי נתונים נקיים.
הענקת גישת קריאה וכתיבה
מקבלים את מזהה חשבון השירות של חיבור Apache Spark מצוות העברת הנתונים ללקוחות של TransUnion ומעניקים לו גישת קריאה וכתיבה למערך הנתונים שמכיל את טבלאות הקלט והפלט. מומלץ לספק את מזהה חשבון השירות עם התפקיד BigQuery Data Editor (עריכת נתונים ב-BigQuery) במערך הנתונים.
הפעלת האפליקציה
אפשר להפעיל את האפליקציה מתוך הסביבה על ידי הפעלת התסריט הבא.
call `<project_id>.<dataset_id>.TransUnion_get_identities`("<project_id>.<dataset_id>.TransUnion_er_metadata","1");
-- using metadata table, and 1 = config_id for the batch run
תמיכה
לבעיות טכניות, אפשר לפנות אל התמיכה של TransUnion Cloud.
חיוב ושימוש
חברת TransUnion עוקבת אחרי השימוש באפליקציה ומשתמשת בנתונים למטרות חיוב. לקוחות פעילים יכולים לפנות לנציג המסירה של TransUnion כדי לקבל מידע נוסף.
תהליך העבודה של ספקי הזהויות
בקטעים הבאים מוסבר איך להגדיר את זיהוי הישויות ב-BigQuery. כאן אפשר לראות ייצוג חזותי של ההגדרה המלאה.
לפני שמתחילים
- יוצרים משימת Cloud Run או פונקציית Cloud Run כדי לשלב אותה עם הפונקציה המרוחקת. שתי האפשרויות מתאימות למטרה הזו.
מקבלים את השם של חשבון השירות שמשויך לפונקציית Cloud Run או Cloud Run:
נכנסים לדף Cloud Functions במסוף Cloud de Confiance .
לוחצים על שם הפונקציה ואז על הכרטיסייה פרטים.
בחלונית General Information, מוצאים את השם של חשבון השירות של הפונקציה המרוחקת ורושמים אותו.
יוצרים פונקציה מרחוק.
קבלת ישויות (principals) של משתמשי קצה ממשתמש הקצה.
התפקידים הנדרשים
כדי לקבל את ההרשאות שדרושות להרצת משימות של זיהוי ישויות, אתם צריכים לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:
-
כדי שחשבון השירות שמשויך לפונקציה יוכל לקרוא ולכתוב במערכי נתונים משויכים ולהפעיל משימות:
- BigQuery Data Editor (
roles/bigquery.dataEditor) on the project - BigQuery Job User (
roles/bigquery.jobUser) בפרויקט
- BigQuery Data Editor (
-
כדי שהמשתמש הראשי יוכל לראות את הפונקציה המרוחקת ולהתחבר אליה:
- BigQuery Connection User (
roles/bigquery.connectionUser) on the connection - BigQuery Data Viewer (
roles/bigquery.dataViewer) במערך הנתונים של מישור הבקרה עם הפונקציה המרוחקת
- BigQuery Connection User (
להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.
שיתוף פונקציה מרוחקת של זיהוי ישויות
משנים את קוד הממשק המרוחק הבא ומשתפים אותו עם משתמש הקצה. משתמש הקצה צריך את הקוד הזה כדי להתחיל את עבודת זיהוי הישויות.
`PARTNER_PROJECT_ID.DATASET_ID`.match`(LIST_OF_PARAMETERS)
מחליפים את LIST_OF_PARAMETERS ברשימת הפרמטרים שמועברים לפונקציה המרוחקת.
אופציונלי: מספקים מטא-נתונים של המשרה
אפשר גם לספק מטא-נתונים של העבודה באמצעות פונקציה מרוחקת נפרדת או באמצעות כתיבה של טבלת סטטוס חדשה במערך נתוני הפלט של המשתמש. דוגמאות למטא-נתונים: סטטוסים של משימות ומדדים.
חיוב של ספקי זהויות
כדי לייעל את החיוב של הלקוחות ואת תהליך ההצטרפות שלהם, כדאי לשלב את שירות זיהוי הישויות עם Google Cloud Marketplace. כך תוכלו להגדיר מודל תמחור על סמך השימוש בעבודת זיהוי הישות, ו-Google תטפל בחיוב בשבילכם. מידע נוסף זמין במאמר בנושא הצעת מוצרי תוכנה כשירות (SaaS).