סקירה כללית על תובנות מנתונים

אתם יכולים להשתמש בתובנות לגבי נתונים כדי לנתח נתונים לא מוכרים באמצעות תיאורים שנוצרו על ידי AI, גרפים של קשרים ושאילתות SQL. התכונה הזו של Gemini ב-BigQuery מנתחת את המטא-נתונים כדי לעזור לכם להבין במהירות את מבני הנתונים והתוכן. התובנות האלה מאפשרות לכם להתחיל את הניתוח בלי לבצע הגדרה ידנית מקיפה.

לפני שמתחילים

התובנות מנתונים נוצרות באמצעות Gemini ב-BigQuery. כדי להתחיל ליצור תובנות, קודם צריך להגדיר את Gemini ב-BigQuery.

סוגים של תובנות לגבי נתונים

אפשר ליצור תובנות לגבי נתונים ברמת הטבלה או מערך הנתונים:

• לגבי טבלאות: Gemini יוצר שאלות בשפה טבעית ואת המקבילות שלהן ב-SQL כדי לעזור לכם להבין את הנתונים בטבלה מסוימת. בעזרת תובנות לגבי טבלאות, אפשר לזהות דפוסי נתונים, אנומליות, ערכים חריגים או בעיות באיכות בטבלה. ‫Gemini גם יוצר תיאורים של הטבלה והעמודות.

• למערכי נתונים: (תצוגה מקדימה) ‫Gemini יוצר גרף אינטראקטיבי של קשרים שמציג קשרים בין טבלאות ושאילתות SQL בין טבלאות, כדי לעזור לכם להבין את הקשרים בין הטבלאות במערך נתונים. באמצעות גרפים של קשרים, אפשר לגלות איך הנתונים נגזרים, מה שיכול לעזור לפתור בעיות שקשורות לאיכות, לעקביות או לכפילות. באמצעות שאילתות בין טבלאות, אפשר למצוא קשרים רחבים יותר. לדוגמה, אפשר לחשב את ההכנסה לפי פלח לקוחות באמצעות נתונים מטבלת מכירות ומטבלת לקוחות.

כדי לחקור לעומק, אפשר לשאול שאלות המשך בקנבס נתונים.

תובנות לגבי טבלאות

תובנות לגבי טבלאות עוזרות להבין את התוכן, האיכות והדפוסים בטבלה אחת ב-BigQuery. לדוגמה, אפשר ליצור שאילתות שמבצעות ניתוח סטטיסטי כדי לזהות דפוסים, אנומליות וערכים חריגים בנתונים. תובנות לגבי טבלאות יכולות לעזור לכם לזהות בעיות באיכות הנתונים, במיוחד אם סריקות של פרופיל הנתונים זמינות לטבלה. כשמפיקים תובנות לגבי טבלה, Gemini מספק תיאור של הטבלה, תיאורים של העמודות ופלט של סריקת הפרופיל על סמך המטא-נתונים של הטבלה. אלו האפשרויות הזמינות:

• יצירת שאילתות: מציע שאלות בשפה טבעית ומספק את שאילתות ה-SQL המתאימות כדי לענות עליהן. כך תוכלו לזהות דפוסים, להעריך את איכות הנתונים ולבצע ניתוח סטטיסטי בלי לכתוב קוד SQL מאפס.
• יצירת תיאורים: יצירת תיאורים לטבלה ולעמודות שלה. ‫Gemini משתמש בתוצאות של סריקת פרופיל (אם הן זמינות) כדי לעגן את התיאורים שנוצרו. אתם יכולים לבדוק, לערוך ולפרסם את התיאורים האלה ב-Knowledge Catalog כדי לשפר את יכולת הגילוי של הנתונים ואת התיעוד שלהם.

תובנות לגבי מערך הנתונים

תובנות לגבי מערך נתונים עוזרות להבין את הקשרים ואת נתיבי ההצטרפות בין כמה טבלאות במערך נתונים ב-BigQuery, וכך מספקות תצוגה הוליסטית של תוכן מערך הנתונים. כשמפיקים תובנות לגבי מערך נתונים, Gemini מספק את הפרטים הבאים:

• תיאור מערך הנתונים: סיכום של מערך הנתונים שנוצר על ידי AI.
• קשרים: מציג מפה ויזואלית ואינטראקטיבית שבה מוצגים הקשרים בין הטבלאות במערך הנתונים. אפשר להציב את הסמן מעל חיבורים כדי לראות פרטים על הקשר, כמו מפתחות איחוד.
• טבלת קשרים: מציגה תצוגת טבלה של הקשרים בין הטבלאות, כולל מפתחות זרים וצירופים משוערים. אפשר להגדיר קשרים באמצעות סכימה (ממגבלות של מפתח ראשי ומפתח זר), על סמך שימוש (מיומני שאילתות) או ש-Gemini מסיק אותם על סמך שמות ותיאורים של טבלאות ועמודות.
• המלצות לשאילתות: מציעות שאילתות SQL לדוגמה שמדגימות איך לצרף נתונים מטבלאות שונות, על סמך הקשרים שזוהו.

דוגמה לתובנות לגבי נתוני טבלה

נניח שיש טבלה בשם telco_churn עם עמודות כמו CustomerID,‏ Tenure,‏ InternetService,‏ Contract,‏ MonthlyCharges ו-Churn. בטבלה הבאה מתוארים המטא-נתונים של הטבלה.

התובנות לגבי הנתונים יוצרות את השאילתות לדוגמה הבאות עבור הטבלה הזו:

• זיהוי לקוחות שנרשמו לכל שירותי הפרימיום והם לקוחות כבר יותר מ-50 חודשים.

  SELECT
    CustomerID,
    Contract,
    Tenure
  FROM
    agentville_datasets.telco_churn
  WHERE
    OnlineBackup = 'Yes'
    AND TechSupport = 'Yes'
    AND StreamingTV = 'Yes'
    AND Tenure > 50;
  

• לזהות את ספק האינטרנט עם הכי הרבה לקוחות שעזבו.

  SELECT
    InternetService,
    COUNT(DISTINCT CustomerID) AS customers
  FROM
    agentville_datasets.telco_churn
  WHERE
    Churn = TRUE
  GROUP BY
    InternetService
  ORDER BY
    customers DESC
  LIMIT 1;
  

דוגמה לתובנות מהנתונים של קבוצת נתונים

נניח שיש מערך נתונים שמכיל את הטבלאות order_items ו-inventory_items. תובנות לגבי מערך נתונים יכולות להסיק שorder_items.inventory_item_id קשור ל-inventory_items.id.

על סמך הקשרים האלה, Gemini עשוי ליצור את השאילתה הבאה בין הטבלאות:

זיהוי 5 קטגוריות המוצרים המובילות עם מחיר המבצע הממוצע הגבוה ביותר והעלות הממוצעת שלהן.

SELECT
  ii.product_category,
  AVG(oi.sale_price) AS avg_sale_price,
  AVG(ii.cost) AS avg_cost
FROM
  `ecommerce_data.order_items` AS oi
JOIN
  `ecommerce_data.inventory_items` AS ii
ON oi.inventory_item_id = ii.id
GROUP BY
  ii.product_category
ORDER BY
  avg_sale_price DESC
LIMIT 5;

תהליכי עבודה של תובנות מנתונים

בקטע הזה מתוארים תהליכי עבודה מרכזיים שמשתמשים עם תפקידים שונים יכולים לבצע באמצעות התכונה 'תובנות לגבי נתונים' ב-BigQuery.

תהליכי עבודה לצרכני נתונים

תהליכי העבודה האלה מתמקדים במשימות של מנתחי נתונים, אנליסטים עסקיים ומשתמשים אחרים שצריכים למצוא, להבין ולנתח נתונים.

• הסבר על טבלה ב-BigQuery: הבנה מהירה של הסכימה, התוכן והשימושים האפשריים של טבלה ספציפית. אחרי שבוחרים טבלה ב-BigQuery Studio, אפשר לבצע את המשימות הבאות:

  • בודקים את התיאורים של הטבלה והעמודות שנוצרו באופן אוטומטי.

  • כדי להבין את הניואנסים של הנתונים, כדאי לבדוק את השאלות המוצעות בשפה טבעית ואת שאילתות ה-SQL המקבילות.

  • כדי להתחיל בניתוח, אפשר להתאים ולהריץ שאילתות מוצעות.

  מידע נוסף על יצירה והצגה של תובנות לגבי טבלאות זמין במאמר יצירת תובנות לגבי טבלאות.

• בדיקת מערך נתונים שלם: גילוי הקשרים בין טבלאות במערך נתונים והבנת המבנה הכולל שלו. אחרי שבוחרים מערך נתונים ב-BigQuery Studio, אפשר לבצע את המשימות הבאות:

  • ליצור תובנות לגבי מערך נתונים ולצפות בהן.

  • אפשר להשתמש בתרשים האינטראקטיבי של הקשרים כדי לראות את הקשרים בין הטבלאות.

  • ניתוח של טבלת קשרי הגומלין כדי למצוא מפתחות לצירוף וסוגי חיבורים (מוגדרים בסכימה, מבוססים על שימוש, נגזרים על ידי LLM).

  • משתמשים בהצעות לשאילתות SQL חוצות טבלאות כדי לבצע שאילתות על כמה טבלאות בצורה יעילה.

  מידע נוסף על יצירה של תובנות לגבי מערך נתונים וצפייה בהן זמין במאמר יצירת תובנות לגבי מערך נתונים.

תהליכי עבודה למפיקי נתונים

תהליכי העבודה האלה מיועדים למהנדסי נתונים, למהנדסי ניתוח נתונים ולאנשים אחרים שיוצרים ומנהלים נכסי נתונים.

• יצירת מסמכי נתוני בסיס: יצירה ותחזוקה אוטומטיים של תיאורי מטא-נתונים חיוניים. אפשר לבצע את המשימות הבאות:

  • אחרי שיוצרים או משנים טבלה, אפשר להפעיל את התובנות לגבי הנתונים כדי ליצור תיאורים של הטבלה והעמודות. אפשר גם ליצור את התיאורים האלה בהיקף גדול באמצעות ה-API של Knowledge Catalog ליצירה אוטומטית של מטא נתונים.

  • בודקים ומשפרים את הטקסט שנוצר על ידי AI כדי לוודא שהוא מדויק מבחינה טכנית ורלוונטי לעסק.

  מידע נוסף על יצירת תיאורים של טבלאות ועמודות זמין במאמר יצירת תובנות לגבי טבלאות.

• שיפור ההבנה של קבוצות הנתונים עבור המשתמשים: כדי להקל על הצרכנים להבין את קבוצות הנתונים שסופקו ולהשתמש בהן. אפשר לבצע את המשימות הבאות:

  • ליצור תובנות לגבי מערכי נתונים מרכזיים, במיוחד מערכי נתונים עם קשרים מורכבים.

  • כדי לקבל תובנות מדויקות ושימושיות יותר, חשוב לוודא שסריקות של פרופיל הנתונים מופעלות בטבלאות כדי לספק הקשר עשיר.

  מידע נוסף זמין במאמרים יצירת תובנות ממערך נתונים והתבססות על תוצאות של פרופיל נתונים.

תהליכי עבודה לאחראים על נתונים

תהליכי העבודה האלה תומכים באחראים על הנתונים ובצוותי ניהול הנתונים בשמירה על שלמות הנתונים והאמינות שלהם.

• מאמתים ובודקים את המטא-נתונים שנוצרו על ידי AI: חשוב לוודא שהמטא-נתונים שנוצרו על ידי תובנות הנתונים מדויקים ומהימנים. אפשר לבצע את המשימות הבאות:

  • כדאי לבדוק באופן קבוע את התיאורים ואת קשרי הגומלין שנוצרו על ידי התכונה 'תובנות'.

  • השוואה בין קשרים שהוסקו בגרף הקשרים לבין מודלים של נתונים ולוגיקה עסקית קיימים.

  • בודקים את המטא-נתונים שנוצרו על ידי AI ומתקנים אי דיוקים.

  מידע נוסף זמין במאמרים בנושא יצירת תובנות לגבי טבלאות ויצירת תובנות לגבי מערכי נתונים.

תמחור

פרטים על התמחור של התכונה הזו זמינים במאמר סקירת התמחור של Gemini ב-BigQuery.

מכסות ומגבלות

מידע על מכסות ומגבלות של התכונה הזו זמין במאמר מכסות ל-Gemini ב-BigQuery.

מגבלות

אלו המגבלות שחלות על תובנות לגבי נתונים:

• תובנות לגבי נתונים זמינות לטבלאות BigQuery, לטבלאות BigLake, לטבלאות חיצוניות ולתצוגות מפורטות.

• ללקוחות שמשתמשים בכמה עננים, הנתונים מעננים אחרים לא זמינים.

• התובנות לגבי הנתונים לא תומכות בסוגי העמודות GEO או JSON.

• התובנות לא תמיד יציגו שאילתות. כדי להגדיל את הסיכוי ליצור שאילתות מעוררות עניין, צריך להפעיל מחדש את צינור התובנות.

• עבור טבלאות עם בקרת גישה ברמת העמודה והרשאות משתמש מוגבלות, תוכלו ליצור תובנות אם יש לכם הרשאת קריאה לכל העמודות בטבלה. כדי להריץ את השאילתות שנוצרו, צריכות להיות לכם הרשאות מספיקות.

• ‫Gemini יוצר תיאורי עמודות למקסימום 350 עמודות בטבלה.

• כשמדובר בתובנות לגבי מערך נתונים, אי אפשר לערוך את הקשרים בתרשים הקשרים.

• יצירת תובנות חדשות לגבי מערך נתונים מסוים תגרום להחלפת התובנות הקודמות לגבי אותו מערך נתונים.

• מדדי קהלים של קבוצת נתונים לא תומכים בקבוצות נתונים מקושרות.

מיקומים

אפשר להשתמש בתובנות לגבי נתונים בכל המיקומים של BigQuery. מידע על המיקום שבו Gemini ב-BigQuery מעבד את הנתונים שלכם זמין במאמר המיקום שבו Gemini ב-BigQuery מעבד את הנתונים שלכם.

המאמרים הבאים

• איך יוצרים תובנות לגבי טבלאות

• איך יוצרים תובנות לגבי מערך נתונים

• מידע נוסף על פרופילים של נתונים ב-Knowledge Catalog

• איך כותבים שאילתות בעזרת Gemini ב-BigQuery

• מידע נוסף על Gemini ב-BigQuery

• ב-Data Canvas אפשר לשפר את תוצאות השאילתות באמצעות שאלות בשפה טבעית.