שימוש ב-Gemini Cloud Assist

במאמר הזה מוסבר איך להשתמש ב-Gemini Cloud Assist, מוצר מתוך חבילת Gemini for Cloud de Confiance by S3NS, כדי להבין את המטא-נתונים, המשימות והשאילתות שלכם ב-BigQuery ולעבוד איתם. הוא כולל תרחישי שימוש נתמכים והנחיות לדוגמה שאפשר להשתמש בהן ב-Gemini Cloud Assist.

לפני שמתחילים

כדי להשתמש ב-Gemini Cloud Assist, האדמין צריך לבצע את השלבים להגדרת Gemini Cloud Assist בפרויקט או בתיקייה שבהם אתם עובדים.

כדי ש-Gemini Cloud Assist יוכל לענות על שאלות ולטפל בבקשות לגבי המשאבים שלכם ב- Cloud de Confiance , הוא צריך את ההרשאות המתאימות לניהול זהויות והרשאות גישה (IAM) למשאבים האלה. כשמבקשים מ-Gemini Cloud Assist להריץ שאילתות על הנתונים ב-BigQuery, הוא מקבל את ההרשאות שלכם, כך שבמקרים רבים ההרשאות הנדרשות ב-IAM כבר מוענקות. מידע נוסף זמין במאמר דרישות IAM לשימוש ב-Gemini Cloud Assist.

שימוש ב-Gemini Cloud Assist

  1. עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בסרגל הכלים Cloud de Confiance , לוחצים על spark Open or close Gemini AI chat כדי לפתוח את הצ'אט עם Gemini Cloud Assist.

    לחצן Gemini Cloud Assist בסרגל הכלים של BigQuery.

  3. בשדה כאן כותבים הנחיה, מזינים את ההנחיה.

  4. לוחצים על שליחה שליחה.

בקטעים הבאים מופיעות דוגמאות למשימות שאפשר לבצע באמצעות Gemini Cloud Assist, יחד עם הנחיות לדוגמה.

חיפוש מקורות מידע

חיפוש של משאבי טבלאות ומערכי נתונים בפרויקט יחיד או בכמה פרויקטים וקבלת מידע עליהם. ‫Gemini Cloud Assist משתמש ב-Knowledge Catalog כדי לחפש במשאבי BigQuery. החיפושים מתבצעים באמצעות ההרשאות שלכם. לדוגמה, אם אין לכם הרשאה לראות את המטא-נתונים של משאב, הוא לא יופיע בתוצאות. תרחישי שימוש נתמכים:

  • חיפוש משאב לפי שם בחלונית Cloud Assist, מזינים הנחיה דומה להנחיה הבאה:

    האם יש לי מערכי נתונים בשם ecommerce?

  • שואלים על המטא-נתונים של טבלה. אתם יכולים לשאול על טבלה לפי שם, או לאפשר ל-Gemini Cloud Assist להסיק איזו טבלה אתם מתכוונים על סמך היסטוריית הצ'אט או הטבלה שמצוינת בכרטיסיית השאילתה הפעילה. אם מציינים טבלה לפי שם, צריך להשתמש בשם המוגדר במלואו. אתם יכולים לשאול על הסכימה של טבלה או על מטא-נתונים אחרים, כמו חלוקה למחיצות ואשכולות. בחלונית Cloud Assist, מזינים הנחיה דומה להנחיה הבאה:

    מה הסכימה של PROJECT_NAME.DATASET_NAME.TABLE_NAME?

  • לשאול איפה אפשר למצוא מידע ספציפי. בחלונית Cloud Assist, מזינים הנחיה דומה להנחיה הבאה:

    איפה אפשר למצוא נתונים דמוגרפיים, כמו גיל ומיקום, של משתמשים חדשים מהשנה האחרונה?

יצירת קוד

אתם יכולים להשתמש ב-Gemini Cloud Assist כדי ליצור קוד SQL ו-Python שיעזור לכם לבצע שאילתות ולנתח את הנתונים.

יצירת SQL

כדי ליצור שאילתת SQL, מתארים את הפעולה שרוצים שהשאילתה תבצע. כדי לקבל את התוצאות הטובות ביותר, כדאי לכלול את שם הטבלה שרוצים לשלוח אליה שאילתה. לדוגמה, בחלונית Cloud Assist, מקלידים הנחיה דומה להנחיה הבאה:

תצור שאילתת SQL שתציג את משך הנסיעה ואת סוג המנוי של עשר הנסיעות הארוכות ביותר. תשתמש בטבלה bigquery-public-data.san_francisco_bikeshare.bikeshare_trips.

יצירת קוד Python

כדי ליצור קוד Python, מתארים מה רוצים שהקוד יעשה. לדוגמה, בחלונית Cloud Assist, אפשר להזין את ההנחיה הבאה כדי לבקש מ-Gemini לשלוח שאילתה לטבלה penguins ממערך נתונים ציבורי באמצעות תחביר הפקודות הקסומות של BigQuery:

תצור קוד Python לשאילתה של הטבלה [bigquery-public-data.ml_datasets.penguins] באמצעות פקודות Magic של BigQuery.

תזמון שאילתה

כדי לתזמן שאילתה, צריך לספק את הפרטים הבאים בהנחיה:

  • תזמון, למשל כל יום שני בשעה 17:00 או כל יום שלישי שני בשעה 2:00
  • השם המוצג
  • מזהה טבלת היעד ומזהה מערך נתוני היעד
  • שעת התחלה
  • שעת סיום
  • כתיבת סוג הפעולה, כמו WRITE_EMPTY, WRITE_APPEND או WRITE_TRUNCATE

לדוגמה, בחלונית Cloud Assist, אפשר להזין הנחיה דומה להנחיה הבאה:

Schedule the query open in the editor to run daily. The display name
should be "test query". Write the results to a new table in mydataset
called scheduled_results. Use WRITE_APPEND. Start it now.

מעקב אחר שושלת נתונים

אתם יכולים להשתמש ב-Gemini Cloud Assist כדי לחקור ולנתח את מקורות הנתונים. התרשים יכול לעזור לכם להבין תלות בנתונים, להעריך את ההשפעה של שינויים במבנה ולסכם זרימות נתונים מורכבות. כדי לנתח את שרשרת המקור, אתם יכולים לשאול את Gemini Cloud Assist שאלות בתחומי הפעילות הבאים:

  • קבלת נתונים סטטיסטיים של שרשרת היוחסין אפשר לבקש מ-Gemini Cloud Assist נתונים כמותיים על תרשים שושלת, כמו המספר הכולל של הנכסים, מערכי הנתונים או הפרויקטים שכלולים בו. כותבים הנחיה בחלונית Cloud Assist, למשל:

    • כמה נכסים במעלה הזרם יש ל-Customer_Master?
    • כמה מערכי נתונים של BigQuery מעורבים ב-upstream lineage של Customer_Interaction_Summary?
    • צריך לספק ספירה של כל הנכסים הייחודיים בתרשים של Marketing_Interaction במעלה הזרם.

  • ניתוח יחסי תלות מיידיים. אפשר לזהות את ההורים (מקורות) או הילדים (צרכנים) הישירים של נכס מסוים באמצעות ניתוח של קשרים ברמה אחת. בחלונית Cloud Assist, מזינים הנחיה דומה להנחיה הבאה:

    • מהם המקורות המיידיים של Customer_Master?
    • מהם הצרכנים הישירים של הטבלה Card_Master?
    • מהם המקורות הישירים של Web_Session_Validated?

  • הערכת ההשפעה בהמשך. הסבר על ההשלכות של שינוי נכס או הסרתו. אפשר להגדיר את ההיקף של ההנחיות האלה לפי עומק (מספר הדילוגים) או לפי גבולות ספציפיים של הפרויקט. בחלונית Cloud Assist, מקלידים הנחיה דומה להנחיה הבאה:

    • אילו נכסים יושפעו אם אשמיט את Customer_Master?
    • תראה לי את הנכסים במורד הזרם מ-Customer_Master בטווח של 2 קפיצות.
    • האם שינוי של Customer_Master ישפיע על נכסים כלשהם בפרויקט data-lineage-manual-tests?

  • זיהוי מקורות השורש ויעדים סופיים. למצוא את המקורות או היעדים הסופיים של הנתונים, בלי לעבור דרך שלבי טרנספורמציה ביניים. בחלונית Cloud Assist, מזינים הנחיה דומה להנחיה הבאה:

    • מהם כל המקורות הסופיים של הנתונים בטבלה Customer_Master?
    • מהם מקורות הנתונים המקוריים של Transaction_Data_Enriched, לא כולל טבלאות ביניים?
    • מהם יעדי הנתונים הסופיים מ-Card_Data_Validated?

  • מעקב אחרי זרימת הנתונים בין נכסים. מבקשים מ-Gemini Cloud Assist להסביר את החיבור, הנתיב או זרימת הנתונים הספציפיים בין שני נכסים ידועים. בחלונית Cloud Assist, מזינים הנחיה דומה להנחיה הבאה:

    • איך Customer_Master תלויה ב-Customer_Data_Raw?
    • איך זרימת הנתונים מ-Customer_Data_Raw אל Customer_Profile_Snapshot?
    • כמה צעדים יש בין Customer_Data_Raw לבין Alert_Fact?

  • סינון שושלת נתונים לפי סוג או שם של נכס. חיפוש של סוגים ספציפיים של נכסים מקושרים (כמו תצוגות של BigQuery או לוחות בקרה של Looker) או נכסים שתואמים לתבנית שמות ספציפית. כותבים הנחיה בחלונית Cloud Assist, למשל:

    • האם נעשה שימוש ב-Customer_Master בתצוגות מפורטות של BigQuery?
    • האם יש לוחות בקרה ב-Looker במורד הזרם של Customer_Master?
    • אילו טבלאות במעלה הזרם של Customer_Master כוללות את המילה Country בשם שלהן?

  • סיכום של גרפים של שרשרת היוחסין. לבקש סקירה בשפה טבעית של שושלת נתונים של נכס, במקום רשימה או מספר ספציפיים. בחלונית Cloud Assist, מזינים הנחיה דומה להנחיה הבאה:

    • תן לי סיכום של נכסים שתלויים ב-Web_Session_Validated.
    • סכם את שושלת הנתונים של הטבלה הזו.
    • What is the lineage of bigquery:PROJECT_NAME.DATASET_NAME

ניתוח משרות

מידע נוסף על משימות שהופעלו בפרויקט, כולל היסטוריית המשימות האישית והיסטוריית המשימות של הפרויקט, כדי לתמוך בתרחישי השימוש הבאים:

  • ניפוי באגים בשאילתות שפועלות במשך זמן רב. אפשר לקבל מידע על הסטטוס הנוכחי של עבודה ועל הסיבות לכך שהיא נמשכת זמן רב מהצפוי, כמו תחרות על משבצות, מספר גדול של שורות שנסרקו, נפח נתונים גדול ועוד. בחלונית Cloud Assist, מזינים הנחיה דומה להנחיה הבאה:

    למה העבודה הזו נמשכת כל כך הרבה זמן? JOB_ID

  • ניתוח הסיבה לכשל במשימה. למה שאילתה ספציפית נכשלה? בחלונית Cloud Assist, מזינים הנחיה דומה להנחיה הבאה:

    למה JOB_ID נכשל?

  • איך מוצאים שאילתות שצורכות הרבה משאבים מידע על השאילתות הכי יקרות על סמך מספר הבייטים המשוער שעברו עיבוד. בחלונית Cloud Assist, מזינים הנחיה דומה להנחיה הבאה:

    מהן 3 השאילתות הכי יקרות שהרצתי ביומיים האחרונים?

ניהול BigQuery

בכלי Jobs Explorer, אתם יכולים להתכתב בצ'אט עם Gemini Cloud Assist כדי לעקוב אחרי הביצועים, לנתח את הקיבולת ולבצע אופטימיזציה של העלויות. לדוגמה, אתם יכולים להשתמש ב-Gemini Cloud Assist כדי:

  • ניתוח של הזמנות וקיבולת. אפשר לעקוב אחרי ניצול המחשוב ולזהות צווארי בקבוק באמצעות שפה טבעית. בחלונית Cloud Assist, אפשר להזין הנחיות דומות להנחיות הבאות:

    • תנתח את ביצועי ההזמנות שלי ב-24 השעות האחרונות.
    • הצגת הפרויקטים והמשתמשים המובילים שצורכים את ההזמנה שלי ל 'ייצור'.
    • האם הקיבולת הנוכחית מספיקה לעומס השיא?

  • מעקב אחרי משרות והשוואה ביניהן השוואה בין עומסי עבודה כדי להבין שינויים בביצועים. אתם יכולים לקבל תמצית נתוני הביצועים של עבודה שמדגישה צווארי בקבוק והזדמנויות לאופטימיזציה, או להשוות ישירות את פרטי ההרצה של עבודות שונות כדי לזהות רגרסיות או שיפורים.

  • הגדרה של ניהול עומסי עבודה. אפשר לבדוק ולנהל את הגדרות ההזמנה ב-BigQuery, כולל הקצאות והתחייבויות, באמצעות שפה טבעית. היכולת הזו מספקת תובנות לגבי הגדרות של התאמה אוטומטית לעומס, ניהול של יחידות קיבולת בלי פעילות ופרטים ספציפיים למהדורה. בחלונית Cloud Assist, אפשר להזין הנחיות דומות להנחיות הבאות:

    • תציג את ההזמנות שלי עם שינוי גודל אוטומטי.
    • תקבל את המטלות שלי ל-PROJECT_ID.
    • מה ההגדרה של הזמנת המקום RESERVATION_NAME?
    • הצגת ההתחייבויות לשימוש
    • כמה הזמנות הוגדרו עם האפשרות 'התעלמות ממשבצות זמן פנויות'?
    • List all reservations by edition Enterprise.
    • תציג לי את כל המקומות השמורים הנוכחיים, ותראה לי את slot_capacity ואת autoscale_max_slots של כל אחד מהם.

  • זיהוי המשאבים המובילים. זיהוי הצרכנים העיקריים של משאבי BigQuery. העוזר הדיגיטלי יכול להציג את המשתמשים והמשימות המובילים על סמך ניצול המשבצות בפרויקטים או בהזמנות ספציפיות. הסיוע הזה מספק תמיכה ניהולית מקיפה במשאבים קריטיים של BigQuery, כולל משימות, משתמשים, פרויקטים והזמנות. באמצעות ניתוח של מדדי ביצועים מרכזיים כמו שימוש במשבצות זמן ומשך העבודה, העוזר הדיגיטלי מספק תובנות פרקטיות לשיפור המעקב ואופטימיזציה של הקצאת המשאבים. בחלונית Cloud Assist, אפשר להזין הנחיות דומות להנחיות הבאות:

    • מהם המשתמשים המובילים בפרויקט שלי עם השימוש הגבוה ביותר במשבצות?
    • תציג לי את המשימות המובילות שצורכות הכי הרבה משבצות בהזמנה RESERVATION_NAME בשעה האחרונה.

אופטימיזציה של שאילתה

אתם יכולים להשתמש ב-Gemini Cloud Assist כדי לנתח את שאילתות ה-SQL ולקבל המלצות לאופטימיזציה שלהן. ‫Gemini Cloud Assist מנתח את מבנה השאילתה ומציע שיפורים כדי לצמצם את זמן משבצת השאילתה, איפה שאפשר. אפשר לבצע אופטימיזציה של שאילתה באחת מהשיטות הבאות:

  • לוחצים על Optimize (אופטימיזציה) בעורך השאילתות. הלחצן הזה זמין רק כשמשתמשים במהדורות BigQuery.

    1. עוברים לדף BigQuery.

      כניסה ל-BigQuery

    2. בעורך השאילתות, מזינים את שאילתת ה-SQL ומריצים אותה.

    3. בסרגל הכלים של עורך השאילתות, לוחצים על אופטימיזציה. ‫Gemini Cloud Assist מנתח את השאילתה שהופעלה ומציג המלצות בחלונית Cloud Assist.

  • משתמשים בחלונית של Cloud Assist. אפשר לפתוח את השאילתה בכרטיסייה פעילה או להדביק את קוד ה-SQL ישירות בחלונית Cloud Assist ולבקש לבצע אופטימיזציה. התכונה הזו זמינה לכל הלקוחות, בלי קשר לסוג התמחור שבו הם משתמשים (מהדורות BigQuery) או לתמחור לפי דרישה.

המאמרים הבאים