שימוש בשפה טבעית לניתוח נתונים באמצעות Data Science Agent

במדריך הזה נסביר איך ליצור מודל של למידת מכונה (ML) באמצעות הנחיות בשפה טבעית עם Colab Enterprise Data Science Agent.

במדריך הזה, תבנו מודל ML לחיזוי מכירות של משקאות חריפים באמצעות מערך הנתונים הציבורי של מכירות קמעונאיות של משקאות חריפים באיווה. הסוכן מבוסס-AI מאפשר לכם להשתמש בהנחיות בשפה טבעית כדי לכתוב קוד, להסביר אותו ולפתור בעיות בקוד ישירות בתוך מחברת, וכך להאיץ את תהליכי העבודה שלכם בתחום מדעי הנתונים.

המדריך הזה מיועד לאנשים שעוסקים בנתונים.

מטרות

במדריך הזה תלמדו איך להשתמש בסוכן Data Science כדי לבצע את המשימות הבאות:

  • לבצע ניתוח נתונים למטרת מחקר (EDA) של נתוני מכירות קמעונאיות של משקאות חריפים באיווה כדי להבין את התפלגות הנתונים, לבדוק אם יש ערכים חסרים ולאמת את איכות הנתונים הכוללת.
  • כאן אפשר לראות את החנויות שמכרו הכי הרבה גלונים של אלכוהול מכל המוצרים.
  • ליצור, לאמן ולהעריך מודל לחיזוי מכירות של משקאות חריפים באמצעות BigQuery ML.
  • יצירה וסיכום של תובנות מרכזיות וביצועי המודל.

עלויות

במסמך הזה משתמשים ברכיבים הבאים של Cloud de Confiance by S3NS, והשימוש בהם כרוך בתשלום:

כשמסיימים את המשימות שמתוארות במסמך הזה אפשר למחוק את המשאבים שיצרתם כדי להימנע מחיובים נוספים. מידע נוסף זמין בקטע הסרת המשאבים.

לפני שמתחילים

  1. In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Verify that billing is enabled for your Cloud de Confiance project.

  3. מפעילים את ממשקי ה-API של BigQuery,‏ Gemini for Cloud de Confiance by S3NS,‏ Dataform ו-Compute Engine, אם הם לא מופעלים.

    תפקידים שנדרשים להפעלת ממשקי API

    כדי להפעיל ממשקי API, נדרשת ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק Service Usage' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

    הפעלת ממשקי ה-API

    בפרויקטים חדשים, BigQuery API מופעל באופן אוטומטי.

התפקידים הנדרשים

אם יצרתם פרויקט חדש, יש לכם את כל ההרשאות הנדרשות כדי להשלים את המדריך הזה. אם אתם משתמשים בפרויקט קיים, אתם צריכים לבקש מהאדמין להקצות לכם את התפקידים הבאים.

הרשאות ליצירה ולהרצה של נוטבוקים

כדי לקבל את ההרשאות שנדרשות ליצירה ולהרצה של מחברות, צריך לבקש מהאדמין להקצות לכם את תפקיד ה-IAM‏ BigQuery Studio User (roles/bigquery.studioUser) בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

כדי לראות את ההרשאות שנדרשות ליצירה ולהרצה של מחברות, אפשר לעיין בשלבי ההגדרה בדף יצירת מחברות.

מידע נוסף על ניהול זהויות והרשאות גישה (IAM) ב-BigQuery זמין במאמר בקרת גישה באמצעות IAM.

יצירת נוטבוק ב-Colab Enterprise וחיבור לזמן ריצה

מחברות Colab Enterprise הן נכסי קוד של BigQuery Studio שמבוססים על Dataform. אפשר להשתמש במחברות כדי להשלים ניתוחים ותהליכי עבודה של ML באמצעות SQL,‏ Python וחבילות וממשקי API נפוצים אחרים.

כדי ליצור מחברת חדשה ולחבר אותה לסביבת זמן הריצה שמוגדרת כברירת מחדל, פועלים לפי השלבים הבאים:

  1. עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, מרחיבים את הפרויקט ואז לוחצים על Notebooks.

  3. לוחצים על נוטבוק חדש > נוטבוק ריק.

  4. לוחצים על Save.

  5. כדי לראות את הנוטבוק החדש, לוחצים על הכרטיסייה Notebooks. יכול להיות שתצטרכו ללחוץ על רענון רענון .

  6. במחברת ללא שם, לוחצים על more_vert Open actions (פתיחת פעולות) ואז בוחרים באפשרות Rename (שינוי שם).

  7. בשדה שם הנוטבוק, מזינים predict_liquor_sales ולוחצים על שינוי שם.

  8. לוחצים על הכרטיסייה predict_liquor_sales.

  9. בסרגל הכלים של ה-Notebook, לוחצים על Connect (התחברות) כדי לחבר את ה-Notebook לסביבת זמן הריצה שמוגדרת כברירת מחדל.

שימוש ב-Data Science Agent לניתוח הנתונים

ה-Data Science Agent הוא עוזר מבוסס-Gemini שיכול לכתוב קוד, להסביר אותו ולפתור בעיות בקוד ישירות בתוך המחברת. הוא יכול לעזור לכם במשימות שונות, החל מניתוח נתונים ראשוני ועד ליצירת תחזיות של למידת מכונה, כולל:

  • יצירת תוכניות. יצירת תוכנית מפורטת לפתרון בעיה במדעי הנתונים.
  • ניתוח וניקוי נתונים. לזהות ערכים חסרים, חריגים ולהציג את ההתפלגויות באופן חזותי.
  • Feature engineering להמיר פיצ'רים קטגוריים וליצור פיצ'רים חדשים.
  • אימון והערכה של מודלים. לאמן מודלים כמו רגרסיה לינארית או יער אקראי ולהשוות את הביצועים שלהם.

במדריך הזה, תשתמשו ב-Data Science Agent כדי לנתח נתונים במערך הנתונים הציבורי של מכירות קמעונאיות של משקאות חריפים באיווה, וכדי ליצור מודל לחיזוי מכירות של משקאות חריפים.

כדי להשתמש ב-Data Science Agent לניתוח הנתונים:

  1. במחברת predict_liquor_sales, אם חלון הצ'אט עם Gemini לא פתוח, לוחצים על spark החלפת המצב של Gemini ב-Colab כדי לפתוח את תיבת הדו-שיח של הצ'אט.

  2. בממשק הצ'אט, מזינים את הפרומפט הבא:

    Analyze the liquor sales data from
bigquery-public-data.iowa_liquor_sales.sales by performing exploratory data
analysis. Find the stores that sold the most gallons of alcohol across
all products. Then, create a model that predicts liquor sales by store by
using BigQuery ML. Visualize the results, evaluate the model,
summarize the model's performance, and provide any key insights.

  3. מוודאים שהמודל שמוגדר הוא Gemini 3.0 Flash.

  4. לוחצים על שליחה.

  5. בודקים את התוכנית שנוצרה על ידי הסוכן. התוכנית תיראה בערך כך:

    "ניסחתי תוכנית אסטרטגית אחרי שניתחתי את הבקשה שלך לקבלת נתוני מכירות של משקאות חריפים באיווה. הנתונים מאוחסנים ב-BigQuery וציינתם שאתם רוצים להשתמש ב-BigQuery ML, לכן נתחיל בבדיקת הנתונים, נזהה את החנויות עם הביצועים הכי טובים ואז ניצור מודל רגרסיה כדי לחזות את המכירות. הנה תוכנית פעולה מפורטת:

    • ניתוח נתונים ופרופילים: מבצעים ניתוח ראשוני של הטבלה bigquery-public-data.iowa_liquor_sales.sales כדי להבין את פיזור הנתונים, לבדוק אם יש ערכים חסרים ולאמת את איכות הנתונים בעמודות מרכזיות כמו פרטי החנות, נפח המכירות והכנסות המכירות.
    • זיהוי החנויות המובילות לפי נפח מכירות: צבירה של נפח האלכוהול הכולל שנמכר בכל חנות בכל המוצרים, וזיהוי החנויות עם הביצועים הכי טובים.
    • הכנת הנתונים: צריך לצבור את נתוני המכירות של משקאות חריפים לפי חנות ולבחור את התכונות הרלוונטיות למודל החיזוי.
    • פיתוח מודל: אימון מודל רגרסיה באמצעות BigQuery ML כדי לחזות את מכירות המשקאות החריפים בכל חנות.
    • הערכת המודל: הערכת הביצועים של המודל שאומן באמצעות מדדי רגרסיה סטנדרטיים.
    • תחזית המודל: יצירת תחזיות למכירות משקאות חריפים באמצעות המודל שאומן.
    • תצוגה חזותית: יוצרים תרשים פיזור להשוואה בין מכירות המשקאות החריפים החזויות לבין הערכים בפועל, כדי להעריך באופן חזותי את הדיוק של המודל.
    • סיום המשימה: סכם את הביצועים של המודל, ספק תובנות חשובות לגבי מכירות בחנות הפיזית, וסכם את הניתוח.

  6. אחרי שבודקים את התוכנית, לוחצים על אישור והפעלה. הסוכן יוצר את משימת המשנה הראשונה: בדיקה של הנתונים ויצירת פרופיל שלהם. הסוכן ישהה את הפעולה עד שתבדקו ותאשרו את הקוד. אם הסוכן מחכה לקלט של משתמשים, התאים שנוצרו מוצגים עם רקע ירוק.

  7. בודקים את תא הקוד שנוצר ואת ההסבר שסיפק הסוכן.

    הקוד וההסבר שסופקו על ידי DSA אחרי הבדיקה של מערך הנתונים הציבורי.

  8. לוחצים על אישור והרצה. אם הסוכן נתקל בבעיות בגישה שלו, הוא מספק נימוקים לגבי אופן תיקון הבעיה ומבקש ממך לאשר את הקוד ששונה.

  9. בודקים את הפלט בתא הקוד.

    התוצאות שנוצרות על ידי משימת המשנה של ניתוח הנתונים.

    מתחת לתוצאות, הסוכן יוצר תא חדש כדי להשלים את תת-המשימה הבאה: מציאת החנויות עם מכירות המשקאות החריפים הגבוהות ביותר.

    שאילתת ה-SQL שנוצרה על ידי הסוכן, שמוצאת את חנויות המשקאות המובילות לפי גלונים שנמכרו.

  10. בודקים את קוד ה-SQL שנוצר, שמבצע שאילתה על הנתונים כדי למצוא את החנויות המובילות לפי מספר גלוני האלכוהול שנמכרו. כדי לבדוק את ההיגיון של הסוכן, אפשר לעיין בתא הטקסט Reasoning שמעל הקוד. אם אתם בטוחים שהקוד נכון, לוחצים על אישור והרצה.

  11. בודקים את תוצאות השאילתה בפלט של התא. התוצאות אמורות להיראות כך:

    תוצאות השאילתה שמציגות את חנויות המשקאות המובילות לפי מכירות.

  12. בודקים את הקוד ואת ההסבר שנוצרו על ידי הסוכן למשימת המשנה הבאה: הכנת הנתונים לאימון המודל.

    הקוד וההסבר שנוצרו כדי להכין את הנתונים לאימון המודל.

  13. אחרי שמוודאים שקוד ה-SQL נכון, לוחצים על אישור והפעלה.

  14. בודקים את הפלט בתא הקוד. מופיעה הודעה דומה לזו: JOB ID 123456 successfully executed.

  15. בודקים את הקוד וההסבר שנוצרו על ידי הסוכן למשימת המשנה הבאה: אימון מודל הרגרסיה.

    הקוד וההסבר שנוצרו לאימון מודל הרגרסיה.

  16. אחרי שמעיינים בקוד ובהסבר, לוחצים על אישור והרצה.

  17. בודקים את הפלט בתא הקוד. מופיעה הודעה דומה לזו: JOB ID 123456 successfully executed.

  18. בודקים את הקוד ואת ההסבר שנוצרו על ידי הסוכן למשימת המשנה הבאה: הערכת המודל.

    הקוד וההסבר שנוצרו כדי להעריך את המודל.

  19. אחרי שמעיינים בקוד ובהסבר, לוחצים על אישור והרצה.

  20. בודקים את הפלט בתא הקוד.

    הפלט של משימת המשנה להערכת המודל.

  21. בודקים את הקוד ואת ההסבר שנוצרו על ידי הסוכן למשימת המשנה הבאה: יצירת תחזיות.

    הקוד וההסבר ליצירת התחזיות.

  22. אחרי שמעיינים בקוד ובהסבר, לוחצים על אישור והרצה.

  23. בודקים את הפלט בתא הקוד. מופיעה הודעה דומה לזו: JOB ID 123456 successfully executed.

    אחרי שהשאילתה מופעלת, הסוכן יוצר תא קוד למשימת המשנה הבאה: הדמיה של הנתונים.

    הקוד וההסבר להדמיה של התוצאות.

  24. אחרי שמעיינים בקוד ובהסבר, לוחצים על אישור והרצה.

  25. בודקים את הפלט בתא הקוד. יוצג תרשים שבו מוצגות מכירות בפועל של משקאות חריפים לעומת מכירות צפויות. התרשים אמור להיראות כך:

    תרשים המכירות בפועל לעומת המכירות הצפויות.

    אחרי שהתרשים נוצר, הסוכן יוצר סיכום של התוצאות עם ממצאים ותובנות חשובים.

    הסיכום שנוצר על ידי הסוכן.

  26. אחרי שמעיינים בסיכום, לוחצים על אישור כדי להשלים את התוכנית.

הסרת המשאבים

כדי להימנע מחיובים בחשבון Google Cloud בגלל השימוש במשאבים שנעשה במסגרת המדריך הזה, אפשר למחוק את הפרויקט שמכיל את המשאבים, או להשאיר את הפרויקט ולמחוק את המשאבים בנפרד.

כדי להימנע מחיובים בחשבון Cloud de Confiance by S3NS על המשאבים שבהם השתמשתם במדריך הזה, אתם יכולים למחוק את מחברת ה-notebook שיצרתם. כדי למחוק את המחברת:

  1. עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, מרחיבים את הפרויקט ואז לוחצים על Notebooks.

  3. במחברת predict_liquor_sales, לוחצים על more_vert Open actions (פתיחת פעולות) ואז בוחרים באפשרות Delete (מחיקה).

  4. לוחצים על מחיקה כדי להסיר את ה-Notebook.

המאמרים הבאים