שימוש בסוכן מדע הנתונים של Colab Enterprise עם BigQuery

הסוכן למדע הנתונים (DSA) ב-Colab Enterprise וב-BigQuery מאפשר לכם לבצע אוטומציה של ניתוח נתונים לצורך גילוי תובנות, לבצע משימות של למידת מכונה ולספק תובנות – והכול בתוך מחברת Colab Enterprise.

לפני שמתחילים

  1. In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Verify that billing is enabled for your Cloud de Confiance project.

  3. מפעילים את ממשקי ה-API של BigQuery,‏ Gemini for Cloud de Confiance by S3NS,‏ Dataform ו-Compute Engine, אם הם לא מופעלים.

    תפקידים שנדרשים להפעלת ממשקי API

    כדי להפעיל ממשקי API, נדרשת ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק Service Usage' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

    הפעלת ממשקי ה-API

    בפרויקטים חדשים, BigQuery API מופעל באופן אוטומטי.

אם אתם חדשים ב-Colab Enterprise ב-BigQuery, תוכלו לעיין בשלבי ההגדרה בדף יצירת מחברות.

מגבלות

  • ה-Data Science Agent זמין רק בסביבת Colab Enterprise.
  • הסוכן Data Science Agent תומך במקורות הנתונים הבאים:
    • קובצי CSV
    • טבלאות ב-BigQuery
  • הקוד שנוצר על ידי Data Science Agent פועל רק בסביבת זמן הריצה של המחברת.
  • החיפוש של טבלאות BigQuery באמצעות הפונקציה @mention מוגבל לפרויקט הנוכחי. משתמשים בבורר הטבלאות כדי לחפש בפרויקטים.
  • הפונקציה @mention מחפשת רק טבלאות BigQuery. כדי לחפש קובצי נתונים שאפשר להעלות, משתמשים בסמל +.
  • ‫PySpark ב-Data Science Agent יוצר רק קוד של Managed Service for Apache Spark 4.0. ה-DSA יכול לעזור לכם לשדרג ל-Managed Service for Apache Spark 4.0, אבל משתמשים שנדרשות להם גרסאות קודמות לא צריכים להשתמש ב-Data Science Agent.
  • אין תמיכה במפתחות הצפנה בניהול הלקוח (CMEK).

מתי כדאי להשתמש ב-Data Science Agent

הסוכן Data Science עוזר לכם במשימות שונות, החל מניתוח נתונים לצורך גילוי תובנות ועד ליצירת תחזיות וחיזויים של למידת מכונה. אפשר להשתמש ב-DSA כדי:

  • עיבוד נתונים בהיקף נרחב: אפשר להשתמש ב-BigQuery ML, ב-BigQuery DataFrames או ב-Managed Service for Apache Spark כדי לבצע עיבוד נתונים מבוזר במערכי נתונים גדולים. כך תוכלו לנקות, לשנות ולנתח ביעילות נתונים גדולים מדי שלא נכנסים לזיכרון במחשב יחיד.
  • יצירת תוכנית: יצירה ושינוי של תוכנית להשלמת משימה מסוימת באמצעות כלים נפוצים כמו Python,‏ SQL,‏ Managed Service for Apache Spark ו-BigQuery DataFrames.
  • ניתוח נתונים: ניתוח של מערך נתונים כדי להבין את המבנה שלו, לזהות בעיות פוטנציאליות כמו ערכים חסרים וחריגים, ולבדוק את ההתפלגות של משתנים מרכזיים באמצעות Python או SQL.
  • ניקוי נתונים: ניקוי הנתונים. לדוגמה, אפשר להסיר נקודות נתונים שהן חריגות.
  • ארגון נתונים: המרת תכונות קטגוריות לייצוגים מספריים באמצעות טכניקות כמו קידוד one-hot או קידוד תוויות, או באמצעות כלי ההמרה של תכונות ב-BigQuery ML. ליצור תכונות חדשות לניתוח.
  • ניתוח נתונים: ניתוח הקשרים בין משתנים שונים. חישוב מתאמים בין תכונות מספריות ובדיקת התפלגויות של תכונות קטגוריות. מחפשים דפוסים ומגמות בנתונים.
  • המחשת נתונים: יצירת המחשות כמו היסטוגרמות, תרשימי קופסה, תרשימי פיזור ותרשימי עמודות שמייצגים את ההתפלגויות של משתנים בודדים ואת הקשרים ביניהם. אפשר גם ליצור ויזואליזציות ב-Python לטבלאות שמאוחסנות ב-BigQuery.
  • הנדסת תכונות: הנדסת תכונות חדשות מקבוצת נתונים שעברה ניקוי.
  • פיצול נתונים: פיצול של מערך נתונים שעבר הנדסה למערכי נתונים של אימון, אימות ובדיקה.
  • אימון מודל: אפשר לאמן מודל באמצעות נתוני האימון ב-pandas DataFrame (‏X_train, y_train), ב-BigQuery DataFrames, ב-PySpark DataFrame או באמצעות הצהרת BigQuery ML CREATE MODEL עם טבלאות BigQuery.
  • אופטימיזציה של מודל: אופטימיזציה של מודל באמצעות קבוצת נתונים לתיקוף. כדאי לבדוק מודלים חלופיים כמו DecisionTreeRegressor ו-RandomForestRegressor ולהשוות את הביצועים שלהם.
  • הערכת המודל: הערכת ביצועי המודל במערך נתוני בדיקה באמצעות pandas DataFrame,‏ BigQuery DataFrames או PySpark DataFrame. אפשר גם להעריך את איכות המודל ולהשוות בין מודלים באמצעות פונקציות להערכת מודלים של BigQuery ML למודלים שאומנו באמצעות BigQuery ML.
  • הסקת מסקנות לגבי מודלים: ביצוע הסקת מסקנות לגבי מודלים שאומנו ב-BigQuery ML, מודלים שיובאו ומודלים מרוחקים באמצעות פונקציות להסקת מסקנות ב-BigQuery ML. אפשר גם להשתמש בשיטה model.predict() של BigFrames או בטרנספורמציות של PySpark כדי ליצור תחזיות.

שימוש ב-Data Science Agent ב-BigQuery

בשלבים הבאים מוסבר איך להשתמש ב-Data Science Agent ב-BigQuery.

  1. יוצרים או פותחים מחברת Colab Enterprise.

  2. אופציונלי: אפשר להפנות לנתונים באחת מהדרכים הבאות:

    • מעלים קובץ CSV או משתמשים בסמל + בהנחיה כדי לחפש קבצים זמינים.
    • בוחרים טבלה אחת או יותר ב-BigQuery בכלי לבחירת טבלאות מהפרויקט הנוכחי או מפרויקטים אחרים שיש לכם גישה אליהם.
    • כדי להפנות לשם של טבלה ב-BigQuery בהנחיה, צריך להשתמש בפורמט הבא: project_id:dataset.table.
    • מקלידים את הסמל @ כדי לחפש שם של טבלה ב-BigQuery באמצעות הפונקציה @mention.

  3. כותבים הנחיה שמתארת את ניתוח הנתונים שרוצים לבצע או את אב הטיפוס שרוצים ליצור. ההתנהגות שמוגדרת כברירת מחדל ב-Data Science Agent היא יצירת קוד Python באמצעות ספריות קוד פתוח כמו sklearn, כדי לבצע משימות מורכבות של למידת מכונה. כדי להשתמש בכלי ספציפי, צריך לכלול את מילות המפתח הבאות בהנחיה:

    • אם רוצים להשתמש ב-BigQuery ML, צריך לכלול את מילת המפתח SQL.
    • אם רוצים להשתמש ב-BigQuery DataFrames, צריך לציין את מילות המפתח BigFrames או BigQuery DataFrames.
    • אם רוצים להשתמש ב-PySpark, צריך לכלול את מילות המפתח Apache Spark או PySpark.

    אפשר לקבל עזרה בהנחיות לדוגמה.

  4. בוחרים מודל. מודל ברירת המחדל הוא Gemini 3.0 Flash.

  5. שולחים את ההנחיה ובודקים את התוצאות.

ניתוח של קובץ CSV

כדי לנתח קובץ CSV באמצעות Data Science Agent ב-BigQuery, צריך לבצע את השלבים הבאים.

  1. עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, מרחיבים את הפרויקט ואז לוחצים על מחברות.

  3. לוחצים על נוטבוק חדש > נוטבוק ריק.

    לחלופין, בסרגל הכרטיסיות, לוחצים על החץ לתפריט הנפתח arrow_drop_down לצד הסמל add_box של הוספה, ואז לוחצים על מחברת > מחברת ריקה.

  4. לוחצים על לחצן הנצנוץ הפעלה או השבתה של Gemini ב-Colab כדי לפתוח את תיבת הדו-שיח של הצ'אט.

  5. מעלים את קובץ ה-CSV.

    1. בתיבת הדו-שיח של הצ'אט, לוחצים על הוספה ל-Gemini > העלאה.

    2. אם צריך, מאשרים את חשבון Google.

    3. מנווטים למיקום של קובץ ה-CSV ולוחצים על פתיחה.

  6. אפשרות נוספת היא להקליד את הסמל + בפרומפט כדי לחפש קבצים זמינים להעלאה.

  7. כותבים את הפרומפט בחלון הצ'אט. לדוגמה: Identify trends and anomalies in this file.

  8. בוחרים מודל. מודל ברירת המחדל הוא Gemini 3.0 Flash.

  9. לוחצים על שליחה. התוצאות יופיעו בחלון הצ'אט.

  10. אפשר לבקש מהסוכן לשנות את התוכנית, או להפעיל אותה בלחיצה על אישור והפעלה. במהלך הפעלת התוכנית, הקוד והטקסט שנוצרו מופיעים במחברת. כדי להפסיק, לוחצים על ביטול.

ניתוח טבלאות ב-BigQuery

כדי לנתח טבלה ב-BigQuery, בוחרים טבלה אחת או יותר בבורר הטבלאות, מציינים הפניה לטבלה בהנחיה או מחפשים טבלה באמצעות הסמל @.

  1. עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, מרחיבים את הפרויקט ואז לוחצים על Notebooks.

  3. לוחצים על נוטבוק חדש > נוטבוק ריק.

    לחלופין, בסרגל הכרטיסיות, לוחצים על החץ לתפריט הנפתח arrow_drop_down לצד הסמל add_box הוספה, ואז לוחצים על מחברת > מחברת ריקה.

  4. לוחצים על לחצן הנצנוץ הפעלה או השבתה של Gemini ב-Colab כדי לפתוח את תיבת הדו-שיח של הצ'אט.

  5. כותבים את הפרומפט בחלון הצ'אט.

  6. אפשר לציין את הנתונים שלכם באחת מהדרכים הבאות:

    1. בוחרים טבלה אחת או יותר באמצעות הכלי לבחירת טבלאות:

      1. לוחצים על הוספה ל-Gemini > טבלאות BigQuery.

      2. בחלון BigQuery tables (טבלאות BigQuery), בוחרים טבלה אחת או יותר בפרויקט. אפשר לחפש טבלאות בפרויקטים ולסנן אותן באמצעות סרגל החיפוש.

    2. אפשר לכלול שם של טבלה ב-BigQuery ישירות בהנחיה. לדוגמה: "תעזור לי לבצע חקירה וניתוח נתונים ולקבל תובנות לגבי הנתונים בטבלה הזו: project_id:dataset.table."

      מחליפים את מה שכתוב בשדות הבאים:

      • ‫project_id: מזהה הפרויקט
      • ‫dataset: שם מערך הנתונים שמכיל את הטבלה שאתם מנתחים
      • ‫table: שם הטבלה שאתם מנתחים

    3. מקלידים @ כדי לחפש טבלה ב-BigQuery בפרויקט הנוכחי.

  7. בוחרים מודל. מודל ברירת המחדל הוא Gemini 3.0 Flash.

  8. לוחצים על שליחה.

    התוצאות יופיעו בחלון הצ'אט.

  9. אפשר לבקש מהסוכן לשנות את התוכנית, או להפעיל אותה בלחיצה על אישור והפעלה. במהלך הפעלת התוכנית, הקוד והטקסט שנוצרו מופיעים במחברת. אם יש שלבים נוספים בתוכנית, יכול להיות שתצטרכו ללחוץ שוב על אישור והפעלה. כדי להפסיק, לוחצים על ביטול.

פרומפטים לדוגמה

לא משנה כמה הפרומפט שבו אתם משתמשים מורכב, Data Science Agent יוצר תוכנית שאפשר לשפר כדי שתתאים לצרכים שלכם.

בדוגמאות הבאות אפשר לראות סוגים של הנחיות שאפשר להשתמש בהן עם DSA.

פרומפטים של Python

קוד Python נוצר כברירת מחדל, אלא אם משתמשים במילת מפתח ספציפית בהנחיה, כמו BigQuery ML או SQL.

  • "חקירה ומילוי של ערכים חסרים באמצעות אלגוריתם למידת מכונה מסוג k-Nearest Neighbors ‏ (KNN)".
  • ‫"Create a plot of salary by experience level. בעזרת העמודה experience_level, מקבצים את המשכורות ויוצרים דיאגרמת קופסה לכל קבוצה שמציגה את הערכים מהעמודה salary_in_usd."
  • ‫"Use the XGBoost algorithm to make a model for determining the class variable of a particular fruit. מפצלים את הנתונים למערכי נתונים לאימון ולבדיקה כדי ליצור מודל ולקבוע את רמת הדיוק שלו. תצור מטריצת בלבול כדי להציג את התחזיות בכל אחת מהכיתות, כולל כל התחזיות שנכונות ולא נכונות".
  • "תחזית target_variable מfilename.csv לששת החודשים הבאים".

הנחיות ל-SQL ול-BigQuery ML

  • ‫"Create and evaluate a classification model on bigquery-public-data.ml_datasets.census_adult_income using BigQuery SQL."
  • ‫"Using SQL, forecast the future traffic of my website for the next month based on bigquery-public-data.google_analytics_sample.ga_sessions_*. אחר כך, יוצרים תרשים של הערכים ההיסטוריים והתחזיתיים".
  • "תקבץ לקוחות דומים יחד כדי ליצור קמפיינים שיווקיים ממוקדים באמצעות מודל KMeans ופונקציות SQL של BigQuery ML. שימוש בשלוש תכונות לצורך אשכולות. לאחר מכן, יוצרים סדרה של תרשימי פיזור דו-ממדיים כדי להציג את התוצאות באופן חזותי. צריך להשתמש בטבלה bigquery-public-data.ml_datasets.census_adult_income."
  • ‫"Generate text embeddings in BigQuery ML using the review content in bigquery-public-data.imdb.reviews."

רשימה של מודלים נתמכים ומשימות של למידת מכונה זמינה במאמרי העזרה של BigQuery ML.

הנחיות ל-DataFrame

  • ‫"Create a pandas DataFrame for the data in project_id:dataset.table. מנתחים את הנתונים כדי לזהות ערכי null, ואז יוצרים תרשים של ההתפלגות של כל עמודה באמצעות סוג התרשים. משתמשים בתרשימי כינור לערכים שנמדדו ובתרשימי עמודות לקטגוריות".
  • ‫"Read filename.csv and construct a DataFrame. מריצים ניתוח ב-DataFrame כדי לקבוע מה צריך לעשות עם הערכים. לדוגמה, האם יש ערכים חסרים שצריך להחליף או להסיר, או האם יש שורות כפולות שצריך לטפל בהן. משתמשים בקובץ הנתונים כדי לקבוע את התפלגות הכסף שהושקע בדולר ארה"ב לפי מיקום העיר. תכין תרשים עמודות של 20 התוצאות המובילות, שבו התוצאות מוצגות בסדר יורד לפי המיקום לעומת הסכום הממוצע שהושקע (USD)."
  • ‫"Create and evaluate a classification model on project_id:dataset.table using BigQuery DataFrames."
  • "תצור מודל לחיזוי סדרות זמנים ב-project_id:dataset.table באמצעות BigQuery DataFrames, ותציג את הערכות המודל".
  • "צור תרשים של נתוני המכירות בשנה האחרונה בטבלת BigQuery‏ project_id:dataset.table באמצעות BigQuery DataFrames".
  • "תמצא את התכונות שיכולות לחזות בצורה הכי טובה את מיני הפינגווינים מהטבלה bigquery-public_data.ml_datasets.penguins באמצעות BigQuery DataFrames".

הנחיות ל-PySpark

  • ‫"Create and evaluate a classification model on project_id:dataset.table using Managed Service for Apache Spark."
  • "תקבץ לקוחות דומים כדי ליצור קמפיינים לטירגוט שוק, אבל קודם תבצע צמצום ממדים באמצעות מודל PCA. תשתמש ב-PySpark כדי לעשות את זה בטבלה project_id:dataset.table".

השבתה של Gemini ב-BigQuery

כדי להשבית את Gemini ב-BigQuery עבור פרויקט Cloud de Confiance , אדמין צריך להשבית את Gemini for Google Cloud API. השבתת שירותים

כדי להשבית את Gemini ב-BigQuery למשתמש ספציפי, אדמין צריך לבטל את התפקיד משתמש ב-Gemini ב-Google Cloud (roles/cloudaicompanion.user) עבור המשתמש הזה. ראו ביטול תפקיד יחיד ב-IAM.

תמחור

התמחור של Data Science Agent מבוסס על נתוני הקלט והפלט שלכם. מידע נוסף על תמחור סוכנים זמין במאמר איך התמחור ב-BigQuery עובד.

אזורים נתמכים

מידע על האזורים הנתמכים של סוכן מדע הנתונים של Colab Enterprise זמין במאמר בנושא מיקומים.