איך משתמשים ב-Data Science Agent של Colab Enterprise עם BigQuery

סוכן Data Science ‏ (DSA) ל-Colab Enterprise ול-BigQuery מאפשר לכם להפוך את ניתוח הנתונים החקירתי לאוטומטי, לבצע משימות של למידת מכונה ולקבל תובנות – והכול בתוך ה-notebook של Colab Enterprise.

לפני שמתחילים

  1. In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Verify that billing is enabled for your Cloud de Confiance project.

  3. מפעילים את ממשקי ה-API של BigQuery, ‏Gemini for Cloud de Confiance by S3NS, ‏Dataform ו-Compute Engine, אם הם עדיין לא מופעלים.

    התפקידים שנדרשים כדי להפעיל ממשקי API

    כדי להפעיל ממשקי API, צריך את ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

    הפעלת ממשקי ה-API

    בפרויקטים חדשים, BigQuery API מופעל באופן אוטומטי.

אם אתם משתמשים חדשים ב-Colab Enterprise ב-BigQuery, עיינו בשלבי ההגדרה בדף יצירת תיקיות Notebook.

מגבלות

  • ה-DSA זמין רק בסביבת Colab Enterprise.
  • חוק ה-DSA תומך במקורות הנתונים הבאים:
    • קובצי CSV
    • טבלאות ב-BigQuery
  • הקוד שנוצר על ידי ה-DSA פועל רק בזמן הריצה של ה-Notebook.
  • הפונקציה @mention מאפשרת לחפש טבלאות ב-BigQuery רק בפרויקט הנוכחי. משתמשים בבורר הטבלאות כדי לחפש בפרויקטים.
  • הפונקציה @mention מחפשת רק טבלאות ב-BigQuery. כדי לחפש קובצי נתונים שאפשר להעלות, משתמשים בסמל +.
  • ‫PySpark ב-DSA יוצר רק קוד של Managed Service for Apache Spark 4.0. ה-DSA יכול לעזור לכם לשדרג ל-Managed Service for Apache Spark 4.0. אם אתם צריכים גרסאות קודמות, אתם יכולים לכתוב ולהריץ קוד PySpark ישירות ב-notebook.
  • אין תמיכה במפתחות הצפנה בניהול הלקוח (CMEK).

איך משתמשים ב-Data Science Agent ב-BigQuery

כך משתמשים ב-DSA ב-BigQuery:

  1. יוצרים או פותחים notebook ב-Colab Enterprise.

  2. אופציונלי: אפשר להפנות לנתונים באחת מהדרכים הבאות:

    • מעלים קובץ CSV או משתמשים בסמל + בהנחיה כדי לחפש קבצים זמינים.
    • בבורר הטבלאות, בוחרים טבלה אחת או יותר ב-BigQuery מהפרויקט הנוכחי או מפרויקטים אחרים שיש לכם גישה אליהם.
    • מפנים לשם של טבלה ב-BigQuery בהנחיה בפורמט הזה: project_id:dataset.table.
    • מקלידים את הסמל @ כדי לחפש שם של טבלה ב-BigQuery באמצעות הפונקציה @mention.

  3. מזינים הנחיה שמתארת את ניתוח הנתונים שרוצים לבצע או את אב הטיפוס שרוצים לבנות. כברירת מחדל, המערכת יוצרת קוד Python באמצעות ספריות קוד פתוח כמו sklearn כדי לבצע משימות מורכבות של למידת מכונה. כדי להשתמש בכלי ספציפי, צריך לכלול את מילות המפתח הבאות בהנחיה:

    • אם אתם רוצים להשתמש ב-BigQuery ML, הוסיפו את מילת המפתח "SQL".
    • אם רוצים להשתמש ב-BigQuery DataFrames, צריך לציין את מילות המפתח BigFrames או BigQuery DataFrames.
    • אם רוצים להשתמש ב-PySpark, צריך לכלול את מילות המפתח "Apache Spark" או "PySpark".

  4. בוחרים מודל. מודל ברירת המחדל הוא Gemini 3.0 Flash.

  5. שולחים את ההנחיה ובודקים את התוצאות.

ניתוח קובץ CSV

כדי לנתח קובץ CSV באמצעות DSA ב-BigQuery, פועלים לפי השלבים הבאים.

  1. נכנסים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, מרחיבים את הפרויקט ולוחצים על Notebooks.

  3. לוחצים על תיקיית Notebook חדשה > תיקיית Notebook ריקה.

    לחלופין, בסרגל הכרטיסיות, לוחצים על החץ לתפריט נפתח arrow_drop_down ליד הסמל add_box Add ואז על Notebook > Empty notebook.

  4. לוחצים על הכפתור Toggle Gemini in Colab כדי לפתוח את תיבת הדו-שיח של הצ'אט.

  5. מעלים את קובץ ה-CSV.

    1. בתיבת הדו-שיח של הצ'אט, לוחצים על הוספה ל-Gemini > העלאה.

    2. אם צריך, מאשרים את חשבון Google.

    3. מנווטים למיקום של קובץ ה-CSV ולוחצים על פתיחה.

  6. אפשר גם להקליד את הסמל + בהנחיה כדי לחפש קבצים זמינים להעלאה.

  7. מזינים את ההנחיה בחלון הצ'אט. לדוגמה: Identify trends and anomalies in this file.

  8. בוחרים מודל. מודל ברירת המחדל הוא Gemini 3.0 Flash.

  9. לוחצים על שליחה. התוצאות יופיעו בחלון הצ'אט.

  10. אתם יכולים לבקש מהנציג לשנות את התוכנית, או להפעיל אותה בלחיצה על אישור והפעלה. בזמן שהתוכנית פועלת, הקוד והטקסט שנוצרו מופיעים ב-notebook. לוחצים על ביטול כדי להפסיק.

ניתוח טבלאות ב-BigQuery

כדי לנתח טבלה ב-BigQuery, בוחרים טבלה אחת או יותר בבורר הטבלאות, מספקים הפניה לטבלה בהנחיה או מחפשים טבלה באמצעות הסמל @.

  1. נכנסים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, מרחיבים את הפרויקט ולוחצים על Notebooks.

  3. לוחצים על תיקיית Notebook חדשה > תיקיית Notebook ריקה.

    לחלופין, בסרגל הכרטיסיות, לוחצים על החץ לתפריט נפתח arrow_drop_down ליד הסמל add_box Add ואז על Notebook > Empty notebook.

  4. לוחצים על הכפתור Toggle Gemini in Colab כדי לפתוח את תיבת הדו-שיח של הצ'אט.

  5. מזינים את ההנחיה בחלון הצ'אט.

  6. אפשר להפנות לנתונים באחת מהדרכים הבאות:

    1. בוחרים טבלה אחת או יותר באמצעות בורר הטבלאות:

      1. לוחצים על הוספה ל-Gemini > טבלאות ב-BigQuery.

      2. בחלון BigQuery tables, בוחרים טבלה אחת או יותר בפרויקט. אתם יכולים לחפש טבלאות בפרויקטים שונים ולסנן טבלאות באמצעות סרגל החיפוש.

    2. לכלול שם של טבלה ב-BigQuery ישירות בהנחיה. לדוגמה: "תעזור לי לבצע חקירה וניתוח נתונים ולקבל תובנות לגבי הנתונים בטבלה הזו: project_id:dataset.table".

      מחליפים את מה שכתוב בשדות הבאים:

      • ‫project_id: מזהה הפרויקט
      • ‫dataset: שם קבוצת הנתונים שמכילה את הטבלה שאתם מנתחים
      • ‫table: שם הטבלה שמנתחים

    3. מקלידים @ כדי לחפש טבלה ב-BigQuery בפרויקט הנוכחי.

  7. בוחרים מודל. מודל ברירת המחדל הוא Gemini 3.0 Flash.

  8. לוחצים על שליחה.

    התוצאות יופיעו בחלון הצ'אט.

  9. אתם יכולים לבקש מהנציג לשנות את התוכנית, או להפעיל אותה בלחיצה על אישור והפעלה. בזמן שהתוכנית פועלת, הקוד והטקסט שנוצרו מופיעים ב-notebook. בשלבים נוספים בתוכנית, יכול להיות שתצטרכו ללחוץ שוב על Accept & run. לוחצים על ביטול כדי להפסיק.

פרומפטים לדוגמה

לא משנה כמה ההנחיה מורכבת, ה-DSA יוצר תוכנית שאפשר לשנות בהתאם לצרכים שלכם.

הדוגמאות הבאות מראות את סוגי ההנחיות שאפשר להשתמש בהן עם DSA.

הנחיות ב-Python

כברירת מחדל, נוצר קוד Python, אלא אם משתמשים בהנחיה במילת מפתח ספציפית כמו BigQuery ML או SQL.

  • "Investigate and fill missing values by using the k-Nearest Neighbors (KNN) machine learning algorithm."
  • "צור תרשים של השכר לפי רמת הניסיון. השתמש בעמודה experience_level כדי לקבץ את המשכורות, וצור תרשים קופסה לכל קבוצה שמציג את הערכים מהעמודה salary_in_usd".
  • "השתמש באלגוריתם XGBoost כדי ליצור מודל לקביעת המשתנה class של פרי מסוים. מפצלים את הנתונים לקבוצות נתונים לאימון ולבדיקה כדי ליצור מודל ולקבוע את רמת הדיוק שלו. צריך ליצור מטריצת טעויות כדי להציג את החיזויים בכל קטגוריה, כולל כל החיזויים הנכונים והשגויים".
  • "Forecast target_variable from filename.csv for the next six months." (תחזית של target_variable מ-filename.csv לששת החודשים הבאים)

הנחיות ל-SQL ול-BigQuery ML

  • "צור והערך מודל סיווג ב-bigquery-public-data.ml_datasets.census_adult_income באמצעות BigQuery SQL".
  • "באמצעות SQL, חזה את התנועה העתידית באתר שלי בחודש הבא על סמך bigquery-public-data.google_analytics_sample.ga_sessions_*. אחר כך, צריך לשרטט את הערכים ההיסטוריים והערכים החזויים".
  • "קיבוץ לקוחות דומים כדי ליצור קמפיינים שיווקיים מטורגטים באמצעות מודל KMeans ופונקציות SQL של BigQuery ML. משתמשים בשלוש תכונות לאשכולות. לאחר מכן, יוצרים סדרה של תרשימי פיזור דו-ממדיים כדי להציג את התוצאות באופן חזותי. השתמשו בטבלה bigquery-public-data.ml_datasets.census_adult_income."
  • "יצירת הטמעות טקסט ב-BigQuery ML באמצעות תוכן הביקורת ב-bigquery-public-data.imdb.reviews".

רשימה של המודלים הנתמכים ומשימות למידת המכונה מופיעה במאמרי העזרה של BigQuery ML.

הנחיות ל-DataFrame

  • "צור Pandas DataFrame לנתונים בקובץ project_id:dataset.table. נתח את הנתונים כדי למצוא ערכי null, ואז צור תרשים של ההתפלגות של כל עמודה באמצעות סוג התרשים. השתמש בתרשימי כינור לערכים נמדדים ובתרשימי עמודות לקטגוריות".
  • "קוראים את filename.csv ויוצרים DataFrame. מריצים ניתוח על ה-DataFrame כדי לקבוע מה צריך לעשות עם הערכים. לדוגמה, האם יש ערכים חסרים שצריך להחליף או להסיר, או האם יש שורות כפולות שצריך לטפל בהן. משתמשים בקובץ הנתונים כדי לקבוע את התפלגות הכסף שהושקע בדולר ארה"ב לפי מיקום העיר. תציג את 20 התוצאות המובילות בתרשים עמודות בסדר יורד, לפי מיקום לעומת סכום ההשקעה הממוצע (דולר ארה"ב)".
  • "יצירה והערכה של מודל סיווג ב-project_id:dataset.table באמצעות BigQuery DataFrames".
  • "צור מודל לחיזוי של סדרת זמנים ב-project_id:dataset.table באמצעות BigQuery DataFrames, והצג את הערכות המודל."
  • הצגת נתוני המכירות מהשנה האחרונה בטבלה ב-BigQuery project_id:dataset.table באמצעות BigQuery DataFrames.
  • "Find the features that can best predict the penguin species from the table bigquery-public_data.ml_datasets.penguins using BigQuery DataFrames."

הנחיות ל-PySpark

  • "יצירה והערכה של מודל סיווג ב-project_id:dataset.table באמצעות Managed Service for Apache Spark".
  • "קבץ לקוחות דומים כדי ליצור קמפיינים שיווקיים מטורגטים, אבל קודם בצע הפחתת ממדים באמצעות מודל PCA. אפשר להשתמש ב-PySpark כדי לעשות את זה בטבלה project_id:dataset.table".

השבתה של Gemini ב-BigQuery

כדי להשבית את Gemini ב-BigQuery בפרויקט ב- Cloud de Confiance , אדמין צריך להשבית את Gemini for Google Cloud API. השבתת שירותים

כדי להשבית את Gemini ב-BigQuery למשתמש ספציפי, אדמין צריך לבטל את התפקיד Gemini for Google Cloud User (roles/cloudaicompanion.user) של אותו משתמש. איך מבטלים תפקיד יחיד ב-IAM

תמחור

התמחור של Data Science Agent מבוסס על נתוני הקלט והפלט שלכם. למידע נוסף, קראו את הקטע "תמחור של סוכנים" במאמר איך פועל התמחור של BigQuery.

אזורים נתמכים

במאמר מיקומים מפורטים האזורים שבהם אפשר להשתמש ב-Data Science Agent ב-Colab Enterprise.