עיון בתוצאות של שאילתות ב-Notebooks

אתם יכולים לחקור את תוצאות השאילתות באמצעות תאי SQL או תאי קוד במסמכי Notebook של BigQuery Colab Enterprise.

במדריך הזה תשלחו שאילתות לנתונים ממערך נתונים ציבורי ב-BigQuery ותחקרו את תוצאות השאילתות ב-notebook.

מטרות

  • יוצרים ומריצים שאילתה ב-BigQuery.
  • לבדוק את תוצאות השאילתה ב-notebook באמצעות תאי SQL ותאי קוד.

עלויות

במדריך הזה משתמשים במערך נתונים שזמין דרך תוכנית מערכי הנתונים הציבוריים שלCloud de Confiance by S3NS . ‫Google משלמת על האחסון של מערכי הנתונים האלה ומספקת גישה ציבורית לנתונים. אתם מחויבים על השאילתות שאתם מבצעים על הנתונים. מידע נוסף על התמחור ב-BigQuery

לפני שמתחילים

  1. בדף לבחירת הפרויקט במסוף Cloud de Confiance , בוחרים פרויקט ב- Cloud de Confiance או יוצרים אותו.

    התפקידים שנדרשים כדי לבחור או ליצור פרויקט

    • בחירת פרויקט: כדי לבחור פרויקט לא נדרש תפקיד IAM ספציפי – אתם יכולים לבחור כל פרויקט שקיבלתם בו תפקיד.
    • יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד "יצירת פרויקטים" (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים?

    כניסה לדף לבחירת הפרויקט

  2. מוודאים שהחיוב מופעל בפרויקט ב- Cloud de Confiance .

  3. מפעילים את BigQuery API, אם הוא עדיין לא מופעל.

    התפקידים שנדרשים כדי להפעיל ממשקי API

    כדי להפעיל ממשקי API, צריך את ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

    להפעלת ה-API

    בפרויקטים חדשים, BigQuery מופעל באופן אוטומטי.

הגדרת אזור ברירת המחדל לנכסי קוד

כל נכסי הקוד החדשים בפרויקט Cloud de Confiance משתמשים באזור ברירת המחדל. אחרי שיוצרים את הנכס, אי אפשר לשנות את האזור שלו.

כדי להגדיר את אזור ברירת המחדל לנכסי קוד חדשים:

  1. נכנסים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על Files כדי לפתוח את דפדפן הקבצים:

    לוחצים על **Files** כדי לפתוח את דפדפן הקבצים.

  3. ליד שם הפרויקט, לוחצים על View files panel actions > Switch code region.

  4. בוחרים את אזור הקוד שרוצים להשתמש בו כברירת מחדל.

  5. לוחצים על Save.

רשימת האזורים הנתמכים ב-BigQuery Studio

ההרשאות הנדרשות

כדי ליצור ולהריץ קובצי Notebook, צריך את התפקידים הבאים בממשק של ניהול הזהויות והרשאות הגישה (IAM):

פתיחת תוצאות של שאילתה ב-notebook

אתם יכולים להריץ שאילתת SQL ואז להשתמש ב-Notebook כדי לחקור את הנתונים. הגישה הזו שימושית אם רוצים לשנות את הנתונים ב-BigQuery לפני שמתחילים לעבוד איתם, או אם צריך רק קבוצת משנה של השדות בטבלה.

  1. נכנסים לדף BigQuery במסוף Cloud de Confiance .

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על Explorer.

  3. עוברים לפרויקט bigquery-public-data, לוחצים על Toggle node כדי להרחיב אותו ואז לוחצים על Datasets. בחלונית הפרטים נפתחת כרטיסייה חדשה עם רשימה של כל מערכי הנתונים בפרויקט.

  4. בתיבה Filter, בוחרים באפשרות Dataset ID ומזינים את הערך ml_datasets.

    השדה "סינון" בדף "מערכי נתונים"

  5. בדף Datasets, לוחצים על ml_datasets > penguins.

  6. לוחצים על Query.

  7. מוסיפים כוכבית (*) לבחירת שדה בשאילתה שנוצרה, כך שהיא תיראה כמו בדוגמה הבאה:

    SELECT * FROM `bigquery-public-data.ml_datasets.penguins` LIMIT 1000;

  8. לוחצים על הפעלה.

  9. בקטע Query results, לוחצים על Open in ואז על Notebook.

הכנת ה-Notebook לשימוש

מכינים את ה-notebook לשימוש על ידי התחברות לסביבת זמן ריצה והגדרת ערכי ברירת המחדל של האפליקציה.

  1. בכותרת של ה-notebook, לוחצים על Connect כדי להתחבר לסביבת זמן הריצה שמוגדרת כברירת מחדל.

  2. בבלוק הקוד Setup, לוחצים על Run cell.

לעיון בנתונים

  1. לוחצים על Insert code cell options > Add SQL cell.

    האפשרות "הוספה של תא SQL" בתפריט "הוספה של תא קוד"

  2. מזינים את השאילתה הבאה בתא ה-SQL:

    SELECT * FROM `bigquery-public-data.ml_datasets.penguins` LIMIT 1000;

  3. לוחצים על Run cell.

    תוצאות השאילתה מוצגות ב-BigQuery DataFrame.

  4. לחלופין, כדי לטעון את תוצאות השאילתה ל-DataFrame ב-BigQuery באמצעות משימת השאילתה שהרצתם קודם בעורך השאילתות, מבצעים את השלבים הבאים:

    1. עוברים לקטע Result set loaded from BigQuery job as a DataFrame.

    2. בבלוק הקוד, לוחצים על Run cell.

      תוצאות השאילתה מוצגות ב-BigQuery DataFrame.

  5. כדי לקבל מדדים תיאוריים של הנתונים:

    1. עוברים לקטע Show descriptive statistics using describe()‎.

    2. בבלוק הקוד, לוחצים על Run cell.

      התוצאות מוצגות ב-BigQuery DataFrame.

  6. אופציונלי: משתמשים בפונקציות או בחבילות אחרות של Python כדי לחקור ולנתח את הנתונים.

בדוגמה הבאה משתמשים ב-bigframes.pandas כדי לנתח נתונים, וב-bigframes.ml כדי ליצור מודל רגרסיה ליניארית מנתוני penguins ב-BigQuery DataFrame. בדוגמה הזו מחושב הציון R2 של המודל, והוא מוחזר כטבלה של מדדים סטטיסטיים. הוא לא יוצר תרשים.

import bigframes.pandas as bpd

# Load data from BigQuery
query_or_table = "bigquery-public-data.ml_datasets.penguins"
bq_df = bpd.read_gbq(query_or_table)

# Inspect one of the columns (or series) of the DataFrame:
bq_df["body_mass_g"]

# Compute the mean of this series:
average_body_mass = bq_df["body_mass_g"].mean()
print(f"average_body_mass: {average_body_mass}")

# Find the heaviest species using the groupby operation to calculate the
# mean body_mass_g:
(
    bq_df["body_mass_g"]
    .groupby(by=bq_df["species"])
    .mean()
    .sort_values(ascending=False)
    .head(10)
)

# Create the Linear Regression model
from bigframes.ml.linear_model import LinearRegression

# Filter down to the data we want to analyze
adelie_data = bq_df[bq_df.species == "Adelie Penguin (Pygoscelis adeliae)"]

# Drop the columns we don't care about
adelie_data = adelie_data.drop(columns=["species"])

# Drop rows with nulls to get our training data
training_data = adelie_data.dropna()

# Pick feature columns and label column
X = training_data[
    [
        "island",
        "culmen_length_mm",
        "culmen_depth_mm",
        "flipper_length_mm",
        "sex",
    ]
]
y = training_data[["body_mass_g"]]

model = LinearRegression(fit_intercept=False)
model.fit(X, y)
model.score(X, y)

הסרת המשאבים

כדי להימנע מחיובים בחשבון Google Cloud בגלל השימוש במשאבים שנעשה במסגרת המדריך הזה, אפשר למחוק את הפרויקט שמכיל את המשאבים או להשאיר את הפרויקט ולמחוק את המשאבים הנפרדים.

הדרך הקלה ביותר לבטל את החיוב היא למחוק את הפרויקט Cloud de Confiance שיצרתם בשביל המדריך הזה.

  1. נכנסים לדף Manage resources במסוף Cloud de Confiance .

    כניסה לדף Manage resources

  2. ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.
  3. כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.

המאמרים הבאים