使用笔记本库创建和运行笔记本
开始使用 BigQuery Studio 中的笔记本库分析数据。
准备工作
-
In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.
-
启用 BigQuery API。
启用 API 所需的角色
如需启用 API,您需要拥有
serviceusage.services.enable权限。如果您创建了项目,则可能已经通过 Owner 角色 (roles/owner) 获得了此权限。否则,您可以通过 Service Usage Admin 角色 (roles/serviceusage.serviceUsageAdmin) 获得此权限。了解如何授予角色。对于新项目,BigQuery API 会自动启用。
- 可选:为项目启用结算功能。如果您不想启用结算功能或提供信用卡,本文档中的步骤仍然有效。BigQuery 提供执行这些步骤的沙盒。如需了解详情,请参阅启用 BigQuery 沙盒。
所需的角色
如需获得创建运行笔记本所需的权限,请让您的管理员为您授予项目的以下 IAM 角色:
- BigQuery Read Session User (
roles/bigquery.readSessionUser) - BigQuery Studio User (
roles/bigquery.studioUser)
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
如果您刚开始接触 BigQuery 中的笔记本,请参阅“创建笔记本”页面上的所需权限。
笔记本库
笔记本库是用于发现和使用预构建笔记本模板的中央枢纽。借助这些模板,您可以执行常见任务,例如数据准备、数据分析和可视化。笔记本模板还有助于您探索 BigQuery Studio 功能、管理工作流并推广最佳实践。
您可以使用笔记本库模板来简化整个意向到数据洞见的分析工作流,涵盖数据生命周期的各个阶段,从数据注入和探索到高级分析和 BigQuery ML。
笔记本库提供了适合各种技能水平的模板。该库包含适用于 SQL、Python、Apache Spark 和 DataFrame 的基本模板。您还可以探索 BigQuery 中的生成式 AI 和多模态数据分析等主题。
如需详细了解如何使用笔记本库模板,请参阅使用笔记本库创建笔记本。
通过笔记本库模板创建笔记本
以下示例使用了“BigQuery Studio 中的笔记本简介”模板。本笔记本介绍了如何执行以下任务:
- 查询数据:使用 SQL 代码单元运行查询。
- 直观呈现查询结果:使用可视化图表单元创建可视化图表,无需编写代码。
- 清理和转换数据:使用 BigQuery DataFrames (pandas) API 对数据进行排序、去重和过滤。
- 运行 AI 预测:使用 BigQuery DataFrames 中的
AI.FORECAST函数生成预测。AI.FORECAST函数使用 TimesFM 基础模型直接从数据集中生成预测结果,而无需进行模型训练。 - 绘制数据图表:使用 Python 的内置可视化库绘制数据图表。您可以使用由 Matplotlib 和 Pandas 提供支持的 BigQuery DataFrames 可视化库绘制数据。
如需使用笔记本,您需要打开模板,将其转换为可运行的笔记本,连接到笔记本的运行时环境,然后运行笔记本。
打开模板并将其转换为可运行的笔记本
在使用根据笔记本库模板创建的笔记本之前,您必须将该模板转换为可运行的笔记本。
如需在笔记本库中打开介绍 BigQuery Studio 中的笔记本模板,并将其转换为可运行的笔记本,请按以下步骤操作:
前往 Studio 页面。
点击 箭头下拉菜单,然后依次选择笔记本 > 所有模板。
或者,在 BigQuery Studio 首页中,点击查看笔记本库。
点击 BigQuery Studio 中的笔记本简介卡片,或在图库中搜索该卡片。
打开模板后,点击使用此模板,将模板转换为可运行的笔记本。
连接到默认运行时
您必须先将笔记本连接到 Gemini Enterprise Agent Platform 运行时,然后才能运行该笔记本。运行时是运行笔记本中代码的计算资源。 运行时必须与笔记本位于同一区域。
如需详细了解运行时,请参阅运行时和运行时模板。如需详细了解如何配置区域设置,请参阅为代码资产设置默认区域。
在本教程中,您将使用默认运行时。默认运行时是一种预设运行时,只需进行最少的设置。如需连接到默认运行时,请按照以下步骤操作:
打开笔记本后,点击连接。
如果尚无活跃运行时,则可能需要几分钟时间才能连接到默认运行时。
当运行时准备就绪后,您应该会看到一个对勾标记,并显示 RAM 和磁盘图表。将鼠标悬停在图表上,即可查看运行时类型和运行时的配置。
运行笔记本
BigQuery Studio 中的笔记本简介包含文本、SQL、可视化图表和代码单元格。除了文本单元格之外,其他单元格都可以单独运行,也可以按从第一个到最后一个的顺序运行所有单元格。
在本教程中,您将单独运行笔记本中的单元,以便分阶段查看结果。如需运行笔记本,请执行以下操作:
在使用 SQL 单元格查询数据部分中,将光标悬停在 SQL 单元格上,然后点击 运行单元格。
此 SQL 单元格会查询历史空气质量公开数据集中的
bigquery-public-data.epa_historical_air_quality.pm25_frm_daily_summary表,并返回旧金山过去几年的每日平均 PM2.5(一种常见的空气质量指标)。查看结果。查询结果会显示在 DataFrame 中。
在可视化数据部分中,将光标悬停在可视化单元格上,然后点击 运行单元格。
查看生成的图表。
结果会显示一个时序图表,其中绘制了您之前生成的
dfDataFrame 中的日平均 PM2.5 值。此图表显示了 PM2.5 水平随时间的变化趋势。在清理数据部分中,将鼠标悬停在代码单元上,然后点击 运行单元。
查看结果。结果会显示在 DataFrame 中。
代码会执行以下操作:
- 导入
bigframes.pandas库。 - 确保
date_local字段为时间戳。 - 按日期对结果进行排序,这是预测所必需的。
- 移除重复的行。
- 舍弃
avg_pm25为null的行。 - 过滤掉离群点。
- 在名为
df_cleaned的 BigQuery DataFrames 中显示结果。
- 导入
在使用
AI.FORECAST预测值部分中,将光标悬停在 SQL 单元上,然后点击 运行单元。查看结果。查询结果会显示在 DataFrame 中。
此 SQL 单元格运行的查询使用
AI.FORECAST函数,根据您之前生成的df_cleanedDataFrame 预测未来的日均 PM2.5。在使用 Python 可视化数据部分中,将鼠标悬停在代码单元上,然后点击 运行单元。
查看结果。结果会显示在图表中。
Python 代码会执行以下操作:
- 导入
datetime模块。 - 先绘制历史数据,然后获取坐标轴。
- 在同一坐标轴上绘制预测数据。
- 绘制置信区间。
此可视化图表类似于标准 Python 绘图,但
df_cleaned.plot是 BigQuery DataFrames 命令。该命令仅检索呈现图表所需的数据(样本),而不是整个数据集。- 导入
清理
为避免因本页中使用的资源导致您的 Cloud de Confiance 账号产生费用,请按照以下步骤操作。
- 在 Cloud de Confiance 控制台中,前往管理资源页面。
- 在项目列表中,选择要删除的项目,然后点击删除。
- 在对话框中输入项目 ID,然后点击关闭以删除项目。
或者,如需保留项目并删除本教程中使用的资源,请按照以下步骤操作:
前往 Studio 页面。
在左侧窗格中,展开您的项目,然后点击笔记本。
对于要删除的笔记本,请依次点击 打开操作 > 删除。
在删除笔记本对话框中,点击删除进行确认。
后续步骤
如需运行笔记本库中的其他示例笔记本模板,请参阅:如需详细了解 DataFrame,请参阅:
如需详细了解 BigQuery 中的生成式 AI 和机器学习函数,请参阅生成式 AI 概览。