使用笔记本库创建和运行笔记本

开始使用 BigQuery Studio 中的笔记本库分析数据。

准备工作

  1. In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

  3. 启用 BigQuery API。

    启用 API 所需的角色

    如需启用 API,您需要拥有 serviceusage.services.enable 权限。如果您创建了项目,则可能已经通过 Owner 角色 (roles/owner) 获得了此权限。否则,您可以通过 Service Usage Admin 角色 (roles/serviceusage.serviceUsageAdmin) 获得此权限。了解如何授予角色

    启用 API

    对于新项目,BigQuery API 会自动启用。

  4. 可选:为项目启用结算功能。如果您不想启用结算功能或提供信用卡,本文档中的步骤仍然有效。BigQuery 提供执行这些步骤的沙盒。如需了解详情,请参阅启用 BigQuery 沙盒

所需的角色

如需获得创建运行笔记本所需的权限,请让您的管理员为您授予项目的以下 IAM 角色:

如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

如果您刚开始接触 BigQuery 中的笔记本,请参阅“创建笔记本”页面上的所需权限

笔记本库是用于发现和使用预构建笔记本模板的中央枢纽。借助这些模板,您可以执行常见任务,例如数据准备、数据分析和可视化。笔记本模板还有助于您探索 BigQuery Studio 功能、管理工作流并推广最佳实践。

您可以使用笔记本库模板来简化整个意向到数据洞见的分析工作流,涵盖数据生命周期的各个阶段,从数据注入和探索到高级分析和 BigQuery ML。

笔记本库提供了适合各种技能水平的模板。该库包含适用于 SQL、Python、Apache Spark 和 DataFrame 的基本模板。您还可以探索 BigQuery 中的生成式 AI 和多模态数据分析等主题。

如需详细了解如何使用笔记本库模板,请参阅使用笔记本库创建笔记本

以下示例使用了“BigQuery Studio 中的笔记本简介”模板。本笔记本介绍了如何执行以下任务:

  • 查询数据:使用 SQL 代码单元运行查询。
  • 直观呈现查询结果:使用可视化图表单元创建可视化图表,无需编写代码。
  • 清理和转换数据:使用 BigQuery DataFrames (pandas) API 对数据进行排序、去重和过滤。
  • 运行 AI 预测:使用 BigQuery DataFrames 中的 AI.FORECAST 函数生成预测。AI.FORECAST 函数使用 TimesFM 基础模型直接从数据集中生成预测结果,而无需进行模型训练。
  • 绘制数据图表:使用 Python 的内置可视化库绘制数据图表。您可以使用由 Matplotlib 和 Pandas 提供支持的 BigQuery DataFrames 可视化库绘制数据。

如需使用笔记本,您需要打开模板,将其转换为可运行的笔记本,连接到笔记本的运行时环境,然后运行笔记本。

打开模板并将其转换为可运行的笔记本

在使用根据笔记本库模板创建的笔记本之前,您必须将该模板转换为可运行的笔记本。

如需在笔记本库中打开介绍 BigQuery Studio 中的笔记本模板,并将其转换为可运行的笔记本,请按以下步骤操作:

  1. 前往 Studio 页面。

    前往 Studio

  2. 点击 箭头下拉菜单,然后依次选择笔记本 > 所有模板

  3. 或者,在 BigQuery Studio 首页中,点击查看笔记本库

    BigQuery Studio 首页上的“查看笔记本库”链接。

  4. 点击 BigQuery Studio 中的笔记本简介卡片,或在图库中搜索该卡片。

  5. 打开模板后,点击使用此模板,将模板转换为可运行的笔记本。

连接到默认运行时

您必须先将笔记本连接到 Gemini Enterprise Agent Platform 运行时,然后才能运行该笔记本。运行时是运行笔记本中代码的计算资源。 运行时必须与笔记本位于同一区域。

如需详细了解运行时,请参阅运行时和运行时模板。如需详细了解如何配置区域设置,请参阅为代码资产设置默认区域

在本教程中,您将使用默认运行时。默认运行时是一种预设运行时,只需进行最少的设置。如需连接到默认运行时,请按照以下步骤操作:

  1. 打开笔记本后,点击连接

    如果尚无活跃运行时,则可能需要几分钟时间才能连接到默认运行时。

  2. 当运行时准备就绪后,您应该会看到一个对勾标记,并显示 RAM 和磁盘图表。将鼠标悬停在图表上,即可查看运行时类型和运行时的配置。

    默认运行时的配置设置

运行笔记本

BigQuery Studio 中的笔记本简介包含文本、SQL、可视化图表和代码单元格。除了文本单元格之外,其他单元格都可以单独运行,也可以按从第一个到最后一个的顺序运行所有单元格。

在本教程中,您将单独运行笔记本中的单元,以便分阶段查看结果。如需运行笔记本,请执行以下操作:

  1. 使用 SQL 单元格查询数据部分中,将光标悬停在 SQL 单元格上,然后点击 运行单元格

    SQL 单元格中的“运行单元格”按钮

    此 SQL 单元格会查询历史空气质量公开数据集中的 bigquery-public-data.epa_historical_air_quality.pm25_frm_daily_summary 表,并返回旧金山过去几年的每日平均 PM2.5(一种常见的空气质量指标)。

  2. 查看结果。查询结果会显示在 DataFrame 中。

    BigQuery DataFrames 中的查询结果

  3. 可视化数据部分中,将光标悬停在可视化单元格上,然后点击 运行单元格

  4. 查看生成的图表。

    可视化图表单元格生成的图表

    结果会显示一个时序图表,其中绘制了您之前生成的 df DataFrame 中的日平均 PM2.5 值。此图表显示了 PM2.5 水平随时间的变化趋势。

  5. 清理数据部分中,将鼠标悬停在代码单元上,然后点击 运行单元

  6. 查看结果。结果会显示在 DataFrame 中。

    BigQuery DataFrames 中的结果

    代码会执行以下操作:

    • 导入 bigframes.pandas 库。
    • 确保 date_local 字段为时间戳。
    • 按日期对结果进行排序,这是预测所必需的。
    • 移除重复的行。
    • 舍弃 avg_pm25null 的行。
    • 过滤掉离群点。
    • 在名为 df_cleaned 的 BigQuery DataFrames 中显示结果。
  7. 使用 AI.FORECAST 预测值部分中,将光标悬停在 SQL 单元上,然后点击 运行单元

  8. 查看结果。查询结果会显示在 DataFrame 中。

    `AI.FORECAST` 函数生成的结果

    此 SQL 单元格运行的查询使用 AI.FORECAST 函数,根据您之前生成的 df_cleaned DataFrame 预测未来的日均 PM2.5。

  9. 使用 Python 可视化数据部分中,将鼠标悬停在代码单元上,然后点击 运行单元

  10. 查看结果。结果会显示在图表中。

    由 Python 代码单元格生成的图表

    Python 代码会执行以下操作:

    • 导入 datetime 模块。
    • 先绘制历史数据,然后获取坐标轴。
    • 在同一坐标轴上绘制预测数据。
    • 绘制置信区间。

    此可视化图表类似于标准 Python 绘图,但 df_cleaned.plot 是 BigQuery DataFrames 命令。该命令仅检索呈现图表所需的数据(样本),而不是整个数据集。

清理

为避免因本页中使用的资源导致您的 Cloud de Confiance 账号产生费用,请按照以下步骤操作。

  1. 在 Cloud de Confiance 控制台中,前往管理资源页面。

    转到“管理资源”

  2. 在项目列表中,选择要删除的项目,然后点击删除
  3. 在对话框中输入项目 ID,然后点击关闭以删除项目。

或者,如需保留项目并删除本教程中使用的资源,请按照以下步骤操作:

  1. 前往 Studio 页面。

    前往 Studio

  2. 在左侧窗格中,展开您的项目,然后点击笔记本

  3. 对于要删除的笔记本,请依次点击 打开操作 > 删除

  4. 删除笔记本对话框中,点击删除进行确认。

后续步骤

如需运行笔记本库中的其他示例笔记本模板,请参阅:

如需详细了解 DataFrame,请参阅:

如需详细了解 BigQuery 中的生成式 AI 和机器学习函数,请参阅生成式 AI 概览