使用筆記本庫建立及執行筆記本
開始使用 BigQuery Studio 的筆記本庫分析資料。
事前準備
-
In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.
-
啟用 BigQuery API (如果尚未啟用)。
啟用 API 所需的角色
如要啟用 API,您必須具備
serviceusage.services.enable權限。如果您建立了專案,可能已透過擁有者角色 (roles/owner) 取得這項權限。否則,您可以透過服務使用情形管理員角色 (roles/serviceusage.serviceUsageAdmin) 取得這項權限。瞭解如何授予角色。如果是新專案,系統會自動啟用 BigQuery API。
- 選用:啟用專案計費功能。如果您不想啟用計費功能或提供信用卡,仍可按照本文件中的步驟操作。BigQuery 提供沙箱,方便您執行步驟。詳情請參閱「啟用 BigQuery 沙箱」。
必要的角色
如要取得建立及執行 Notebook 所需的權限,請要求管理員在專案中授予您下列 IAM 角色:
- BigQuery 讀取工作階段使用者 (
roles/bigquery.readSessionUser) - BigQuery Studio 使用者 (
roles/bigquery.studioUser)
如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。
如果您是第一次使用 BigQuery 筆記本,請參閱「建立筆記本」頁面的必要權限。
筆記本庫
筆記本庫是探索及使用預先建構筆記本範本的中心。這些範本可讓您執行常見工作,例如資料準備、資料分析和圖表製作。此外,您也可以透過筆記本範本探索 BigQuery Studio 功能、管理工作流程,以及推廣最佳做法。
您可以使用筆記本庫範本,簡化從意圖到洞察的整個工作流程,涵蓋資料生命週期的各個階段,包括擷取、探索、進階分析和 BigQuery ML。
Notebook 庫提供各種技能等級的範本。範本庫包含 SQL、Python、Apache Spark 和 DataFrame 的基本範本。您也可以在 BigQuery 中探索生成式 AI 和多模態資料分析等主題。
如要進一步瞭解如何使用筆記本庫範本,請參閱「使用筆記本庫建立筆記本」。
使用筆記本庫範本建立筆記本
以下範例使用「BigQuery Studio 中的筆記本簡介」範本。本筆記本將示範如何執行下列工作:
- 查詢資料:使用 SQL 儲存格執行查詢。
- 以圖表呈現查詢結果:使用圖表儲存格,不必編寫程式碼即可建立圖表。
- 清理及轉換資料:使用 BigQuery DataFrames (pandas) API 排序、簡化及篩選資料。
- 執行 AI 預測:使用 BigQuery DataFrames 中的 (
AI.FORECAST函式) 生成預測。AI.FORECAST函式會使用 TimesFM 基礎模型,直接從資料集生成預測,不需訓練模型。 - 繪製資料圖表:使用 Python 內建的視覺化程式庫繪製資料圖表。您可以使用 BigQuery DataFrames 視覺化程式庫 (由 Matplotlib 和 Pandas 提供技術支援) 繪製資料圖表。
如要使用筆記本,請開啟範本,將其轉換為可執行的筆記本,連線至筆記本的執行階段環境,然後執行筆記本。
開啟範本並轉換為可執行的筆記本
您必須先將範本轉換為可執行的筆記本,才能使用從筆記本庫範本建立的筆記本。
如要在筆記本庫中開啟「Introduction to notebooks in BigQuery Studio」(BigQuery Studio 筆記本簡介) 範本,並轉換為可執行的筆記本,請按照下列步驟操作:
前往「Studio」(工作室) 頁面。
按一下 箭頭 下拉式選單,然後依序選擇 「Notebook」 >「All templates」。
或者,您也可以在 BigQuery Studio 首頁,點選「View notebook gallery」(查看筆記本庫)。
按一下「Introduction to notebooks in BigQuery Studio」(BigQuery Studio 中的筆記本簡介) 資訊卡,或在資源庫中搜尋。
範本開啟後,按一下「Use this template」(使用這個範本),將範本轉換為可執行的筆記本。
連線至預設執行階段
您必須先將筆記本連結至 Gemini Enterprise Agent Platform 執行階段,才能執行筆記本。執行階段是運算資源,用於執行筆記本中的程式碼。執行階段必須與筆記本位於相同區域。
如要進一步瞭解執行階段,請參閱「執行階段和執行階段範本」。如要進一步瞭解如何調整區域設定,請參閱「設定程式碼資產的預設區域」。
在本教學課程中,您會使用預設執行階段。預設執行階段是預設的執行階段,只需進行最基本的設定。如要連線至預設執行階段,請按照下列步驟操作:
開啟筆記本,然後按一下「連結」。
如果沒有啟用的執行階段,可能需要幾分鐘才能連線至預設執行階段。
執行階段準備就緒後,您應該會看到勾號,以及 RAM 和磁碟圖表。將滑鼠游標懸停在圖表上,即可查看執行階段類型和設定。
執行筆記本
BigQuery Studio 中的筆記本簡介包含文字、SQL、視覺化和程式碼儲存格。除了文字儲存格以外,其他儲存格可以個別執行,也可以從第一個到最後一個依序執行所有儲存格。
在本教學課程中,您會個別執行筆記本中的儲存格,以便分階段查看結果。如要執行 Notebook,請按照下列步驟操作:
在「Query your data using SQL cells」(使用 SQL 儲存格查詢資料) 區段中,將滑鼠游標懸停在 SQL 儲存格上,然後按一下「Run cell」(執行儲存格) 圖示 。
這個 SQL 儲存格會查詢歷來空氣品質公開資料集中的
bigquery-public-data.epa_historical_air_quality.pm25_frm_daily_summary資料表,並傳回舊金山過去幾年的每日平均 PM2.5 (常見的空氣品質指標)。查看結果。查詢結果會顯示在 DataFrame 中。
在「Visualize data」(視覺化資料) 部分,將滑鼠游標懸停在視覺化儲存格上,然後按一下 「Run cell」(執行儲存格)。
查看生成的圖表。
結果會顯示時間序列圖表,繪製先前產生的
dfDataFrame 中每日平均 PM2.5 值。這張圖表顯示 PM2.5 濃度隨時間變化的趨勢。在「Clean the data」(清理資料) 部分,將滑鼠游標懸停在程式碼儲存格上,然後按一下 「Run cell」(執行儲存格)。
查看結果。結果會顯示在 DataFrame 中。
該程式碼會執行以下作業:
- 匯入
bigframes.pandas程式庫。 - 確認
date_local欄位是時間戳記。 - 依日期排序結果,這是預測的必要步驟。
- 移除重複的資料列。
- 捨棄
avg_pm25為null的資料列。 - 篩選離群值。
- 在名為
df_cleaned的 BigQuery DataFrame 中顯示結果。
- 匯入
在「Predict values using
AI.FORECAST」(使用AI.FORECAST預測值) 區段中,將滑鼠游標懸停在 SQL 儲存格上,然後按一下 「Run cell」(執行儲存格)。查看結果。查詢結果會顯示在 DataFrame 中。
這個 SQL 儲存格會執行查詢,使用
AI.FORECAST函式和先前產生的df_cleanedDataFrame,預測未來的每日平均 PM2.5。在「Visualize data using Python」(使用 Python 視覺化呈現資料) 區段中,將滑鼠游標懸停在程式碼儲存格上,然後按一下 「Run cell」(執行儲存格)。
查看結果。結果會以圖表呈現。
Python 程式碼會執行下列作業:
- 匯入
datetime模組。 - 先繪製歷來資料,並取得軸。
- 在同一軸上繪製預測資料。
- 繪製信賴區間。
這個圖表與標準 Python 繪圖類似,但
df_cleaned.plot是 BigQuery DataFrames 指令。這個指令只會擷取轉譯圖表所需的資料 (樣本),而非整個資料集。- 匯入
清除所用資源
為了避免系統向您的 Cloud de Confiance 帳戶收取本頁面所用資源的費用,請按照下列步驟操作。
- 前往 Cloud de Confiance 控制台的「Manage resources」(管理資源) 頁面。
- 在專案清單中選取要刪除的專案,然後點選「Delete」(刪除)。
- 在對話方塊中輸入專案 ID,然後按一下 [Shut down] (關閉) 以刪除專案。
或者,如要保留專案並刪除本教學課程中使用的資源,請按照下列步驟操作:
前往「Studio」(工作室) 頁面。
在左側窗格中展開專案,然後按一下「Notebooks」。
找出要刪除的筆記本,然後依序點選 「Open actions」(開啟動作) > 「Delete」(刪除)。
在「Delete notebook」(刪除筆記本) 對話方塊中,點選「Delete」(刪除) 即可確認。
後續步驟
如要在筆記本庫中執行其他範例筆記本範本,請參閱:如要進一步瞭解 DataFrame,請參閱:
如要進一步瞭解 BigQuery 的生成式 AI 和機器學習函式,請參閱「生成式 AI 總覽」。