筆記本和程式輔助分析工具

雖然 SQL 是功能強大的查詢語言，但 Python、Java 或 R 等程式設計語言提供的語法和統計函式，更適合用於資料分析工作。筆記本環境是試算表的彈性替代方案，適用於複雜的資料探索和機器學習 (ML) 工作流程。

BigQuery 提供內建的筆記本整合功能，並支援其他多種程式輔助分析解決方案。

Colab Enterprise 筆記本

您可以在 BigQuery 中使用 Colab Enterprise 筆記本，在單一整合式介面中執行端對端資料科學和機器學習工作流程。與標準 SQL 編輯器不同，筆記本可讓您結合 SQL 查詢、Python 程式碼、RTF 文字和視覺化內容，透過資料呈現完整的故事。Colab Enterprise 筆記本非常適合下列用途：

  • 端對端機器學習工作流程：在單一介面中建構、評估及部署 BigQuery ML 模型。
  • 資料探索：使用 BigQuery DataFrames 清理及分析大型資料集。
  • 協作研究：使用 Identity and Access Management (IAM) 追蹤版本記錄，並與同事共用筆記本。

Colab Enterprise 筆記本具有下列優點：

  • AI 輔助開發：運用 Gemini Enterprise Agent Platform 輔助程式碼開發。
  • 完美整合 Python：使用 BigQuery DataFrames API，無需任何額外設定。
  • 熟悉的編輯器功能：享有類似 BigQuery SQL 編輯器的 SQL 自動完成功能。
  • 整合式視覺化：直接在工作流程中使用互動式 DataFrame 視覺化或 matplotlib 和 seaborn 等程式庫。
  • SQL-Python 互通性：在參照 Python 變數的儲存格中執行 SQL。

筆記本庫是中心樞紐，可供探索及使用預先建構的筆記本範本。包括 SQL、Python、Apache Spark 和 DataFrame 的基本範本，可協助您執行資料準備、分析和視覺化等常見工作。

執行階段管理與安全性

筆記本會使用 Colab Enterprise 執行階段，也就是分配給特定使用者的 Compute Engine 虛擬機器，可執行程式碼。筆記本存取權由 IAM 角色控管。如要偵測筆記本中使用的 Python 套件是否有安全漏洞，可以安裝並使用 Notebook Security Scanner。

監控和區域

BigQuery Studio 中的所有程式碼資產都會儲存在預設區域，更新這項設定會變更所有新建立程式碼資產的區域。只要 BigQuery Studio 支援的區域，就能使用 Colab Enterprise 筆記本。

如要監控 Notebook 執行個體配額用量，請查看 Cloud Billing 帳單報表，並套用 goog-bq-feature-type 標籤的篩選器，值為 BQ_STUDIO_NOTEBOOK。

筆記本功能僅適用於 Cloud de Confiance 控制台。

定價

如要瞭解 Colab Enterprise 筆記本的定價資訊，請參閱筆記本執行階段定價。

BigQuery DataFrames

BigQuery DataFrames 是一組開放原始碼 Python 程式庫，可讓您使用熟悉的 Python API，充分運用 BigQuery 資料處理功能。BigQuery DataFrames 會透過 SQL 轉換，將處理作業下推至 BigQuery，藉此實作 pandas 和 scikit-learn API。這項設計可讓您使用 Python API，透過 BigQuery 探索及處理 TB 級資料，並訓練 ML 模型。

BigQuery DataFrames 具有下列優勢：

  • 透過透明的 SQL 轉換，實作超過 750 個 pandas 和 scikit-learn API，並轉換為 BigQuery 和 BigQuery ML API。
  • 延後執行查詢，提升效能。
  • 使用 Python 使用者定義函式擴充資料轉換作業，以便在雲端處理資料。這些函式會自動部署為 BigQuery 遠端函式。
  • 與 Gemini Enterprise Agent Platform 整合，讓您使用 Gemini 模型生成文字。

其他程式輔助分析解決方案

除了 Colab Enterprise 和 BigQuery DataFrames，BigQuery 也整合了其他幾項程式輔助解決方案：

其他資源

BigQuery 提供多種語言的用戶端程式庫，例如 Java、Go、Python、JavaScript、PHP 和 Ruby。某些資料分析架構 (例如 pandas) 提供可直接與 BigQuery 互動的外掛程式，偏好使用殼層環境的使用者則可使用 bq 指令列工具。