BigQuery 簡介
BigQuery 是內建 AI 的全代管資料平台，可協助您管理及分析資料。BigQuery 採用無伺服器架構，可讓您使用 SQL 和 Python 等語言，解答貴組織最棘手的問題，完全不需要管理基礎架構。
資料分析師、資料工程師、資料倉儲管理員或資料科學家，可將 BigQuery 用於下列主要用途：
- AI 輔助工作流程：運用生成式 AI、向量搜尋和 Gemini 輔助功能，探索、轉換大型語言模型 (LLM)，並將其整合至資料工作流程。
- 機器學習和預測分析：使用 SQL 或 Python，根據資料建構、訓練及部署模型。
- 商業智慧和臨時分析：在數秒和數分鐘內分別查詢 TB 和 PB 規模的資料，協助您做出重大業務決策。
- 地理空間分析：使用地理資訊系統 (GIS) 分析位置資料，並以圖表呈現。
- 資料治理和語意搜尋：使用 Knowledge Catalog 內建功能，探索、整理及驗證資料和 AI 資產。
- 持續擷取資料：即時串流結構化和非結構化資料，並支援 Apache Iceberg、Delta 和 Apache Hudi 等開放資料表格式。
BigQuery 架構
BigQuery 架構包含兩個部分：擷取、儲存及最佳化資料的儲存層，以及提供分析功能的運算層。Google 的 PB 級網路可讓運算和儲存層之間進行必要通訊，因此這些層級能獨立運作，效率不受影響。
舊版資料庫通常必須在讀取、寫入和分析作業之間共用資源。這可能會導致資源衝突，並在資料寫入或讀取儲存空間時，降低查詢速度。如果資料庫管理工作 (例如指派或撤銷權限) 需要資源，共用資源集區可能會進一步吃緊。BigQuery 的運算和儲存層是分開的，因此各層可以動態分配資源，不會影響另一層的效能或可用性。
這項分離原則可讓 BigQuery 更快創新，因為儲存和運算改善項目可以獨立部署，不會造成停機或對系統效能造成負面影響。此外，BigQuery 工程團隊會負責更新和維護作業，因此能提供全代管的無伺服器資料倉儲。因此，您不必佈建或手動調度資源，可以專注於提供價值，而非傳統的資料庫管理工作。
BigQuery 介面包括 Cloud de Confiance 控制台介面和 BigQuery 指令列工具。開發人員和資料科學家可以使用熟悉的程式設計語言 (包括 Python、Java、JavaScript 和 Go) 搭配用戶端程式庫，以及 BigQuery 的 REST API 和 RPC API，來轉換及管理資料。ODBC 和 JDBC 驅動程式可與現有應用程式 (包括第三方工具和公用程式) 互動。
開始使用 BigQuery
只要幾分鐘，就能開始探索 BigQuery。
- Cloud de Confiance 控制台快速入門導覽課程：熟悉 BigQuery Studio 的強大功能。
探索 BigQuery
BigQuery 的無伺服器基礎架構可讓您專注於資料，而非資源管理。BigQuery 結合雲端式資料倉儲和強大的分析工具。
BigQuery 儲存空間
BigQuery 採用資料欄儲存格式，專為分析查詢最佳化。BigQuery 會以資料表、資料列和資料欄的形式呈現資料，並完整支援資料庫交易語意 (ACID)。BigQuery 儲存空間會自動在多個位置複製，提供高可用性。
- 瞭解在資料倉儲和資料超市中，整理 BigQuery 資源的常見模式。
- 瞭解資料集，這是 BigQuery 中資料表和檢視表的頂層容器。
- 使用下列方式將資料載入 BigQuery：
詳情請參閱「BigQuery 儲存空間總覽」。
BigQuery 資料分析
描述性和指示性分析用途包括商業智慧、臨時分析、地理空間分析和機器學習。 您可以使用外部資料表或聯合查詢 (包括 Cloud Storage)，查詢儲存在 BigQuery 中的資料，或在資料所在位置執行查詢。
- ANSI 標準 SQL 查詢 (支援 ISO/IEC 9075)，包括支援 join、巢狀和重複欄位、分析和匯總函式、多重陳述式查詢，以及各種空間函式，並提供地理空間分析 - 地理資訊系統。
- BigQuery DataFrames 提供的 Pandas 相容 Python API。
- 建立檢視畫面，分享分析結果。
- 支援商業智慧工具，包括使用 BigQuery 專用 Simba ODBC 和 JDBC 驅動程式的第三方工具
- BigQuery ML 提供機器學習和預測分析功能。
- BigQuery Studio 可讓您更輕鬆地在 BigQuery 中完成資料分析和機器學習 (ML) 工作流程。
- 使用外部資料表查詢 BigQuery 外部的資料。
詳情請參閱「BigQuery 數據分析總覽」。
BigQuery 管理
BigQuery 提供資料和運算資源的集中管理功能，而 Identity and Access Management (IAM) 則可透過 Cloud de Confiance by S3NS中使用的存取模型，協助您保護這些資源。
- 資料安全性與治理簡介可協助您瞭解資料治理，以及保護 BigQuery 資源可能需要的控管機制。
- 工作是 BigQuery 代您執行的動作，用於載入、匯出、查詢或複製資料。
- 預留項目可讓您在隨選計價和以運算資源計價之間切換。
詳情請參閱「BigQuery 管理簡介」。
BigQuery 資源
探索 BigQuery 資源：
- 版本資訊提供功能、變更和淘汰項目的變更記錄。
- Stack Overflow 擁有一個活躍的開發人員和分析師社群，他們都使用 BigQuery。
- Google BigQuery: The Definitive Guide: Data Warehousing, Analytics, and Machine Learning at Scale (Google BigQuery：權威指南：大規模資料倉儲、數據分析和機器學習) 由 Valliappa Lakshmanan 和 Jordan Tigani 撰寫，說明 BigQuery 的運作方式，並提供如何使用這項服務的端對端逐步操作說明。
API、工具和參考資料
BigQuery 開發人員和分析師參考資料：
- BigQuery API 和用戶端程式庫提供 BigQuery 功能和用途的總覽。
- BigQuery DataFrames API 參考資料：詳細說明如何使用與 pandas 相容的 Python API。
- DML語法可讓您管理及轉換 BigQuery 資料。
- bq 指令列工具參考資料：說明
bqCLI 介面的語法、指令、旗標和引數。 - ODBC / JDBC 整合：將 BigQuery 連結至現有工具和基礎架構。
BigQuery 角色和資源
BigQuery 可滿足資料專業人員在下列角色和職責方面的需求。
資料分析師
如需執行下列操作，請參閱工作指南：
- 使用SQL 查詢語法，透過互動式或批次查詢查詢 BigQuery 資料
- 使用與 pandas 相容的 BigQuery DataFrames API，分析及轉換 BigQuery 資料。
- 參考 SQL 函式、運算子和條件運算式來查詢資料
Google 試算表等工具，分析 BigQuery 資料並製作圖表。
使用地理空間分析，透過 BigQuery 的地理資訊系統分析地理空間資料，並以圖表呈現
使用下列方法盡可能提高查詢效能：
- 分區資料表：根據時間或整數範圍，刪除大型資料表。
- materialized view：定義快取檢視表，以最佳化查詢或提供永久結果。
資料管理員
如需執行下列操作，請參閱工作指南：
- 透過預留項目管理費用，平衡隨選和以運算資源為基礎的定價。
- 瞭解資料安全性和管理，依資料集、資料表、資料欄、資料列或檢視表保護資料
- 使用資料表快照備份資料，保留特定時間的資料表內容。
- 查看 BigQuery INFORMATION_SCHEMA，瞭解資料集、工作、存取控管、預留項目、資料表等的中繼資料。
- 使用工作，讓 BigQuery 代您載入、匯出、查詢或複製資料。
- 監控記錄和資源，瞭解 BigQuery 和工作負載。
詳情請參閱「BigQuery 管理簡介」。
資料科學家
如需使用 BigQuery ML 的機器學習功能執行下列操作，請參閱工作指南：
- 瞭解機器學習模型的端對端使用者歷程
- 管理 BigQuery ML 的存取控管
- 建立及訓練 BigQuery ML 模型，包括：
- 線性迴歸預測
- 二元邏輯和多類別邏輯迴歸分類
- k-means 分群法：用於資料區隔
- 使用 ARIMA+ 模型進行時間序列預測
資料開發人員
如需執行下列操作，請參閱工作指南：
- 將資料載入 BigQuery，方法如下：
使用程式碼範例庫，包括：
Cloud de Confiance 範例瀏覽器 (範圍為 BigQuery)
後續步驟
- 如要瞭解 BigQuery 儲存空間，請參閱「BigQuery 儲存空間總覽」。
- 如要瞭解 BigQuery 查詢，請參閱「BigQuery 數據分析總覽」。
- 如需 BigQuery 管理作業的總覽，請參閱「BigQuery 管理作業簡介」。
- 如要瞭解 BigQuery 安全性，請參閱「資料安全性與管理總覽」。