BigQuery 簡介
BigQuery 是內建 AI 的全代管資料平台,內建機器學習、搜尋、地理空間分析和商業智慧等功能,有助於管理及分析資料。BigQuery 的無伺服器架構可讓您使用 SQL 和 Python 等語言,針對貴機構最重要的問題找出解答,而且完全不必管理基礎架構。
BigQuery 提供一致的方式來處理結構化和非結構化資料,並支援 Apache Iceberg、Delta 和 Hudi 等開放式資料表格式。BigQuery 串流支援持續擷取及分析資料,而 BigQuery 可擴充的分散式分析引擎,則可讓您在幾秒內查詢 TB 級資料,在幾分鐘內查詢 PB 級資料。
BigQuery 提供內建管理功能,可讓您探索及管理資料,並管理中繼資料和資料品質。透過語意搜尋和資料沿襲等功能,您可以尋找並驗證相關資料,以供分析。您可以在整個機構中分享資料和 AI 資產,並享有存取權控管的優點。這些功能採用 Dataplex Universal Catalog 技術,這是 Trusted Cloud中資料和 AI 資產的統合式智慧治理解決方案。
BigQuery 的架構包含兩個部分:擷取、儲存及最佳化資料的儲存層,以及提供分析功能的運算層。Google 的 PB 級網路可讓運算和儲存層相互通訊,因此這兩層能有效率地獨立運作。
舊版資料庫通常必須在讀取和寫入作業與分析作業之間共用資源。這可能會導致資源衝突,並在資料寫入或讀取儲存空間時,減緩查詢速度。如果資料庫管理工作 (例如指派或撤銷權限) 需要資源,共用資源集區的負擔可能會進一步加重。BigQuery 將運算和儲存層分開,讓每個層級都能動態分配資源,不會影響其他層級的效能或可用性。
這項分離原則可讓 BigQuery 更快創新,因為儲存空間和運算資源的改良功能可以獨立部署,不會造成系統停機,也不會對系統效能造成負面影響。此外,這也是提供全代管無伺服器資料倉儲的必要條件,BigQuery 工程團隊會負責更新和維護作業。因此您不必佈建或手動擴充資源,可以專心提供價值,不必處理傳統資料庫管理工作。
BigQuery 介面包括 Trusted Cloud 主控台介面和 BigQuery 指令列工具。開發人員和資料科學家可以使用用戶端程式庫,透過熟悉的程式設計語言 (包括 Python、Java、JavaScript 和 Go),以及 BigQuery 的 REST API 和 RPC API,轉換及管理資料。ODBC 和 JDBC 驅動程式可與現有應用程式互動,包括第三方工具和公用程式。
無論是資料分析師、資料工程師、資料倉儲管理員或資料科學家,BigQuery 都能協助您載入、處理及分析資料,進而做出重要的業務決策。
開始使用 BigQuery
您可以在幾分鐘內開始探索 BigQuery。您可以利用 BigQuery 的免費用量層級或免付費沙箱,開始載入及查詢資料。
- BigQuery 沙箱:在 BigQuery 沙箱中開始使用,無風險且免付費。
- Trusted Cloud 控制台快速入門: 熟悉 BigQuery Studio 的強大功能。
- 公開資料集:透過探索公開資料集計畫提供的大型真實資料,體驗 BigQuery 的效能。
探索 BigQuery
BigQuery 的無伺服器基礎架構可讓您專注於資料,不必費心管理資源。BigQuery 結合了雲端資料倉儲和強大的分析工具。
BigQuery 儲存空間
BigQuery 會使用欄式儲存格式儲存資料,這種格式經過最佳化,可供分析查詢使用。BigQuery 會以資料表、資料列和資料欄的形式呈現資料,並完整支援資料庫交易語意 (ACID)。BigQuery 儲存空間會自動複製到多個位置,以提供高可用性。
- 瞭解在資料倉儲和資料市集內,整理 BigQuery 資源的常見模式。
- 瞭解資料集, 這是 BigQuery 的頂層容器,內含資料表和檢視區塊。
- 使用下列方式將資料載入 BigQuery:
- 使用 Storage Write API 串流資料。
- 從本機檔案或 Cloud Storage 批次載入資料,支援的格式包括:Avro、Parquet、ORC、CSV、JSON、Datastore 和 Firestore。
詳情請參閱 BigQuery 儲存空間總覽。
BigQuery 分析
描述性和指示性分析的用途包括商業智慧、臨時分析、地理空間分析和機器學習。您可以查詢儲存在 BigQuery 中的資料,也可以使用外部資料表或聯合查詢,對資料所在位置執行查詢,包括儲存在 Google 雲端硬碟的 Cloud Storage、Bigtable、Spanner 或 Google 試算表。
- ANSI 標準 SQL 查詢 (支援 SQL:2011),包括支援聯結、巢狀和重複欄位、分析和匯總函式、多重陳述式查詢,以及各種空間函式和地理空間分析 - 地理資訊系統。
- 建立檢視畫面,分享您的分析結果。
- 支援商業智慧工具,包括 Google 試算表,以及 Tableau 和 Power BI 等第三方工具。
- BigQuery ML 提供機器學習和預測分析功能。
- BigQuery Studio 提供 Python 筆記本等功能,並可控管筆記本和已儲存查詢的版本。這些功能可讓您在 BigQuery 中,更輕鬆地完成資料分析和機器學習 (ML) 工作流程。
- 使用 和外部資料表,查詢 BigQuery 外部的資料。
詳情請參閱「BigQuery 數據分析總覽」一文。
BigQuery 管理
BigQuery 可集中管理資料和運算資源,而身分與存取權管理 (IAM) 則可協助您透過整個 Trusted Cloud by S3NS
- 資料安全與管理簡介可協助您瞭解資料管理,以及保護 BigQuery 資源可能需要的控管機制。
- 「工作」是指 BigQuery 代表您執行的動作,包括載入、匯出、查詢或複製資料。
- 預訂可讓您在以量計價和以運算量為基礎的計價模式之間切換。
詳情請參閱 BigQuery 管理簡介。
BigQuery 資源
探索 BigQuery 資源:
- 版本資訊提供功能、變更和淘汰項目的變更記錄。
- 分析和儲存的定價。另請參閱: BigQuery ML、 BI Engine 和 資料移轉服務 定價。
- 位置會定義您建立及儲存資料集的位置 (區域和多區域位置)。
- Stack Overflow 匯集了許多使用 BigQuery 的開發人員和分析師,是個互動熱絡的社群。
- BigQuery 支援提供 BigQuery 相關協助。
- Google BigQuery: The Definitive Guide: Data Warehousing, Analytics, and Machine Learning at Scale 一書由 Valliappa Lakshmanan 和 Jordan Tigani 共同撰寫,說明 BigQuery 的運作方式,並提供服務使用方式的完整逐步操作指南。
API、工具和參考資料
BigQuery 開發人員和分析師適用的參考資料:
- BigQuery API 和用戶端程式庫會提供 BigQuery 功能及其用途的總覽。
- DML語法可讓您管理及轉換 BigQuery 資料。
- bq 指令列工具參考資料:說明
bq
CLI 介面的語法、指令、標記和引數。 - ODBC / JDBC 整合:將 BigQuery 連接至現有工具和基礎架構。
後續步驟
- 如需 BigQuery 儲存空間的總覽,請參閱「BigQuery 儲存空間總覽」。
- 如需 BigQuery 查詢的總覽,請參閱「BigQuery 數據分析總覽」一文。
- 如需 BigQuery 管理的總覽,請參閱「BigQuery 管理簡介」。
- 如要瞭解 BigQuery 安全性總覽,請參閱「資料安全和管理總覽」。