BigQuery 概览

BigQuery 是一个 AI 就绪型全托管式数据平台,可帮助您使用机器学习、搜索、地理空间分析和商业智能等内置功能管理和分析数据。 BigQuery 的无服务器架构可让您使用 SQL 和 Python 等语言来解决组织面临的最大问题,而无需管理基础设施。

BigQuery 提供了一种统一的方式来处理结构化和非结构化数据,并支持 Apache Iceberg、Delta 和 Hudi 等开放表格式。BigQuery 流式传输支持持续的数据注入和分析,而 BigQuery 的可扩缩、分布式分析引擎可让您在几秒钟内查询 TB 级数据,在几分钟内查询 PB 级数据。

BigQuery 的架构由两部分组成:一个用于注入、存储和优化数据的存储层,一个用于提供分析功能的计算层。得益于 Google 的 PB 级网络能够在这些计算层和存储层之间实现必要的通信,它们可以彼此独立地高效运行。

传统数据库通常必须在读写操作和分析操作之间共享资源。这可能会导致资源冲突,并且在将数据写入存储空间或从存储空间读取数据时,可能会降低查询速度。当需要资源来执行数据库管理任务(例如分配或撤消权限)时,共享资源池可能会进一步紧张。BigQuery 的计算层和存储层分离可让每一层动态分配资源,而不会影响另一层的性能或可用性。

BigQuery 架构使用 PB 级网络分离资源。

这种分离原则可让 BigQuery 加快创新速度,因为存储和计算改进可以独立部署,而不会造成停机或对系统性能产生负面影响。此外,还必须提供全托管式无服务器数据仓库,以供 BigQuery 工程团队处理更新和维护。这样一来,您无需预配或手动扩缩资源,便可以专注于提供价值,而不是专注于传统的数据库管理任务。

BigQuery 界面包括 Cloud de Confiance 控制台界面和 BigQuery 命令行工具。开发者和数据科学家可以将客户端库与熟悉的编程语言(包括 Python、Java、JavaScript 和 Go)以及 BigQuery 的 REST API 和 RPC API 搭配使用,以转换和管理数据。ODBC 和 JDBC 驱动程序可与现有应用(包括第三方工具和实用程序)进行交互。

作为数据分析师、数据工程师、数据仓库管理员或数据科学家,BigQuery 可帮助您加载、处理和分析数据,从而做出关键业务决策。

BigQuery 使用入门

只需几分钟即可开始探索 BigQuery。

探索 BigQuery

BigQuery 的无服务器基础架构让您可以专注于数据而不是资源管理。BigQuery 结合了云端数据仓库和强大的分析工具。

BigQuery 存储

BigQuery 使用针对分析查询进行了优化的列式存储格式来存储数据。BigQuery 在表、行和列中显示数据,并完全支持数据库事务语义 (ACID)。BigQuery 存储会自动跨多个位置进行复制,以提供高可用性。

如需了解详情,请参阅 BigQuery 存储概览

BigQuery 分析

描述性分析和规范性分析使用包括商业智能、临时性分析、地理空间分析和机器学习。 您可以使用外部表或联合查询(包括 Cloud Storage)查询存储在 BigQuery 中的数据,或查询数据位于何处。

如需了解详情,请参阅 BigQuery 分析概览

BigQuery 管理

BigQuery 可集中管理数据和计算资源,而 Identity and Access Management (IAM) 可帮助您利用 Cloud de Confiance by S3NS中所用的访问模型来保护这些资源。

  • 数据安全和治理简介可帮助您了解数据治理,以及可能需要采取哪些控制措施来保护 BigQuery 资源。
  • 作业是 BigQuery 代表您执行的操作,用于加载、导出、查询或复制数据。
  • 借助预留,您可以在按需价格和基于容量的价格之间切换。

如需了解详情,请参阅 BigQuery 管理简介

BigQuery 资源

探索 BigQuery 资源:

API、工具和参考文档

适用于 BigQuery 开发者和分析师的参考资料:

BigQuery 角色和资源

BigQuery 可满足具有以下角色和职责的数据专业人员的需求。

数据分析师

帮助您执行以下操作的任务指导:

数据管理员

帮助您执行以下操作的任务指导:

如需了解详情,请参阅 BigQuery 管理简介

数据科学家

帮助您使用 BigQuery ML 的机器学习来执行以下操作的任务指导:

数据开发者

帮助您执行以下操作的任务指导:

后续步骤