Managed Service for Apache Spark 的关键概念

本文档介绍了 Managed Service for Apache Spark 的关键概念、基本构建块、核心功能和优势。了解这些基础知识有助于您有效地使用 Managed Service for Apache Spark 执行数据处理任务。

基于集群的模型

Managed Service for Apache Spark 集群是使用 Managed Service for Apache Spark 的标准、以基础架构为中心的方式。它让您可以完全控制一组专用于数据处理任务的虚拟机。

  • 集群:集群是您的个人数据处理引擎,由 Cloud de Confiance by S3NS 虚拟机组成。您需要创建一个集群来运行 Apache Spark 和 Apache Hadoop 等开源框架。您可以完全控制集群大小、机器类型和配置。
  • 作业:作业是一项特定任务,例如 PySpark 脚本或 Hadoop 查询。您无需直接在集群上运行作业,而是将作业提交到 Managed Service for Apache Spark,由其为您管理作业执行。您可以将多个作业提交到集群。
  • 工作流模板:工作流模板是一种可重复使用的定义,用于编排一系列作业(工作流)。它可以定义作业之间的依赖关系,例如,仅在数据清理作业成功完成后才运行机器学习作业。模板化工作流可以在现有集群上运行,也可以在为运行工作流而创建的临时集群上运行,然后在工作流完成后删除该集群。您可以根据需要使用该模板运行定义的工作流。
  • 自动扩缩政策:自动扩缩政策包含您定义的规则,用于根据集群工作负载在集群中添加或移除工作器机器,以便动态优化集群费用和性能。

环境自定义

Managed Service for Apache Spark 集群版提供集群功能和组件,可用于自定义应用环境。

笔记本和开发环境

Managed Service for Apache Spark 无服务器笔记本和 IDE 链接到集成式开发环境,您可以在其中编写和执行代码。

  • BigQuery Studio 和 Workbench:这些是统一的分析和笔记本环境。借助这些环境,您可以编写代码(例如在 Jupyter 笔记本中),并使用 Managed Service for Apache Spark 集群或无服务器会话作为强大的后端引擎,用于在大型数据集上执行代码。
  • Managed Service for Apache Spark JupyterLab 插件:此官方 JupyterLabextension 充当笔记本环境中的 Managed Service for Apache Spark 无服务器控制台。它允许您浏览、创建和管理集群以及提交作业,而无需离开 Jupyter 界面,从而简化了工作流。
  • Google Cloud Data Agent Kit:Data Agent Kit 可让数据科学家、工程师和开发者在 IDE 中管理其整个数据工作负载生命周期。Data Agent Kit 支持 Managed Service for Apache Spark,让您能够直接在 VS Code 或支持的 Agents CLI 中开发代码、创建交互式会话和构建流水线。
  • Managed Service for Apache Spark Connect Python 连接器:此 Python 库简化了将 Spark Connect 与 Managed Service for Apache Spark 搭配使用的流程。它负责处理身份验证和端点配置,让您可以更轻松地将本地 Python 环境(例如笔记本或 IDE)连接到远程 Managed Service for Apache Spark 集群,以进行交互式开发。