Managed Service for Apache Spark 集群部署是一项托管式 Spark 和 Hadoop 服务,可让您充分利用开源数据工具来执行批处理、查询、流式传输和机器学习。 本页面介绍了 Cloud de Confiance 与 Google Cloud 版本的 Managed Service for Apache Spark 之间的差异。
如需详细了解 Managed Service for Apache Spark,请参阅 Managed Service for Apache Spark 概览以及其余的 Managed Service for Apache Spark 文档。
主要区别
Cloud de Confiance 版本的 Managed Service for Apache Spark 与 Google Cloud 版本之间存在一些差异。一些显著的差异包括:
- Managed Service for Apache Spark 无服务器版(之前称为 Cloud de Confiance by S3NS 无服务器版)在 Cloud de Confiance中不可用。
- Managed Service for Apache Spark 集群可选的 OSS 组件在 Cloud de Confiance中不可用。
- Managed Service for Apache Spark 集群自动扩缩功能在 Cloud de Confiance中不可用。
本部分的其余部分提供了更详细的差异列表。如果您已经熟悉 Google Cloud,我们建议您仔细查看这些差异,尤其是在设计要在 Cloud de Confiance上运行的应用之前。我们还建议您查看 Cloud de Confiance 与 Google Cloud 之间的一般差异。
如果您想使用 Cloud de Confiance中目前尚不提供的特定 Managed Service for Apache Spark 功能,请与Cloud de Confiance 支持团队联系。如需在 Cloud de Confiance中发布新功能时收到通知,请订阅版本说明。 除非另有说明,否则预览版功能在 Cloud de Confiance中不可用。
硬件和操作系统
| 机器类型 | 仅支持 m3、c3-highcpu、c3-highmem、c3-standard 和 a3 机器类型。
|
| GPU | 仅支持 NVIDIA H100 SXM GPU。 |
| 辅助工作器 | 不支持抢占式虚拟机和 Spot 虚拟机。 |
| 灵活虚拟机 | 不支持灵活虚拟机。 |
| 本地固态硬盘 | 不支持本地 SSD。 |
| 永久性启动磁盘 | 仅支持 Hyperdisk 启动磁盘。 |
| 集群映像版本 | 仅支持 2.3 及更高版本的映像。 |
| Kubernetes 集群 | 不支持 Kubernetes 集群。 |
集成
| 可选的 OSS 组件 | 不支持 Managed Service for Apache Spark 集群可选的 OSS 组件以及与这些组件相关的集群属性。 |
| 笔记本 | 不支持 Notebooks(例如 Jupyter)。 |
| Knowledge Catalog | 不支持 Knowledge Catalog(包括数据沿袭)。 |
| Pub/Sub Lite Lite | 不支持 Pub/Sub Lite Lite。 |
安全性和访问权限控制
| CMEK | 支持 CMEK(客户管理的加密密钥),但您无法将 CMEK 与工作流模板数据搭配使用,因为不支持工作流模板。 |
| 内存加密 | 不支持内存加密。 |
| 个人集群身份验证 | 不支持个人集群身份验证。 |
| Granular IAM | 不支持精细的 IAM。 |
| 保护多租户集群 | 不支持使用服务账号或 Kerberos 来保护多租户集群。 |
网络
| 默认网络 | 系统不会在项目中自动创建默认网络。 用户必须在项目中创建 VPC 网络。 |
工作流和工具
| 初始化操作 | 不支持初始化操作。 | ||
| 自动扩缩 | 不支持自动扩缩。 | ||
| 组件网关 | 不支持 Managed Service for Apache Spark 组件网关。 | 不支持通过 Managed Service for Apache Spark 组件网关连接到集群 Web 界面。 | 不支持员工访问 Managed Service for Apache Spark 组件网关。 |
| 工作流编排 | Managed Service for Apache Airflow 支持不使用工作流模板,但不支持其他工作流工具,例如 Managed Service for Apache Spark 工作流模板、Cloud Scheduler 和 Cloud Functions。 | ||
| 自定义限制条件 | 不支持组织政策中的自定义限制条件。 | 不支持使用具有自定义限制条件的自定义组织政策进行舰队管理。 | |
| Persistent History Server | 不支持 Persistent History Server (PHS)。 | ||
| 增强的灵活性模式 | 不支持增强的灵活性模式 (EFM)。 | ||
| MCP 服务器 | 不支持 MCP 服务器。 |
数据分析和可观测性
| Managed Service for Apache Spark 集群指标 | dataproc.googleapis 指标可用,但 Managed Service for Apache Spark 无服务器指标和自定义指标不可用。
|
| 指标信息中心和提醒 | Managed Service for Apache Spark 指标信息中心和指标提醒不可用。 |
相关指南
以下信息也可能会影响您在 Cloud de Confiance by S3NS中如何使用 Managed Service for Apache Spark,以及如何针对 Managed Service for Apache Spark 进行设计。这些指南包含有关在 Cloud de Confiance中开展工作的一般信息,包括文档、安全和访问权限控制、结算、工具和服务使用情况。
如需详细了解 Cloud de Confiance 中的其他服务和功能以及它们与 Google Cloud 对应服务和功能的差异,请参阅产品列表。