Managed Service for Apache Spark 叢集部署作業是一項代管 Spark 和 Hadoop 服務,可讓您運用開放原始碼資料工具,執行批次處理、查詢、串流和機器學習工作。本頁面說明 Cloud de Confiance 與 Google Cloud 版本的 Managed Service for Apache Spark 差異。
如要進一步瞭解 Managed Service for Apache Spark,請參閱「Managed Service for Apache Spark 總覽」和其餘的 Managed Service for Apache Spark 說明文件。
主要差異
Managed Service for Apache Spark 的 Cloud de Confiance 版本與 Google Cloud 版本有些許差異。主要包括:
- Managed Service for Apache Spark 無伺服器 (舊稱「for Serverless for Apache Spark」) 不適用於 Cloud de Confiance。 Cloud de Confiance by S3NS
- Managed Service for Apache Spark 叢集選用 OSS 元件不適用於 Cloud de Confiance。
- Managed Service for Apache Spark 叢集自動調度資源功能不適用於 Cloud de Confiance。
本節後續部分會說明更多差異細節。如果您已熟悉 Google Cloud,建議先仔細瞭解這些差異;若打算設計在 Cloud de Confiance上執行的應用程式,更有必要這麼做。此外,也建議一併參閱「 Cloud de Confiance 與 Google Cloud 的一般差異」。
如要使用目前無法在 Cloud de Confiance中使用的特定 Managed Service for Apache Spark 功能,請與Cloud de Confiance 支援團隊聯絡。 如要在 Cloud de Confiance推出新功能時接收通知,請訂閱版本資訊。除非另有規定,否則預先發布版功能不適用於 Cloud de Confiance。
硬體和作業系統
| 機器類型 | 僅支援 m3、c3-highcpu、c3-highmem、c3-standard 和 a3 機器類型。 |
| GPU | 僅支援 NVIDIA H100 SXM GPU。 |
| 次要工作站 | 不支援先占 VM 和 Spot VM。 |
| 彈性 VM | 不支援彈性 VM。 |
| 本機固態硬碟 | 不支援本機 SSD。 |
| 永久開機磁碟 | 僅支援 Hyperdisk 開機磁碟。 |
| 叢集映像檔版本 | 僅支援2.3 以上版本的映像檔。 |
| Kubernetes 叢集 | 不支援 Kubernetes 叢集。 |
整合
| 選用 OSS 元件 | 系統不支援 Managed Service for Apache Spark 叢集的選用 OSS 元件,以及與這些元件相關的叢集屬性。 |
| 筆記本 | 系統不支援筆記本,例如 Jupyter。 |
| Knowledge Catalog | 不支援 Knowledge Catalog,包括資料歷程。 |
| Pub/Sub Lite Lite | Pub/Sub Lite 不支援 Lite。 |
安全性和存取控管
| CMEK | 系統支援 CMEK (由客戶自行管理的加密金鑰),但您無法將 CMEK 用於工作流程範本資料,因為系統不支援工作流程範本。 |
| 記憶體加密 | 不支援記憶體加密。 |
| 個人叢集驗證 | 不支援個人叢集驗證。 |
| 精細的身分與存取權管理 | 不支援精細的 IAM。 |
| 安全的多租戶叢集 | 不支援使用服務帳戶或 Kerberos 保護多租戶叢集。 |
網路
| 預設網路 | 系統不會在專案中自動建立預設網路。使用者必須在專案中建立虛擬私有雲網路。 |
工作流程和工具
| 初始化動作 | 不支援初始化動作。 | ||
| 自動調度資源 | 不支援自動調度資源功能。 | ||
| 元件閘道 | 不支援 Managed Service for Apache Spark 元件閘道。 | 不支援透過 Managed Service for Apache Spark 元件閘道連線至叢集網頁介面。 | 不支援員工存取 Managed Service for Apache Spark 元件閘道。 |
| 工作流程自動化調度管理 | Managed Service for Apache Airflow 支援不含工作流程範本,且不支援其他工作流程工具,例如 Managed Service for Apache Spark 工作流程範本、Cloud Scheduler 和 Cloud Functions。 | ||
| 自訂限制 | 組織政策不支援自訂限制。 | 系統不支援使用自訂限制的自訂組織政策管理機群。 | |
| 永久記錄伺服器 | 系統不支援永久記錄伺服器 (PHS)。 | ||
| 強化版彈性模式 | 不支援強化版彈性模式 (EFM)。 | ||
| MCP 伺服器 | 系統不支援 MCP 伺服器。 |
洞察與可觀測性
| Managed Service for Apache Spark 叢集指標 | dataproc.googleapis 指標,但 Managed Service for Apache Spark 無伺服器和自訂指標則不適用。 |
| 指標資訊主頁和快訊 | 無法使用 Managed Service for Apache Spark 指標資訊主頁和指標快訊。 |
相關指南
下列資訊也可能影響您在 Cloud de Confiance by S3NS使用及設計 Managed Service for Apache Spark 的方式。這些指南涵蓋在 Cloud de Confiance作業的一般資訊,包括說明文件、安全和存取控管、計費、工具和服務使用情形。
如要進一步瞭解 Cloud de Confiance 中的其他服務和功能,以及與 Google Cloud 相似服務的差異,請參閱產品清單。