La implementación de clústeres de Managed Service para Apache Spark es un servicio administrado de Spark y Hadoop con el que puedes aprovechar herramientas de datos de código abierto para ejecutar procesamiento por lotes, consultas, transmisiones y aprendizaje automático. En esta página, se describen las diferencias entre las versiones de Managed Service para Apache Spark de Cloud de Confiance y Google Cloud.
Para obtener información más detallada sobre Managed Service para Apache Spark, consulta la descripción general de Managed Service para Apache Spark y el resto de la documentación de Managed Service para Apache Spark.
Diferencias clave
Existen algunas diferencias entre la Cloud de Confiance versión de Managed Service para Apache Spark de y la de Google Cloud. Estas son algunas diferencias notables:
- Managed Service para Apache Spark sin servidores (antes conocido como Cloud de Confiance by S3NS para Serverless para Apache Spark) no está disponible en Cloud de Confiance.
- Los componentes OSS opcionales del clúster de Managed Service para Apache Spark no están disponibles en Cloud de Confiance.
- El ajuste de escala automático del clúster de Managed Service para Apache Spark no está disponible en Cloud de Confiance.
En el resto de esta sección, se proporciona una lista más detallada de las diferencias. Si ya conoces Google Cloud, te recomendamos que revises estas diferencias con atención, en especial, antes de diseñar una aplicación para que se ejecute en Cloud de Confiance. También te recomendamos que revises las diferencias generales entre Cloud de Confiance y Google Cloud.
Si quieres usar una función específica de Managed Service para Apache Spark que en este momento no está disponible en Cloud de Confiance, comunícate con el equipo de Cloud de Confiance asistencia. Para recibir notificaciones cuando se lancen funciones nuevas en Cloud de Confiance, suscríbete a las notas de la versión. A menos que se especifique lo contrario, las funciones en versión preliminar no están disponibles en Cloud de Confiance.
Hardware y SO
| Tipos de máquinas | Solo se admiten los tipos de máquinas m3, c3-highcpu, c3-highmem, c3-standard, y a3.
|
| GPU | Solo se admiten las GPU NVIDIA H100 SXM. |
| Trabajadores secundarios | No se admiten las VMs interrumpibles ni las de instancias de procesamiento. |
| VMs flexibles | No se admiten las VMs flexibles. |
| Unidades de estado sólido locales | No se admiten las SSD locales. |
| Discos de arranque persistentes | Solo se admiten los discos de arranque de hiperdisco. |
| Versiones de imagen del clúster | Solo se admiten las versiones de imagen 2.3 y posteriores. |
| Clústeres de Kubernetes | No se admiten los clústeres de Kubernetes. |
Integraciones
| Componentes OSS opcionales | No se admiten los componentes OSS opcionales del clúster de Managed Service para Apache Spark ni las propiedades del clúster relacionadas con estos componentes. |
| Notebooks | No se admiten notebooks, como Jupyter. |
| Knowledge Catalog | No se admite Knowledge Catalog, incluido el linaje de datos. |
| Pub/Sub Lite | No se admite Pub/Sub Lite. |
Seguridad y control de acceso
| CMEK | Se admiten las CMEK (claves de encriptación administradas por el cliente). Sin embargo, no puedes usar CMEK con datos de plantillas de flujo de trabajo, ya que no se admiten las plantillas de flujo de trabajo. |
| Encriptación de memoria | No se admite la encriptación de memoria. |
| Autenticación del clúster personal | No se admite la autenticación del clúster personal. |
| IAM detallada | No se admite IAM detallada. |
| Clústeres multiusuario seguros | No se admiten clústeres multiusuario seguros que usen cuentas de servicio o Kerberos. |
Red
| Red predeterminada | No se crea automáticamente una red predeterminada en un proyecto. Los usuarios deben crear una red de VPC en un proyecto. |
Workflows y herramientas
| Acciones de inicialización | No se admiten las acciones de inicialización. | ||
| Ajuste de escala automático | El ajuste de escala automático no es compatible. | ||
| Puerta de enlace del componente | No se admite la puerta de enlace del componente de Managed Service para Apache Spark. | No se admite la conexión a través de la puerta de enlace del componente de Managed Service para Apache Spark a las interfaces web del clúster. | No se admite el acceso de la fuerza laboral a la puerta de enlace del componente de Managed Service para Apache Spark. |
| Organización de flujos de trabajo | Se admite Managed Service para Apache Airflow sin plantillas de flujo de trabajo, y no se admiten otras herramientas de flujo de trabajo, como las plantillas de flujo de trabajo de Managed Service para Apache Spark, Cloud Scheduler y Cloud Functions. | ||
| Restricciones personalizadas | No se admiten las restricciones personalizadas en las políticas de la organización. | No se admite la administración de flotas con políticas de la organización personalizadas con restricciones personalizadas. | |
| Servidor de historial persistente | No se admite el servidor de historial persistente (PHS). | ||
| Modo de flexibilidad mejorada | No se admite el modo de flexibilidad mejorada (EFM). | ||
| Servidor MCP | No se admite el servidor MCP. |
Observabilidad y estadísticas
| Métricas del clúster de Managed Service para Apache Spark | Las métricas dataproc.googleapis están disponibles, pero no lo están las métricas personalizadas ni las de Managed Service para Apache Spark sin servidores.
|
| Paneles y alertas de métricas | No están disponibles los paneles ni las alertas de métricas de Managed Service para Apache Spark. |
Guías relacionadas
La siguiente información también puede afectar la forma en que usas y diseñas Managed Service para Apache Spark en Cloud de Confiance by S3NS. En estas guías, se incluye información general sobre el trabajo en Cloud de Confiance, incluida la documentación, la seguridad y el control de acceso, la facturación, las herramientas y el uso del servicio.
Para obtener más información sobre otros servicios y funciones en Cloud de Confiance y las diferencias con sus equivalentes de Google Cloud, consulta la lista de productos.