Comparaison entre Managed Service pour Apache Spark dans Cloud de Confiance et Google Cloud

Le déploiement de clusters Managed Service pour Apache Spark est un service Spark et Hadoop géré qui vous permet de bénéficier d'outils de données Open Source pour le traitement par lot, le requêtage, le streaming et le machine learning. Cette page décrit les différences entre les versions Cloud de Confiance et Google Cloud de Managed Service pour Apache Spark.

Pour en savoir plus sur Managed Service pour Apache Spark, consultez la présentation de Managed Service pour Apache Spark et le reste de la documentation sur Managed Service pour Apache Spark.

Différences majeures

Il existe quelques différences entre la version Cloud de Confiance et la version Google Cloud de Managed Service pour Apache Spark. Voici quelques-unes des différences notables :

  • Managed Service pour Apache Spark sans serveur (anciennement Cloud de Confiance by S3NS pour Serverless pour Apache Spark) n'est pas disponible dans Cloud de Confiance.
  • Les composants OSS facultatifs du cluster Managed Service pour Apache Spark ne sont pas disponibles dans Cloud de Confiance.
  • L'autoscaling des clusters Managed Service pour Apache Spark n'est pas disponible dans Cloud de Confiance.

Le reste de cette section fournit une liste plus détaillée des différences. Si vous connaissez déjà Google Cloud, nous vous recommandons d'examiner attentivement ces différences, en particulier avant de vous lancer dans la conception d'une application devant être exécutée sur Cloud de Confiance. Nous vous recommandons également d'étudier les différences générales entre Cloud de Confiance et Google Cloud.

Si vous souhaitez utiliser une fonctionnalité Managed Service pour Apache Spark spécifique qui n'est pas encore disponible dans Cloud de Confiance, contactez l'assistanceCloud de Confiance . Pour être informé du déploiement de nouvelles fonctionnalités dans Cloud de Confiance, abonnez-vous aux notes de version. Sauf indication contraire, les fonctionnalités en preview ne sont pas disponibles dans Cloud de Confiance.

Matériel et système d'exploitation

Types de machines Seuls les types de machines m3, c3-highcpu, c3-highmem, c3-standard et a3 sont acceptés.
GPU Seuls les GPU NVIDIA H100 SXM sont compatibles.
Nœuds de calcul secondaires Les VM préemptives et Spot VM ne sont pas compatibles.
VM flexibles Les VM flexibles ne sont pas compatibles.
Disques durs SSD locaux Les disques SSD locaux ne sont pas compatibles.
Disques de démarrage persistants Seuls les disques de démarrage Hyperdisk sont acceptés.
Versions des images de cluster Seules les versions d'image 2.3 et ultérieures sont compatibles.
Clusters Kubernetes Les clusters Kubernetes ne sont pas compatibles.

Intégrations

Composants OSS facultatifs Les composants OSS facultatifs des clusters Managed Service pour Apache Spark et les propriétés de cluster associées à ces composants ne sont pas compatibles.
Notebooks Les notebooks, tels que Jupyter, ne sont pas acceptés.
Knowledge Catalog Knowledge Catalog, y compris la traçabilité des données, n'est pas pris en charge.
Pub/Sub Lite Pub/Sub Lite n'est pas compatible.

Sécurité et contrôle des accès

CMEK Les CMEK (clés de chiffrement gérées par le client) sont acceptées, mais vous ne pouvez pas les utiliser avec les données de modèles de workflow, car les modèles de workflow ne sont pas acceptés.
Chiffrement de la mémoire Le chiffrement de la mémoire n'est pas pris en charge.
Authentification de cluster personnel L'authentification de cluster personnel n'est pas prise en charge.
IAM précis L'IAM précis n'est pas pris en charge.
Clusters multilocataires sécurisés Les clusters multitenants sécurisés utilisant des comptes de service ou Kerberos ne sont pas compatibles.

Réseau

Réseau par défaut Aucun réseau par défaut n'est créé automatiquement dans un projet. Les utilisateurs doivent créer un réseau VPC dans un projet.

Workflows et outils

Actions d'initialisation Les actions d'initialisation ne sont pas acceptées.
Autoscaling L'autoscaling n'est pas disponible.
Passerelle des composants La passerelle des composants Managed Service pour Apache Spark n'est pas acceptée. La connexion aux interfaces Web des clusters via la passerelle de composants Managed Service pour Apache Spark n'est pas prise en charge. L'accès du personnel à la passerelle des composants Managed Service pour Apache Spark n'est pas pris en charge.
Orchestration des workflows Managed Service pour Apache Airflow est compatible sans modèles de workflow. Les autres outils de workflow, tels que les modèles de workflow Managed Service pour Apache Spark, Cloud Scheduler et Cloud Functions, ne sont pas compatibles.
Contraintes personnalisées Les contraintes personnalisées dans les règles d'administration ne sont pas acceptées. La gestion de parc avec des règles d'administration personnalisées et des contraintes personnalisées n'est pas prise en charge.
Serveur d'historique persistant Le serveur d'historique persistant (PHS) n'est pas compatible.
Mode de flexibilité améliorée Le mode de flexibilité améliorée (EFM) n'est pas compatible.
Serveur MCP Le serveur MCP n'est pas compatible.

Insights et observabilité

Métriques des clusters Managed Service pour Apache Spark Les métriques dataproc.googleapis sont disponibles, mais pas les métriques personnalisées ni celles de Managed Service pour Apache Spark sans serveur.
Tableaux de bord et alertes sur les métriques Les tableaux de bord et les alertes de métriques Managed Service pour Apache Spark ne sont pas disponibles.

Les informations suivantes peuvent également avoir une incidence sur la manière dont vous utilisez Managed Service pour Apache Spark et concevez pour celui-ci dans Cloud de Confiance by S3NS. Ces guides incluent des informations générales sur l'utilisation de Cloud de Confiance, y compris la documentation, la sécurité et le contrôle des accès, la facturation, les outils et l'utilisation des services.

Pour en savoir plus sur les autres services et fonctionnalités de Cloud de Confiance et sur leurs différences avec leurs équivalents Google Cloud, consultez la liste des produits.