Utiliser Lightning Engine

Lightning Engine est un environnement d'exécution hautes performances pour Apache Spark sur Managed Service pour Apache Spark qui accélère les charges de travail nécessitant beaucoup de ressources de calcul et réduit les coûts d'exécution sans nécessiter de modifications de votre code Spark. Il est conçu pour les ingénieurs de données et les professionnels de l'analyse qui exécutent des charges de travail nécessitant d'importantes ressources de calcul et qui utilisent les API Spark DataFrame, les API Spark Dataset ou les requêtes Spark SQL.

Avantages

Voici quelques-uns des avantages de Lightning Engine :

• Opérations de données accélérées : bénéficiez de gains de performances et d'économies significatifs grâce aux optimisations de l'interaction avec Cloud Storage, y compris la gestion des métadonnées, les charges de travail d'écriture et les E/S vectorisées.

• Exécution intelligente des requêtes : profitez d'améliorations avancées de l'optimiseur qui réduisent de manière dynamique les données analysées, optimisent le traitement des données et génèrent des plans d'exécution plus efficaces pour des requêtes plus rapides et plus rentables.

• Charges de travail d'IA et de ML simplifiées : réduisez les temps de démarrage des clusters pour les charges de travail basées sur des GPU et simplifiez le déploiement dans des environnements sécurisés à l'aide d'images optimisées pour l'IA.

Bien que Lightning Engine offre des gains de performances substantiels, l'impact spécifique varie en fonction de la charge de travail.

Comparaison avec le moteur standard

Lightning Engine est une alternative au moteur standard utilisé pour exécuter des jobs Spark sur un cluster Managed Service pour Apache Spark. Le tableau suivant compare les propriétés d'activation, l'applicabilité des charges de travail et les principaux avantages de Lightning Engine par rapport au moteur standard.

Exigences de Lightning Engine

Les exigences suivantes s'appliquent à la fonctionnalité Lightning Engine :

• Version d'image : Lightning Engine doit être utilisé avec la version d'image 2.3.3 de Managed Service pour Apache Spark et les versions d'image secondaires 2.3 ultérieures, ou avec la version d'image 3.0.2 et les versions d'image secondaires 3.0 ultérieures (images debian13 et ubuntu24).
• Jobs compatibles : Spark, PySpark, SparkSQL et SparkR sont compatibles. Le moteur standard s'exécute sur d'autres types de missions envoyées à un cluster Lightning Engine.

Exécution native des requêtes

L'exécution native des requêtes est un composant optionnel de Lightning Engine qui fournit un niveau d'accélération plus élevé pour des jobs spécifiques. Il s'agit d'un moteur natif basé sur Apache Gluten et Velox, optimisé pour les appareils Google, qui améliore les performances en exécutant des parties d'une requête Spark en dehors de la JVM.

Le NQE est recommandé pour :

Tâches nécessitant d'importantes ressources de calcul qui exploitent les API Spark DataFrame et Spark Dataset, et requêtes Spark SQL qui lisent les données des fichiers et tables Parquet, ORC, Apache Iceberg et Delta Lake. Le format de fichier de sortie n'affecte pas ses performances.

La NQE n'est pas recommandée pour :

Jobs qui s'appuient fortement sur les ensembles de données distribués résilients (RDD), les fonctions définies par l'utilisateur (UDF), la plupart des bibliothèques de machine learning (ML) Spark et les opérations liées aux E/S avec des retards dus à l'accès au stockage.

Exécution native des requêtes sur ARM

Managed Service pour Apache Spark est compatible avec l'exécution de requêtes natives dans Lightning Engine sur l'architecture ARM, spécifiquement optimisée pour les processeurs Google Axion sur les VM ARM C4A (voir Types de machines ARM compatibles avec Managed Service pour Apache Spark) à l'aide de l'image 2.3-ubuntu22-arm. Les instances Google Axion C4A sont des VM basées sur ARM, construites sur des cœurs ARM Neoverse V2, qui offrent des améliorations significatives du rapport prix/performances.

L'exécution de NQE sur des instances ARM Google Axion combine un rapport prix/performances au niveau matériel et une bande passante mémoire élevée par cœur avec une accélération des requêtes vectorisées native au niveau logiciel, ce qui réduit considérablement les temps d'exécution des requêtes et le coût total de possession (TCO).

Voici les principaux avantages sur ARM :

• Vitesse 2,5 à 4 fois supérieure à celle de Spark Open Source : offre des performances 2,5 à 4 fois supérieures à celles d'Apache Spark Open Source sur les charges de travail analytiques.
• Optimisation des coûts : maximise l'avantage prix/performances des instances Google Axion C4A (qui offrent un rapport prix/performances jusqu'à 65% supérieur par rapport aux instances x86 comparables).
• Parité complète des opérateurs et des formats : parité complète avec les opérateurs NQE x86, avec accélération native pour les formats de table Cloud Storage Parquet, Apache Iceberg et Delta Lake.
• Aucune modification de code : activation fluide sur les clusters ARM à l'aide d'options de configuration standards, sans modifier le code de votre application Spark.

Exigences concernant l'exécution de requêtes natives

Les exigences suivantes s'appliquent à la fonctionnalité d'exécution de requêtes natives :

• Moteur d'exécution : NQE n'est disponible que sur les clusters pour lesquels le moteur Lightning a été activé lors de la création du cluster.

• Jobs compatibles : Spark, PySpark, Spark SQL et SparkR sont compatibles. Le moteur standard s'exécutera (sans NQE) sur les autres types de missions envoyés à un cluster Lightning Engine.

• Pas de GPU ni d'accélérateurs : les jobs avec NQE activé envoyés sur des accélérateurs GPU échoueront (mais ils peuvent bénéficier de Lightning Engine sans NQE).

• Types de données : les entrées des types de données suivants ne sont pas acceptées :

  • Octet : ORC et Parquet
  • Struct, Array, Map : Parquet

Exigences concernant l'architecture et le système d'exploitation

Les exigences de NQE diffèrent selon l'architecture du processeur :

Tarifs

Pour en savoir plus sur les tarifs, consultez Tarifs de Managed Service pour Apache Spark.

Créer un cluster Lightning Engine

Cette section vous explique comment créer un cluster Managed Service pour Apache Spark qui active Lightning Engine sur les jobs Spark envoyés au cluster.

Vous pouvez également activer l'exécution de requêtes natives (NQE) sur le cluster lors de sa création, ou l'activer ultérieurement pour des jobs Spark spécifiques envoyés au cluster.

Avant de commencer

1. In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Go to project selector

2. Verify that you have the permissions required to complete this guide.

3. Verify that billing is enabled for your Cloud de Confiance project.

4. Enable the Dataproc API, if it is not already enabled.

   Roles required to enable APIs

   To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

   Enable the API

5. Install the Google Cloud CLI.

6. Configure the gcloud CLI to use your federated identity.

   For more information, see Sign in to the gcloud CLI with your federated identity.

7. To initialize the gcloud CLI, run the following command:

   gcloud init

Rôles requis

Certains rôles IAM (Identity and Access Management) sont requis pour créer un cluster Managed Service pour Apache Spark et lui envoyer des jobs. Selon les règles d'administration, un propriétaire de projet cloud ou un administrateur de service peut déjà vous avoir attribué ces rôles, ou les avoir attribués à un compte de service. Pour vérifier les attributions de rôles, consultez Devez-vous attribuer des rôles ?.

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Rôles utilisateur

Pour obtenir les autorisations nécessaires pour créer un cluster Managed Service pour Apache Spark, demandez à votre administrateur de vous accorder les rôles IAM suivants :

• Éditeur Dataproc (roles/dataproc.editor) sur le projet
• Utilisateur du compte de service (roles/iam.serviceAccountUser) sur le compte de service Compute Engine par défaut

Rôle du compte de service

Pour vous assurer que le compte de service Compute Engine par défaut dispose des autorisations nécessaires pour créer un cluster Managed Service pour Apache Spark, demandez à votre administrateur d'accorder le rôle IAM Nœud de calcul Dataproc (roles/dataproc.worker) au compte de service Compute Engine par défaut sur le projet.

Créer le cluster

Les exemples suivants vous montrent comment créer un cluster Lightning Engine à l'aide de la console Cloud de Confiance , de la Google Cloud CLI, de l'API Dataproc, des bibliothèques clientes Cloud pour Python ou de Terraform. Vous pouvez également créer un cluster avec le moteur Lightning activé à l'aide des bibliothèques clientes Cloud Go, Java et Node.js.

Vérifier le moteur du cluster

Envoyer un job avec Lightning Engine

Si vous avez activé Lightning Engine lors de la création d'un cluster, lorsque vous envoyez un job Spark au cluster, Lightning Engine est activé par défaut sur le job.

Activer l'exécution native des requêtes pour un job

Si vous avez activé l'exécution native des requêtes (NQE) lors de la création d'un cluster Lightning Engine, tous les jobs Spark s'exécutent avec la NQE activée, sauf si vous désactivez la NQE sur un job spécifique.

Si vous n'avez pas activé l'exécution native des requêtes lors de la création du cluster Lightning Engine, vous pouvez l'activer pour un job lorsque vous l'envoyez, comme illustré dans les exemples suivants.

gcloud dataproc jobs submit spark \
    --cluster=CLUSTER_NAME \
    --region=REGION \
    --properties=spark.dataproc.lightningEngine.runtime=native \
    -- ...

{
  "job":{
    "placement":{
      "clusterName": ...
    },
    "sparkJob":{
      "mainClass": ...,
      "properties":{
         "spark.dataproc.lightningEngine.runtime":"native"
      }
    }
  }
}

Désactiver l'exécution native des requêtes pour un job

Si vous avez activé l'exécution de requêtes natives (NQE) lorsque vous avez créé un cluster Lightning Engine, tous les jobs Spark s'exécuteront avec la NQE activée, sauf si vous la désactivez pour un job spécifique.

Vous pouvez désactiver l'estimation de la qualité du réseau pour un job Spark spécifique lorsque vous l'envoyez, comme illustré dans les exemples suivants.

gcloud dataproc jobs submit spark \
    --cluster=CLUSTER_NAME \
    --region=REGION \
    --properties=spark.dataproc.lightningEngine.runtime=default \
    -- ...

{
  "job":{
    "placement":{
      "clusterName": ...
    },
    "sparkJob":{
      "mainClass": ...,
      "properties":{
         "spark.dataproc.lightningEngine.runtime":"default"
      }
    }
  }
}

Vérifier l'exécution de requêtes natives pour un job

Après avoir envoyé un job à un cluster Lightning Engine, vous pouvez vérifier que l'exécution native des requêtes est activée pour ce job.

Paramètres de configuration

Le tableau suivant récapitule les principaux paramètres de configuration pour Lightning Engine et l'exécution de requêtes natives.

Limites

L'activation de l'exécution de requêtes natives dans les scénarios suivants peut entraîner des exceptions, des incompatibilités Spark ou le remplacement de la charge de travail par le moteur Spark par défaut.

Créations de remplacement

L'exécution de requêtes natives dans les scénarios suivants peut entraîner le basculement d'une charge de travail vers le moteur d'exécution Spark :

• ANSI : si le mode ANSI est activé, l'exécution revient à Spark.
• Mode sensible à la casse : l'exécution de requêtes natives n'est compatible qu'avec le mode par défaut de Spark, qui n'est pas sensible à la casse. Si le mode sensible à la casse est activé, des résultats incorrects peuvent se produire.
• Analyse de table partitionnée : l'exécution de requêtes natives n'est compatible avec l'analyse de table partitionnée que lorsque le chemin d'accès contient les informations de partition. Sinon, la charge de travail revient au moteur d'exécution Spark.

Comportement incompatible

Un comportement incompatible ou des résultats incorrects peuvent se produire lorsque vous utilisez l'exécution de requêtes natives dans les cas suivants :

• Fonctions JSON : l'exécution de requêtes natives accepte les chaînes entourées de guillemets doubles, et non de guillemets simples. Des résultats incorrects se produisent avec des guillemets simples. L'utilisation de * dans le chemin d'accès avec la fonction get_json_object renvoie NULL.
• Configuration de lecture Parquet :
  • L'exécution de requêtes natives traite spark.files.ignoreCorruptFiles comme s'il était défini sur la valeur par défaut false, même s'il est défini sur true.
  • L'exécution de requêtes natives ignore spark.sql.parquet.datetimeRebaseModeInRead et ne renvoie que le contenu du fichier Parquet. Les différences entre l'ancien calendrier hybride et le calendrier grégorien proleptique ne sont pas prises en compte. Les résultats de Spark peuvent varier.
• NaN : non compatible. Des résultats inattendus peuvent se produire, par exemple, lorsque vous utilisez NaN dans une comparaison numérique.
• Lecture en colonnes Spark : une erreur fatale peut se produire, car le vecteur en colonnes Spark n'est pas compatible avec l'exécution de requêtes natives.
• Débordement : lorsque vous définissez un grand nombre de partitions de brassage, la fonctionnalité de débordement sur disque peut déclencher une erreur OutOfMemoryException. Si cela se produit, réduire le nombre de partitions peut éliminer cette exception.

Étapes suivantes

• Accélérez les charges de travail par lot et les sessions Spark avec Lightning Engine.
• Consultez les types de machines ARM compatibles avec Managed Service pour Apache Spark.
• Découvrez comment ajuster les jobs Spark pour des performances optimales.