Questions fréquentes sur Managed Service pour Apache Spark sur les clusters

Général

Qu'est-ce que Managed Service pour Apache Spark ?

Managed Service pour Apache Spark est un service rapide, facile à utiliser, économique et entièrement géré qui vous permet d'exécuter l'écosystème Apache Spark et Apache Hadoop sur Google Cloud Platform. Managed Service pour Apache Spark provisionne rapidement des clusters de petite ou grande taille, est compatible avec de nombreux types de jobs populaires et est intégré à d'autres services Google Cloud Platform, tels que Cloud Storage et Cloud Logging, ce qui vous aide à réduire le coût total de possession.

En quoi Managed Service pour Apache Spark diffère-t-il des clusters Hadoop traditionnels ?

Managed Service pour Apache Spark est un service Spark/Hadoop géré conçu pour rendre Spark et Hadoop faciles, rapides et puissants. Lors d'un déploiement Hadoop traditionnel, même basé sur le cloud, vous devez installer, configurer, administrer et orchestrer votre travail sur le cluster. En revanche, Managed Service pour Apache Spark gère pour vous la création, la gestion, la surveillance et l'orchestration des jobs des clusters.

Comment utiliser Managed Service pour Apache Spark ?

Il existe plusieurs façons d'utiliser un cluster Managed Service pour Apache Spark, en fonction de vos besoins et de vos capacités. Vous pouvez utiliser l'outilCloud de Confiance console basé sur un navigateur pour interagir avec Managed Service pour Apache Spark. Comme Managed Service pour Apache Spark est intégré à Google Cloud CLI, vous pouvez également utiliser Google Cloud CLI. Pour un accès programmatique aux clusters, utilisez l'API REST Managed Service pour Apache Spark. Vous pouvez également établir des connexions SSH aux nœuds maîtres ou de calcul de votre cluster.

Comment fonctionne Managed Service pour Apache Spark ?

Managed Service pour Apache Spark est un framework géré qui s'exécute sur Google Cloud Platform et qui associe plusieurs outils populaires de traitement des données, dont Apache Hadoop, Spark, Hive et Pig. Managed Service pour Apache Spark dispose d'un ensemble de mécanismes de contrôle et d'intégration qui coordonnent le cycle de vie, la gestion et la coordination des clusters. Managed Service pour Apache Spark est intégré au gestionnaire d'applications YARN pour faciliter la gestion et l'utilisation de vos clusters.

Quel type de tâches puis-je exécuter ?

Managed Service pour Apache Spark fournit une compatibilité prête à l'emploi et de bout en bout pour de nombreux types de missions parmi les plus populaires, y compris les missions Spark, Spark SQL, PySpark, MapReduce, Hive et Pig.

Quel gestionnaire de cluster Managed Service pour Apache Spark utilise-t-il avec Spark ?

Managed Service pour Apache Spark exécute Spark sur YARN.

À quelle fréquence les composants de Managed Service pour Apache Spark sont-ils mis à jour ?

Managed Service pour Apache Spark est mis à jour lorsque des versions majeures des composants sous-jacents (Hadoop, Spark, Hive, Pig) sont publiées. Chaque version majeure de Managed Service pour Apache Spark est compatible avec des versions spécifiques de chaque composant (voir Versions de Managed Service pour Apache Spark compatibles).

Managed Service pour Apache Spark est-il intégré à d'autres produits Google Cloud Platform ?

Oui, Managed Service pour Apache Spark propose des intégrations natives et automatiques avec Compute Engine, Cloud Storage, Bigtable, BigQuery, Logging et Cloud Monitoring. De plus, Managed Service pour Apache Spark est intégré aux outils qui interagissent avec Cloud Platform, y compris la gcloud CLI et Cloud de Confiance console.

Puis-je exécuter un cluster persistant ?

Une fois démarrés, les clusters Managed Service pour Apache Spark continuent de s'exécuter jusqu'à ce qu'ils soient arrêtés. Vous pouvez exécuter un cluster Managed Service pour Apache Spark aussi longtemps que nécessaire.

Gestion des clusters

Puis-je exécuter plusieurs clusters à la fois ?

Oui, vous pouvez exécuter plusieurs clusters Managed Service pour Apache Spark par projet simultanément. Par défaut, tous les projets sont soumis aux quotas de ressources Google Cloud. Vous pouvez facilement vérifier votre utilisation du quota et en demander une augmentation. Pour en savoir plus, consultez Quotas de ressources Managed Service pour Apache Spark.

Comment créer ou détruire un cluster ?

Il existe plusieurs manières de créer et de détruire des clusters. Les sections Managed Service pour Apache Spark de la Cloud de Confiance console facilitent la gestion des clusters depuis votre navigateur. Les clusters peuvent également être gérés via la ligne de commande à l'aide de la gcloud CLI. Pour les cas d'utilisation plus complexes ou avancés, l'API REST Cloud Managed Service pour Apache Spark peut être utilisée pour gérer les clusters de manière automatisée.

Puis-je appliquer des paramètres personnalisés lors de la création d'un cluster ?

Managed Service pour Apache Spark accepte les actions d'initialisation qui sont exécutées lors de la création d'un cluster. Ces actions d'initialisation peuvent être des scripts ou des exécutables que Managed Service pour Apache Spark exécute lors du provisionnement de votre cluster pour personnaliser les paramètres, installer des applications ou apporter d'autres modifications à votre cluster.

Comment dimensionner un cluster selon mes besoins ?

Les décisions de dimensionnement des clusters reposent sur plusieurs facteurs, y compris le type de tâche à effectuer, les contraintes de budget, les critères de rapidité et votre quota de ressources. Étant donné que Managed Service pour Apache Spark peut être déployé sur différents types de machines, vous pouvez choisir les ressources dont vous avez besoin, quand vous en avez besoin.

Puis-je redimensionner mon cluster ?

Oui. Vous pouvez facilement redimensionner votre cluster, même pendant le traitement de la tâche. Vous pouvez redimensionner votre cluster via Cloud de Confiance console ou la ligne de commande. Le redimensionnement permet d'augmenter ou de diminuer le nombre de nœuds de calcul dans un cluster. Les nœuds de calcul qui seront ajoutés à un cluster auront le même type et la même taille que les nœuds de calcul existants. Le redimensionnement des clusters est admis et compatible, sauf dans certains cas, tels que la réduction du nombre de nœuds de calcul jusqu'à un ou la réduction de la capacité HDFS sous la quantité nécessaire à la finalisation de la tâche.

Gestion des tâches et des workflows

Comment puis-je envoyer des tâches sur mon cluster ?

Il existe plusieurs façons d'envoyer des jobs sur un cluster Managed Service pour Apache Spark. Le moyen le plus simple consiste à utiliser la page Envoyer un job de Managed Service pour Apache Spark dans la console Cloud de Confiance ou la commande gcloud CLI gcloud dataproc jobs submit. Pour l'envoi de jobs par programmation, consultez la documentation de référence de l'API Dataproc.

Puis-je exécuter plusieurs tâches à la fois ?

Oui, vous pouvez exécuter plusieurs jobs à la fois sur un cluster Managed Service pour Apache Spark. Cloud Managed Service pour Apache Spark utilise un gestionnaire de ressources (YARN) et des configurations spécifiques à l'application, telles que le scaling avec Spark, pour optimiser l'utilisation des ressources sur un cluster. Les performances d'exécution des tâches évolueront en fonction de la taille du cluster et du nombre de tâches actives.

Puis-je annuler des tâches sur mon cluster ?

Bien sûr. Les jobs peuvent être annulés via l'interface Web Cloud de Confiance consoleou la ligne de commande. Managed Service pour Apache Spark utilise l'annulation d'application YARN pour arrêter les jobs sur demande.

Puis-je automatiser des tâches sur mon cluster ?

Plusieurs méthodes permettent d'automatiser des tâches pour qu'elles s'exécutent sur des clusters. Vous pouvez utiliser la gcloud CLI Google Cloud CLI ou les API REST de Managed Service pour Apache Spark pour automatiser la gestion et le workflow des clusters et des jobs.

Développement

Quels sont les langages de développement disponibles ?

Vous pouvez utiliser les langages compatibles avec l'écosystème Spark/Hadoop, y compris Java, Scala, Python et R.

Managed Service pour Apache Spark dispose-t-il d'une API ?

Oui, Managed Service pour Apache Spark dispose d'un ensemble d'API RESTful qui vous permettent d'interagir de manière programmatique avec les clusters et les jobs.

Puis-je me connecter en SSH dans un cluster ?

Oui. Vous pouvez vous connecter en SSH sur chaque machine (nœud maître ou nœud de calcul) d'un cluster. La connexion en SSH peut s'effectuer depuis un navigateur ou depuis la ligne de commande.

Puis-je accéder aux interfaces utilisateur Web Spark/Hadoop ?

Oui. Les interfaces utilisateur Hadoop et Spark (interfaces utilisateur Spark, Hadoop, YARN) sont accessibles au sein d'un cluster. Plutôt que d'ouvrir des ports pour les interfaces utilisateur, il est recommandé d'utiliser un tunnel SSH, qui transférera en toute sécurité le trafic des clusters via la connexion SSH.

Puis-je installer ou gérer des logiciels sur mon cluster ?

Oui, comme avec un cluster ou un serveur Hadoop, vous pouvez installer et gérer des logiciels sur un cluster Managed Service pour Apache Spark.

Quel est le facteur de réplication par défaut ?

Pour des raisons de performances et en raison de la haute fiabilité du stockage associé aux clusters Managed Service pour Apache Spark, le facteur de réplication par défaut est défini sur 2.

Quel système d'exploitation (OS) est utilisé pour Managed Service pour Apache Spark ?

Managed Service pour Apache Spark est basé sur Debian et Ubuntu. Les dernières images sont basées sur Debian 10 Buster et Ubuntu 18.04 LTS.

Où puis-je obtenir davantage d'informations sur les flux Hadoop ?

Vous pouvez consulter la documentation du projet Apache.

Comment installer la commande gcloud dataproc ?

Lorsque vous installez la gcloud CLI, l'outil de ligne de commande gcloud standard est installé, y compris les commandes gcloud dataproc.

Accès aux données et disponibilité

Comment puis-je transférer des données vers et depuis un cluster ?

Managed Service pour Apache Spark utilise le système de fichiers distribué Hadoop (HDFS) pour le stockage. De plus, Managed Service pour Apache Spark installe automatiquement le connecteur Google Cloud Storage compatible avec HDFS, ce qui permet d'utiliser Cloud Storage en parallèle avec HDFS. Il est possible de transférer des données vers et depuis un cluster via des opérations d'importation/de téléchargement vers HDFS ou Cloud Storage.

Puis-je utiliser Cloud Storage avec Dataproc ?

Oui, les clusters Managed Service pour Apache Spark installent automatiquement le connecteur Cloud Storage. Utiliser Cloud Storage à la place du traditionnel HDFS offre plusieurs avantages, parmi lesquels la persistance et la fiabilité des données, ainsi que l'amélioration de leurs performances.

Puis-je bénéficier d'une assistance pour le connecteur Cloud Storage ?

Oui, lorsqu'il est utilisé avec Managed Service pour Apache Spark, le connecteur Cloud Storage est compatible au même niveau que Managed Service pour Apache Spark (voir Obtenir de l'aide). Tous les utilisateurs de connecteurs peuvent utiliser le tag google-cloud-dataproc sur Stack Overflow pour les questions et réponses sur les connecteurs.

Quelle est la taille de fichier idéale pour les ensembles de données sur HDFS et Cloud Storage ?

Pour améliorer les performances, stockez les données dans des fichiers plus volumineux, par exemple de 256 à 512 Mo.

Quelle est la fiabilité de Managed Service pour Apache Spark ?

Comme Managed Service pour Apache Spark repose sur des technologies Google Cloud Platform fiables et éprouvées, y compris Compute Engine, Cloud Storage et Monitoring, il est conçu pour offrir une haute disponibilité et une grande fiabilité. Comme il s'agit d'un produit en disponibilité générale, vous pouvez consulter le SLA de Managed Service pour Apache Spark.

Que deviennent mes données une fois le cluster arrêté ?

Les données de Cloud Storage restent présentes après l'arrêt du cluster. Cela représente l'un des avantages à choisir Cloud Storage à la place de HDFS, puisque les données HDFS sont supprimées suivant l'arrêt du cluster (à moins de les transférer vers une zone persistante avant l'arrêt).

Journalisation, surveillance et débogage

Quels sont les types de journalisation et de surveillance disponibles ?

Par défaut, les clusters Managed Service pour Apache Spark sont intégrés à Monitoring et Logging. Monitoring et Logging vous permettent d'obtenir facilement des informations détaillées sur l'état, les performances et l'état de vos clusters Managed Service pour Apache Spark. Les journaux d'application (YARN, Spark, etc.) et les journaux système sont transférés vers Logging.

Comment afficher les journaux de Managed Service pour Apache Spark ?

Vous pouvez afficher les journaux de Managed Service pour Apache Spark de plusieurs manières. Vous pouvez visiter Logging pour afficher les journaux de cluster cumulés dans un navigateur Web. Vous pouvez également utiliser la ligne de commande (SSH) pour afficher manuellement les journaux ou surveiller les résultats des applications. Enfin, les interfaces utilisateur Web d'applications Hadoop, telles que l'interface Web YARN, permettent d'afficher les journaux en détail.

Comment surveiller les clusters ?

Les clusters peuvent être facilement surveillés via Monitoring ou la section Cloud Managed Service pour Apache Spark de Cloud de Confiance console. Vous pouvez également surveiller vos clusters via l'accès en ligne de commande (SSH) ou les interfaces Web d'applications (Spark, YARN, etc.).

Sécurité et accès

Comment mes données sont-elles sécurisées ?

Google Cloud Platform utilise un modèle de sécurité complet, qui s'applique également à Cloud Managed Service pour Apache Spark. Managed Service pour Apache Spark fournit des mécanismes d'authentification, d'autorisation et de chiffrement, tels que SSL, pour sécuriser les données. Les données peuvent être chiffrées par l'utilisateur en transit vers et depuis un cluster, lors de la création du cluster ou de la soumission d'une tâche.

Comment puis-je contrôler l'accès à mon cluster Managed Service pour Apache Spark ?

Google Cloud Platform propose des mécanismes d'authentification qui peuvent être utilisés avec Managed Service pour Apache Spark. L'accès aux clusters et aux jobs Managed Service pour Apache Spark peut être accordé aux utilisateurs au niveau du projet.

Facturation

Comment Managed Service pour Apache Spark est-il facturé ?

Managed Service pour Apache Spark est facturé à la seconde, en fonction de la taille d'un cluster et de sa durée de fonctionnement. Pour calculer la composante "cluster" des frais, Managed Service pour Apache Spark facture un montant forfaitaire basé sur le nombre de processeurs virtuels (vCPU) d'un cluster. Ces frais restent les mêmes, indépendamment du type de machine ou de la taille des ressources Compute Engine utilisées.

Suis-je facturé pour d'autres ressources Google Cloud ?

Oui, l'exécution d'un cluster Managed Service pour Apache Spark entraîne des frais pour les autres ressources Google Cloud utilisées dans le cluster, telles que Compute Engine et Cloud Storage. Chaque élément est indiqué séparément dans votre facture, afin de vous offrir une vision claire du calcul et de l'allocation de vos coûts.

Existe-t-il une période minimale ou maximale pour la facturation ?

Les frais Google Cloud sont calculés à la seconde, et non à l'heure. À l'heure actuelle, Compute Engine applique une facturation minimale d'une minute. Par conséquent, Managed Service pour Apache Spark applique également un incrément de facturation minimal d'une minute.

Disponibilité

Qui peut créer un cluster Managed Service pour Apache Spark ?

Managed Service pour Apache Spark est en disponibilité générale, ce qui signifie que tous les clients Google Cloud Platform peuvent l'utiliser.

Dans quelles régions Managed Service pour Apache Spark est-il disponible ?

Managed Service pour Apache Spark est disponible dans toutes les régions et zones de la plate-forme Google Cloud.