Ce tutoriel inclut un tutoriel Cloud Shell qui utilise les bibliothèques clientes Google Cloud pour Python afin d'appeler de manière automatisée les API gRPC de Managed Service pour Apache Spark pour créer un cluster et lui envoyer un job.
Les sections suivantes décrivent le fonctionnement du code du tutoriel contenu dans le dépôt GitHub GoogleCloudPlatform/python-dataproc.
Exécuter le tutoriel Cloud Shell
Cliquez sur Ouvrir dans Cloud Shell pour exécuter le tutoriel.
Comprendre le code
Cette section explique comment le code du tutoriel utilise les bibliothèques clientes Cloud pour Python afin de s'authentifier auprès de Cloud de Confiance, de créer un cluster, d'envoyer un job Spark et de nettoyer les ressources en supprimant le cluster.
Identifiants par défaut de l'application
Le tutoriel Cloud Shell de ce tutoriel fournit une authentification à l'aide de vos identifiants de projet Cloud de Confiance . Lorsque vous exécutez du code localement, il est recommandé d'utiliser des identifiants de compte de service pour authentifier votre code.
Créer un cluster Managed Service pour Apache Spark
Les valeurs suivantes sont définies pour créer le cluster :
- Le projet dans lequel le cluster sera créé
- Région dans laquelle le cluster sera créé
- Le nom du cluster
- La configuration du cluster, qui spécifie un nœud maître et deux nœuds de calcul principaux
Les paramètres de configuration par défaut sont utilisés pour les autres paramètres du cluster. Vous pouvez remplacer les paramètres de configuration par défaut du cluster. Par exemple, vous pouvez ajouter des VM secondaires (valeur par défaut : 0) ou spécifier un réseau VPC autre que celui par défaut pour le cluster. Pour en savoir plus, consultez CreateCluster.
Envoyer une tâche
Les valeurs suivantes sont définies pour envoyer le job :
- Le projet dans lequel le cluster sera créé
- Région dans laquelle le cluster sera créé
- La configuration du job, qui spécifie le nom du cluster et le chemin d'accès au fichier Cloud Storage (URI) du job PySpark
Pour en savoir plus, consultez SubmitJob.
Supprimer le cluster
Les valeurs suivantes sont définies pour supprimer le cluster :
- Le projet dans lequel le cluster sera créé
- Région dans laquelle le cluster sera créé
- Le nom du cluster
Pour en savoir plus, consultez DeleteCluster.