Buckets temporaires et de préproduction Managed Service pour Apache Spark

Lorsque vous créez un cluster, HDFS est utilisé comme système de fichiers par défaut. Vous pouvez ignorer ce comportement en définissant defaultFS en tant que bucket Cloud Storage. Par défaut, Managed Service pour Apache Spark crée également un bucket de préproduction Cloud Storage et un bucket temporaire Cloud Storage dans votre projet, ou réutilise les buckets de préproduction et temporaires existants créés par Managed Service pour Apache Spark lors de requêtes de création de cluster précédentes.

Si vous ne spécifiez pas de bucket de préproduction ou temporaire lors de la création d'un cluster, Managed Service pour Apache Spark définit un emplacement Cloud Storage aux États-Unis, en Asie ou en Europe pour les buckets de préproduction et temporaires de votre cluster en fonction de la zone Compute Engine où votre cluster est déployé, puis crée et gère ces buckets par emplacement au niveau du projet. Les buckets de préproduction et les buckets temporaires créés par Managed Service pour Apache Spark sont partagés entre les clusters d'une même région. Ils sont créés avec une durée de conservation de suppression réversible Cloud Storage définie sur 0 seconde. Si vous spécifiez vos propres buckets de préproduction et temporaires, envisagez d'ajuster la conservation de la suppression réversible afin de réduire les frais de stockage encourus par les objets supprimés de façon réversible.

Le bucket temporaire contient des données éphémères et a une valeur TTL de 90 jours. Le bucket de préproduction, qui peut contenir des données de configuration et des fichiers de dépendance nécessaires à plusieurs clusters, n'a pas de TTL. Toutefois, vous pouvez appliquer une règle de cycle de vie à vos fichiers de dépendance (fichiers avec une extension de nom de fichier ".jar" situés dans le dossier du bucket de préproduction) pour planifier la suppression de vos fichiers de dépendance lorsqu'ils ne sont plus nécessaires à vos clusters.

Créer vos propres buckets de préproduction et temporaires

Au lieu de vous fier à la création d'un bucket de préproduction et d'un bucket temporaire par défaut, vous pouvez spécifier des buckets Cloud Storage existants que Managed Service pour Apache Spark utilisera comme bucket de préproduction et bucket temporaire de votre cluster.

ConsoleCloud de Confiance

Pour spécifier ou sélectionner le bucket de préproduction du cluster :

  1. Ouvrez la page Créer un cluster.
  2. Cliquez sur Configuration supplémentaire pour développer cette section.
  3. Modifiez Personnalisation et autres.
  4. Dans le panneau qui s'ouvre, dans la section Bucket de préproduction Cloud Storage, spécifiez un bucket.

Remarque : Il n'est pas possible de spécifier un bucket temporaire à l'aide de la console Cloud de Confiance .

gcloud CLI

Pour spécifier le bucket de préproduction et/ou le bucket temporaire de votre cluster, exécutez la commande gcloud dataproc clusters create avec les options --bucket et/ou --temp-bucket en local dans une fenêtre de terminal ou dans Cloud Shell.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --bucket=bucket-name \
    --temp-bucket=bucket-name \
    other args ...

API REST

Pour spécifier le bucket de préproduction et le bucket temporaire du cluster, utilisez les champs ClusterConfig.configBucket et ClusterConfig.tempBucket dans la requête clusters.create.

Managed Service pour Apache Spark utilise une structure de dossiers définie pour les buckets Cloud Storage associés aux clusters. Il permet également d'associer plusieurs clusters à un bucket. La structure de dossiers utilisée pour enregistrer les résultats des pilotes de jobs dans Cloud Storage est la suivante :

cloud-storage-bucket-name
  - google-cloud-dataproc-metainfo
    - list of cluster IDs
        - list of job IDs
          - list of output logs for a job

Vous pouvez utiliser l'outil de ligne de commande gcloud, l'API Dataproc ou la consoleCloud de Confiance pour lister le nom des buckets de préproduction et temporaires d'un cluster.

ConsoleCloud de Confiance

  • Vous pouvez afficher les détails du cluster, y compris le nom du bucket de préproduction du cluster, sur la page Clusters de la console Cloud de Confiance .
  • Sur la page Navigateur Cloud Storage de la console Cloud de Confiance , filtrez les résultats contenant "dataproc-temp-".

gcloud CLI

Exécutez la commande gcloud dataproc clusters describe en local dans une fenêtre de terminal ou dans Cloud Shell. Le bucket de préproduction et le bucket temporaire associés à votre cluster sont répertoriés dans les résultats.

gcloud dataproc clusters describe cluster-name \
    --region=region \
...
clusterName: cluster-name
clusterUuid: daa40b3f-5ff5-4e89-9bf1-bcbfec ...
config:
    configBucket: dataproc-...
    ...
    tempBucket: dataproc-temp...

API REST

Appelez clusters.get pour répertorier les détails du cluster, y compris le nom de son bucket de préproduction et le nom de son bucket temporaire.

{
 "projectId": "vigilant-sunup-163401",
 "clusterName": "cluster-name",
 "config": {
  "configBucket": "dataproc-...",
...
  "tempBucket": "dataproc-temp-...",
}

defaultFS

Vous pouvez définir core:fs.defaultFS sur un emplacement de bucket dans Cloud Storage (gs://defaultFS-bucket-name) pour définir Cloud Storage comme le système de fichiers par défaut. Cela définit également core:fs.gs.reported.permissions, l'autorisation signalée renvoyée par le connecteur Cloud Storage pour tous les fichiers, à 777.

Si Cloud Storage n'est pas défini comme système de fichiers par défaut, HDFS sera utilisé et la propriété core:fs.gs.reported.permissions renverra 700, la valeur par défaut.

gcloud dataproc clusters create cluster-name \
    --properties=core:fs.defaultFS=gs://defaultFS-bucket-name \
    --region=region \
    --bucket=staging-bucket-name \
    --temp-bucket=temp-bucket-name \
    other args ...