Bucket temporanei e di staging di Managed Service per Apache Spark

Quando crei un cluster, HDFS viene utilizzato come file system predefinito. Puoi ignorare questo comportamento impostando defaultFS come bucket Cloud Storage. Per impostazione predefinita, Managed Service for Apache Spark crea anche un bucket gestione temporanea e di staging Cloud Storage nel tuo progetto o riutilizza i bucket temporanei e di staging Cloud Storage creati da Managed Service for Apache Spark dalle richieste di creazione del cluster precedenti.

• Bucket temporaneo: utilizzato per organizzare le dipendenze dei job del cluster, l'output del driver dei job e i file di configurazione del cluster. Riceve anche l'output di Raccolta dei dati diagnostici snapshot.

• Bucket temporaneo: utilizzato per archiviare dati effimeri di cluster e job, come i file della cronologia di Spark e MapReduce. Memorizza anche i dati diagnostici del checkpoint raccolti durante il ciclo di vita di un cluster.

Se non specifichi un bucket di staging o gestione temporanea durante la creazione di un cluster, Managed Service for Apache Spark imposta una posizione Cloud Storage negli Stati Uniti, in Asia o nell'UE per i bucket di staging e temporanei del cluster in base alla zona di Compute Engine in cui viene eseguito il deployment del cluster, quindi crea e gestisce questi bucket a livello di progetto per località. I bucket temporanei e di staging creati da Managed Service for Apache Spark sono condivisi tra i cluster nella stessa regione e vengono creati con una durata di conservazione dell'eliminazione temporanea di Cloud Storage impostata su 0 secondi. Se specifichi i tuoi bucket temporanei e di staging, valuta la possibilità di ottimizzare il periodo di conservazione dell'eliminazione temporanea per ridurre gli addebiti per l'archiviazione sostenuti dagli oggetti eliminati temporaneamente.

Il bucket temporaneo contiene dati effimeri e ha un TTL di 90 giorni. Il bucket di staging, che può contenere dati di configurazione e file di dipendenza necessari per più cluster, non ha un TTL. Tuttavia, puoi applicare una regola del ciclo di vita ai file di dipendenza (file con estensione del nome file ".jar" che si trovano nella cartella del bucket di staging) per pianificare la rimozione dei file di dipendenza quando non sono più necessari ai cluster.

Crea i tuoi bucket di gestione temporanea e temporanei

Anziché fare affidamento sulla creazione di un bucket gestione temporanea e di staging predefinito, puoi specificare bucket Cloud Storage esistenti che Managed Service for Apache Spark utilizzerà come bucket gestione temporanea e di staging del cluster.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --bucket=bucket-name \
    --temp-bucket=bucket-name \
    other args ...

Managed Service for Apache Spark utilizza una struttura di cartelle definita per i bucket Cloud Storage collegati ai cluster e supporta anche il collegamento di più cluster a un bucket. La struttura delle cartelle utilizzata per salvare l'output del driver dei job in Cloud Storage è la seguente:

cloud-storage-bucket-name
  - google-cloud-dataproc-metainfo
    - list of cluster IDs
        - list of job IDs
          - list of output logs for a job

Puoi utilizzare lo strumento a riga di comando gcloud, l'API Dataproc o la consoleCloud de Confiance per elencare il nome dei bucket di staging e temporanei di un cluster.

gcloud dataproc clusters describe cluster-name \
    --region=region \
...
clusterName: cluster-name
clusterUuid: daa40b3f-5ff5-4e89-9bf1-bcbfec ...
config:
    configBucket: dataproc-...
    ...
    tempBucket: dataproc-temp...

{
 "projectId": "vigilant-sunup-163401",
 "clusterName": "cluster-name",
 "config": {
  "configBucket": "dataproc-...",
...
  "tempBucket": "dataproc-temp-...",
}

defaultFS

Puoi impostare core:fs.defaultFS su una posizione del bucket in Cloud Storage (gs://defaultFS-bucket-name) per impostare Cloud Storage come file system predefinito. Inoltre, imposta core:fs.gs.reported.permissions, l'autorizzazione segnalata restituita dal connettore Cloud Storage per tutti i file, su 777.

Se Cloud Storage non è impostato come file system predefinito, verrà utilizzato HDFS e la proprietà core:fs.gs.reported.permissions restituirà 700, il valore predefinito.

gcloud dataproc clusters create cluster-name \
    --properties=core:fs.defaultFS=gs://defaultFS-bucket-name \
    --region=region \
    --bucket=staging-bucket-name \
    --temp-bucket=temp-bucket-name \
    other args ...