Visualizzare i dati diagnostici del cluster

"Visualizza i dati diagnostici del cluster Managed Service for Apache Spark"

Puoi sfruttare le seguenti funzionalità di raccolta dei dati diagnostici di Managed Service for Apache Spark per risolvere i problemi relativi a cluster e job:

  • Dati diagnostici dei checkpoint: per impostazione predefinita, Managed Service for Apache Spark raccoglie i dati diagnostici dei checkpoint durante il ciclo di vita del cluster.
  • Dati diagnostici snapshot: puoi raccogliere uno snapshot una tantum dei dati diagnostici del cluster quando necessario.

Raccolta dei dati diagnostici di Checkpoint

Per impostazione predefinita, Managed Service for Apache Spark raccoglie i dati diagnostici dei checkpoint durante le operazioni di creazione del cluster, aggiornamento del cluster e job Managed Service for Apache Spark.

Posizione dei dati del checkpoint

Managed Service for Apache Spark salva i dati diagnostici del checkpoint nel bucket temporaneo del cluster in Cloud Storage nella seguente cartella (checkpoint diagnostic data folder):

gs://TEMP_BUCKET/google-cloud-dataproc-diagnostic/CLUSTER_UUID 

Il bucket temporaneo predefinito del cluster ha un periodo di conservazione TTL di 90 giorni. I dati vengono eliminati al termine del periodo di conservazione. Puoi specificare il tuo bucket temporaneo del cluster con un periodo TTL diverso quando crei un cluster.

Dati diagnostici di Checkpoint

  • Log dei dettagli dei nodi del cluster: Managed Service for Apache Spark esegue i seguenti comandi per raccogliere e scrivere le informazioni YARN e HDFS nelle seguenti posizioni nella cartella dei dati diagnostici del checkpoint in Cloud Storage.

    Comando eseguito Posizione nella cartella di diagnostica
    yarn node -list -all .../nodes/timestamp/yarn-nodes.log
    hdfs dfsadmin -report -live -decommissioning .../nodes/timestamp/hdfs-nodes.log
    cp gs://STAGING_BUCKET/google-cloud-dataproc-metainfo/CLUSTER_UUID/nodes_exclude.xml .../nodes/timestamp/nodes_exclude.xml

  • Dettagli dei job: Managed Service for Apache Spark salva le informazioni sui job MapReduce e i log dei job Spark per i job che utilizzano l'API Managed Service for Apache Spark Jobs. Questi dati dei job vengono raccolti per ogni job MapReduce e Spark inviato.

    • MapReduce job.xml: un file contenente le impostazioni di configurazione del job, salvato in .../jobs/JOB_UUID/mapreduce/job.xml.
    • Log eventi Spark: dettagli di esecuzione del job utili per il debug, salvati in .../jobs/JOB_UUID/spark/application-id.
  • Informazioni di sistema di Linux: Managed Service for Apache Spark esegue i seguenti comandi per raccogliere e salvare le informazioni di sistema nelle seguenti posizioni nella cartella dei dati diagnostici del checkpoint in Cloud Storage.

    Comando Posizione nella cartella di diagnostica
    sysctl -a .../system/sysctl.log
    cat /proc/sys/fs/file-nr .../system/fs-file-nr.log
    ping -c 1 .../system/cluster-ping.log
    cp /etc/hosts .../system/hosts_entries.log
    cp /etc/resolv.conf .../system/resolv.conf
  • File di configurazione: Managed Service for Apache Spark salva i seguenti file di configurazione nelle seguenti posizioni nella cartella dei dati diagnostici del checkpoint in Cloud Storage.

    Articoli inclusi Posizione nella cartella di diagnostica
    Proprietà di Managed Service for Apache Spark .../configs/dataproc/dataproc.properties
    Tutti i file in
    /etc/google-dataproc/
    .../configs/dataproc/
    Tutti i file in
    /etc/hadoop/conf/
    .../configs/hadoop/
    Tutti i file in /etc/hive/conf/ .../configs/hive/
    Tutti i file in
    /etc/hive-hcatalog/conf/
    .../configs/hive-hcatalog/
    Tutti i file in /etc/knox/conf/ .../configs/knox/
    Tutti i file in /etc/pig/conf/ .../configs/pig/
    Tutti i file in
    /etc/presto/conf/
    .../configs/presto/
    Tutti i file in
    /etc/spark/conf/
    .../configs/spark/
    Tutti i file in /etc/tez/conf/ .../configs/tez/
    Tutti i file in
    /etc/zookeeper/conf/
    .../configs/zookeeper/

Condividi i dati diagnostici del checkpoint con l'assistenza

Puoi attivare la condivisione dei dati diagnostici dei checkpoint con l'assistenzaCloud de Confiance by S3NS nei seguenti modi:

  • Abilita la condivisione al momento della creazione del cluster: aggiungi la seguente proprietà facoltativa del cluster quando crei un cluster:

    dataproc:diagnostic.capture.access=GOOGLE_DATAPROC_DIAGNOSE
    

    Questa proprietà condivide automaticamente i dati diagnostici dei checkpoint raccolti con l'assistenzaCloud de Confiance by S3NS , in modo che tu non debba condividerli manualmente ogni volta dopo la creazione del cluster.

  • Abilita la condivisione dopo la creazione del cluster: puoi abilitare la condivisione dei dati dei checkpoint con l'assistenzaCloud de Confiance by S3NS dopo la creazione del cluster fornendo l'accesso in lettura ai dati dei checkpoint al account di servizio utilizzato dall'assistenza Cloud de Confiance by S3NS , come segue:

    • Se l'accesso uniforme a livello di bucket è abilitato nel bucket temporaneo, aggiungi l'associazione della policy IAM:

      gcloud storage buckets add-iam-policy-binding gs://TEMP_BUCKET \
          --member=serviceAccount:cloud-diagnose@cloud-dataproc.s3ns.iam.gserviceaccount.com \
          --role=roles/storage.objectViewer
      

    • Se controllo dell'accesso a livello di oggetto è abilitato nel bucket temporaneo, esegui questo comando per condividere i dati diagnostici del checkpoint:

      gcloud storage objects update \
          gs://TEMP_BUCKET/google-cloud-dataproc-diagnostic/CLUSTER_UUID \
          --add-acl-grant=entity=user-cloud-diagnose@cloud-dataproc.s3ns.iam.gserviceaccount.com,role=READER --recursive
      

Disattiva la raccolta dei dati diagnostici dei checkpoint

Per disattivare la raccolta dei dati diagnostici dei checkpoint su un cluster, imposta dataproc:diagnostic.capture.enabled=false quando crei il cluster.

Raccolta dei dati diagnostici degli snapshot

Puoi eseguire il seguente comando gcloud dataproc clusters diagnose per raccogliere uno snapshot dei dati diagnostici da un cluster in esecuzione. I dati vengono scritti come file di archivio (tar) nel bucket di gestione temporanea di Managed Service for Apache Spark in Cloud Storage.

gcloud dataproc clusters diagnose CLUSTER_NAME \
    --region=REGION \
    --tarball-access=GOOGLE_DATAPROC_DIAGNOSE \
    --tarball-gcs-dir=TARBALL_DIR

Note:

  • CLUSTER_NAME: il nome del cluster da diagnosticare.
  • REGION: la regione del cluster, ad esempio us-central1.
  • --tarball-access=GOOGLE_DATAPROC_DIAGNOSE Questo flag fornisce l'accesso al file tar di diagnostica all'Cloud de Confiance by S3NS assistenza. Fornisci all'assistenza Cloud de Confiance by S3NS il percorso Cloud Storage del file tar di diagnostica.

    In alternativa a fornire il file tar all'assistenza, puoi fornire l'UUID del cluster, l'ID operazione del comando di diagnostica e la posizione Cloud Storage del bucket di configurazione del cluster.

    Se scegli di scrivere il file tar di diagnostica in una directory specifica, fornisci all'assistenza Cloud de Confiance by S3NS il percorso Cloud Storage completo del file tar stampato dal comando diagnose.

    Accesso al bucket e ambito dei contenuti condivisi: l'impostazione di accesso al bucket Cloud Storage che contiene il file tar di diagnostica determina l'ambito dei contenuti condivisi con l'assistenza Cloud de Confiance by S3NS :

    • Accesso uniforme a livello di bucket: se l'accesso uniforme a livello di bucket è abilitato nel bucket di gestione temporanea di Managed Service for Apache Spark o, se è specificato un TARBALL_DIR, nel bucket che contiene TARBALL_DIR, tutti i contenuti del bucket vengono condivisi con l'assistenza Cloud de Confiance by S3NS .

    • Accesso a livello di oggetto: se l'accesso a livello di oggetto è abilitato nel bucket di gestione temporanea di Managed Service for Apache Spark o, se è specificato un TARBALL_DIR, nel bucket che contiene TARBALL_DIR, con l'assistenza Cloud de Confiance by S3NS viene condiviso solo il file tar di diagnostica.

  • TARBALL_DIR: (Facoltativo) Puoi utilizzare questo flag per specificare una directory di Cloud Storage in cui verrà scritto il file tar di diagnostica. Se questo flag viene omesso, il file tar di diagnostica verrà scritto nel bucket di gestione temporanea di Managed Service for Apache Spark.

  • Additional flags:

    • --start-time con --end-time: utilizza entrambi i flag per specificare un intervallo di tempo nel formato %Y-%m-%dT%H:%M:%S.%fZ per la raccolta dei dati diagnostici. La specifica di un intervallo di tempo consente anche la raccolta dei log di scalabilità automatica di Managed Service for Apache Spark durante l'intervallo di tempo (per impostazione predefinita, i log di scalabilità automatica di Managed Service for Apache Spark non vengono raccolti nei dati degli snapshot di diagnostica).

    • Puoi utilizzare uno o entrambi i seguenti flag per raccogliere log di output specifici per driver di job, eventi Spark, applicazioni YARN e Sparklens:

      • --job-ids: un elenco separato da virgole di ID job
      • --yarn-application-ids: Un elenco di ID di applicazioni YARN separati da virgole

        • L'aggregazione dei log YARN deve essere abilitata (yarn.log-aggregation-enable=true) per la raccolta dei log delle applicazioni YARN.
        • Per i job MapReduce, vengono raccolti solo i log delle applicazioni YARN.

(Facoltativo) Esegui lo script di diagnostica

Il comando gcloud dataproc clusters diagnose può non riuscire o scadere se un cluster è in stato di errore e non può accettare attività di diagnosi dal server Managed Service for Apache Spark. In alternativa all'esecuzione del comando diagnose, puoi utilizzare SSH per connetterti al cluster ed eseguire lo script localmente sul nodo master.

gcloud compute ssh HOSTNAME
gcloud storage cp gs://dataproc-diagnostic-scripts/diagnostic-script.sh .
sudo bash diagnostic-script.sh

Il file tar dell'archivio di diagnostica viene salvato in una directory locale. L'output comando elenca la posizione del file tar con le istruzioni su come caricarlo in un bucket Cloud Storage.

Dati degli snapshot di diagnostica

I dati dello snapshot del cluster includono un riepilogo della diagnostica e diverse sezioni dell'archivio.

Riepilogo della diagnostica: il file di archivio include summary.txt che si trova nella directory root dell'archivio. Fornisce una panoramica dello stato del cluster, tra cui lo stato di YARN, HDFS, disco e rete, e include avvisi per segnalare potenziali problemi.

Sezioni dell'archivio: il file di archivio include le seguenti informazioni, che vengono scritte nelle seguenti posizioni del file di archivio.

  • Informazioni su daemon e servizi

    Comando eseguito Posizione nell'archivio
    yarn node -list -all /system/yarn-nodes.log
    hdfs dfsadmin -report -live -decommissioning /system/hdfs-nodes.log
    hdfs dfs -du -h /system/hdfs-du.log
    service --status-all /system/service.log
    systemctl --type service /system/systemd-services.log
    curl "http://${HOSTNAME}:8088/jmx" /metrics/resource_manager_jmx
    curl "http://${HOSTNAME}:8088/ws/v1/cluster/apps" /metrics/yarn_app_info
    curl "http://${HOSTNAME}:8088/ws/v1/cluster/nodes" /metrics/yarn_node_info
    curl "http://${HOSTNAME}:9870/jmx" /metrics/namenode_jmx

  • Informazioni sulla JVM

    Comando eseguito Posizione nell'archivio
    jstack -l "${DATAPROC_AGENTPID}" jstack/agent${DATAPROC_AGENT_PID}.jstack
    jstack -l "${PRESTOPID}" jstack/agent${PRESTO_PID}.jstack
    jstack -l "${JOB_DRIVERPID}" jstack/driver${JOB_DRIVER_PID}.jstack
    jinfo "${DATAPROC_AGENTPID}" jinfo/agent${DATAPROC_AGENT_PID}.jstack
    jinfo "${PRESTOPID}" jinfo/agent${PRESTO_PID}.jstack
    jinfo "${JOB_DRIVERPID}" jinfo/agent${JOB_DRIVER_PID}.jstack

  • Informazioni di sistema di Linux

    Comando eseguito Posizione nell'archivio
    df -h /system/df.log
    ps aux /system/ps.log
    free -m /system/free.log
    netstat -anp /system/netstat.log
    sysctl -a /system/sysctl.log
    uptime /system/uptime.log
    cat /proc/sys/fs/file-nr /system/fs-file-nr.log
    ping -c 1 /system/cluster-ping.log

  • File di log

    Articolo incluso Posizione nell'archivio
    Tutti i log in /var/log con i seguenti prefissi nel nome file:
    cloud-sql-proxy
    dataproc
    druid
    gcdp
    google
    hadoop
    hdfs
    hive
    knox
    presto
    spark
    syslog
    yarn
    zookeeper
    I file vengono inseriti nella cartella dell'archivio logs e mantengono i nomi file originali.
    Log di avvio dei nodi di Managed Service for Apache Spark per ogni nodo (master e worker) del cluster. I file vengono inseriti nella cartella di archiviazione node_startup, che contiene sottocartelle separate per ogni macchina del cluster.
    Log del gateway dei componenti da journalctl -u google-dataproc-component-gateway /logs/google-dataproc-component-gateway.log

  • File di configurazione

    Articoli inclusi Posizione nell'archivio
    Metadati della VM /conf/dataproc/metadata
    Variabili di ambiente in /etc/environment /conf/dataproc/environment
    Proprietà di Managed Service for Apache Spark /conf/dataproc/dataproc.properties
    Tutti i file in /etc/google-dataproc/ /conf/dataproc/
    Tutti i file in /etc/hadoop/conf/ /conf/hadoop/
    Tutti i file in /etc/hive/conf/ /conf/hive/
    Tutti i file in /etc/hive-hcatalog/conf/ /conf/hive-hcatalog/
    Tutti i file in /etc/knox/conf/ /conf/knox/
    Tutti i file in /etc/pig/conf/ /conf/pig/
    Tutti i file in /etc/presto/conf/ /conf/presto/
    Tutti i file in /etc/spark/conf/ /conf/spark/
    Tutti i file in /etc/tez/conf/ /conf/tez/
    Tutti i file in /etc/zookeeper/conf/ /conf/zookeeper/

Condividi il file di archivio

Puoi condividere il file di archivio con l'assistenza Cloud de Confiance by S3NS o con gli utenti per ottenere aiuto per la risoluzione dei problemi relativi a cluster o job.

Per condividere il file di archivio:

  • Copia il file di archivio da Cloud Storage, quindi condividi l'archivio scaricato oppure
  • Modifica le autorizzazioni dell'archivio per consentire ad altri Cloud de Confiance by S3NS utenti o progetti di accedere al file.

    Esempio: il seguente comando concede le autorizzazioni in lettura dell'archivio ai proprietari del progetto test-project:

    gcloud storage objects update PATH_TO_ARCHIVE --add-acl-grant=entity=project-owners-test-project,role=READER