Puoi sfruttare le seguenti funzionalità di raccolta dei dati diagnostici di Managed Service for Apache Spark per risolvere i problemi relativi a cluster e job:
- Dati diagnostici dei checkpoint: per impostazione predefinita, Managed Service for Apache Spark raccoglie i dati diagnostici dei checkpoint durante il ciclo di vita del cluster.
- Dati diagnostici snapshot: puoi raccogliere uno snapshot una tantum dei dati diagnostici del cluster quando necessario.
Raccolta dei dati diagnostici di Checkpoint
Per impostazione predefinita, Managed Service for Apache Spark raccoglie i dati diagnostici dei checkpoint durante le operazioni di creazione del cluster, aggiornamento del cluster e job Managed Service for Apache Spark.
Posizione dei dati del checkpoint
Managed Service for Apache Spark salva i dati diagnostici del checkpoint
nel bucket temporaneo del cluster
in Cloud Storage nella seguente cartella (checkpoint diagnostic data folder):
gs://TEMP_BUCKET/google-cloud-dataproc-diagnostic/CLUSTER_UUID
Il bucket temporaneo predefinito del cluster ha un periodo di conservazione TTL di 90 giorni. I dati vengono eliminati al termine del periodo di conservazione. Puoi specificare il tuo bucket temporaneo del cluster con un periodo TTL diverso quando crei un cluster.
Dati diagnostici di Checkpoint
Log dei dettagli dei nodi del cluster: Managed Service for Apache Spark esegue i seguenti comandi per raccogliere e scrivere le informazioni YARN e HDFS nelle seguenti posizioni nella cartella dei dati diagnostici del checkpoint in Cloud Storage.
Comando eseguito Posizione nella cartella di diagnostica yarn node -list -all.../nodes/timestamp/yarn-nodes.loghdfs dfsadmin -report -live -decommissioning.../nodes/timestamp/hdfs-nodes.logcp gs://STAGING_BUCKET/google-cloud-dataproc-metainfo/CLUSTER_UUID/nodes_exclude.xml.../nodes/timestamp/nodes_exclude.xmlDettagli dei job: Managed Service for Apache Spark salva le informazioni sui job MapReduce e i log dei job Spark per i job che utilizzano l'API Managed Service for Apache Spark Jobs. Questi dati dei job vengono raccolti per ogni job MapReduce e Spark inviato.
- MapReduce
job.xml: un file contenente le impostazioni di configurazione del job, salvato in.../jobs/JOB_UUID/mapreduce/job.xml. - Log eventi Spark: dettagli di esecuzione del job utili per il debug, salvati in
.../jobs/JOB_UUID/spark/application-id.
- MapReduce
Informazioni di sistema di Linux: Managed Service for Apache Spark esegue i seguenti comandi per raccogliere e salvare le informazioni di sistema nelle seguenti posizioni nella cartella dei dati diagnostici del checkpoint in Cloud Storage.
Comando Posizione nella cartella di diagnostica sysctl -a.../system/sysctl.logcat /proc/sys/fs/file-nr.../system/fs-file-nr.logping -c 1.../system/cluster-ping.logcp /etc/hosts.../system/hosts_entries.logcp /etc/resolv.conf.../system/resolv.confFile di configurazione: Managed Service for Apache Spark salva i seguenti file di configurazione nelle seguenti posizioni nella cartella dei dati diagnostici del checkpoint in Cloud Storage.
Articoli inclusi Posizione nella cartella di diagnostica Proprietà di Managed Service for Apache Spark .../configs/dataproc/dataproc.propertiesTutti i file in
/etc/google-dataproc/.../configs/dataproc/Tutti i file in
/etc/hadoop/conf/.../configs/hadoop/Tutti i file in /etc/hive/conf/.../configs/hive/Tutti i file in
/etc/hive-hcatalog/conf/.../configs/hive-hcatalog/Tutti i file in /etc/knox/conf/.../configs/knox/Tutti i file in /etc/pig/conf/.../configs/pig/Tutti i file in
/etc/presto/conf/.../configs/presto/Tutti i file in
/etc/spark/conf/.../configs/spark/Tutti i file in /etc/tez/conf/.../configs/tez/Tutti i file in
/etc/zookeeper/conf/.../configs/zookeeper/
Condividi i dati diagnostici del checkpoint con l'assistenza
Puoi attivare la condivisione dei dati diagnostici dei checkpoint con l'assistenzaCloud de Confiance by S3NS nei seguenti modi:
Abilita la condivisione al momento della creazione del cluster: aggiungi la seguente proprietà facoltativa del cluster quando crei un cluster:
dataproc:diagnostic.capture.access=GOOGLE_DATAPROC_DIAGNOSE
Questa proprietà condivide automaticamente i dati diagnostici dei checkpoint raccolti con l'assistenzaCloud de Confiance by S3NS , in modo che tu non debba condividerli manualmente ogni volta dopo la creazione del cluster.
Abilita la condivisione dopo la creazione del cluster: puoi abilitare la condivisione dei dati dei checkpoint con l'assistenzaCloud de Confiance by S3NS dopo la creazione del cluster fornendo l'accesso in lettura ai dati dei checkpoint al account di servizio utilizzato dall'assistenza Cloud de Confiance by S3NS , come segue:
Se l'accesso uniforme a livello di bucket è abilitato nel bucket temporaneo, aggiungi l'associazione della policy IAM:
gcloud storage buckets add-iam-policy-binding gs://TEMP_BUCKET \ --member=serviceAccount:cloud-diagnose@cloud-dataproc.s3ns.iam.gserviceaccount.com \ --role=roles/storage.objectViewer
Se controllo dell'accesso a livello di oggetto è abilitato nel bucket temporaneo, esegui questo comando per condividere i dati diagnostici del checkpoint:
gcloud storage objects update \ gs://TEMP_BUCKET/google-cloud-dataproc-diagnostic/CLUSTER_UUID \ --add-acl-grant=entity=user-cloud-diagnose@cloud-dataproc.s3ns.iam.gserviceaccount.com,role=READER --recursive
Disattiva la raccolta dei dati diagnostici dei checkpoint
Per disattivare la raccolta dei dati diagnostici dei checkpoint su un cluster, imposta
dataproc:diagnostic.capture.enabled=false
quando crei il cluster.
Raccolta dei dati diagnostici degli snapshot
Puoi eseguire il seguente comando gcloud dataproc clusters diagnose per raccogliere uno snapshot dei dati diagnostici da un cluster in esecuzione. I dati vengono scritti come file di archivio (tar) nel bucket di gestione temporanea di Managed Service for Apache Spark in Cloud Storage.
gcloud dataproc clusters diagnose CLUSTER_NAME \ --region=REGION \ --tarball-access=GOOGLE_DATAPROC_DIAGNOSE \ --tarball-gcs-dir=TARBALL_DIR
Note:
- CLUSTER_NAME: il nome del cluster da diagnosticare.
- REGION: la regione del cluster, ad esempio
us-central1. --tarball-access=GOOGLE_DATAPROC_DIAGNOSEQuesto flag fornisce l'accesso al file tar di diagnostica all'Cloud de Confiance by S3NS assistenza. Fornisci all'assistenza Cloud de Confiance by S3NS il percorso Cloud Storage del file tar di diagnostica.In alternativa a fornire il file tar all'assistenza, puoi fornire l'UUID del cluster, l'ID operazione del comando di diagnostica e la posizione Cloud Storage del bucket di configurazione del cluster.
Se scegli di scrivere il file tar di diagnostica in una directory specifica, fornisci all'assistenza Cloud de Confiance by S3NS il percorso Cloud Storage completo del file tar stampato dal comando diagnose.
Accesso al bucket e ambito dei contenuti condivisi: l'impostazione di accesso al bucket Cloud Storage che contiene il file tar di diagnostica determina l'ambito dei contenuti condivisi con l'assistenza Cloud de Confiance by S3NS :
Accesso uniforme a livello di bucket: se l'accesso uniforme a livello di bucket è abilitato nel bucket di gestione temporanea di Managed Service for Apache Spark o, se è specificato un TARBALL_DIR, nel bucket che contiene TARBALL_DIR, tutti i contenuti del bucket vengono condivisi con l'assistenza Cloud de Confiance by S3NS .
Accesso a livello di oggetto: se l'accesso a livello di oggetto è abilitato nel bucket di gestione temporanea di Managed Service for Apache Spark o, se è specificato un TARBALL_DIR, nel bucket che contiene TARBALL_DIR, con l'assistenza Cloud de Confiance by S3NS viene condiviso solo il file tar di diagnostica.
TARBALL_DIR: (Facoltativo) Puoi utilizzare questo flag per specificare una directory di Cloud Storage in cui verrà scritto il file tar di diagnostica. Se questo flag viene omesso, il file tar di diagnostica verrà scritto nel bucket di gestione temporanea di Managed Service for Apache Spark.
Additional flags:
--start-timecon--end-time: utilizza entrambi i flag per specificare un intervallo di tempo nel formato%Y-%m-%dT%H:%M:%S.%fZper la raccolta dei dati diagnostici. La specifica di un intervallo di tempo consente anche la raccolta dei log di scalabilità automatica di Managed Service for Apache Spark durante l'intervallo di tempo (per impostazione predefinita, i log di scalabilità automatica di Managed Service for Apache Spark non vengono raccolti nei dati degli snapshot di diagnostica).Puoi utilizzare uno o entrambi i seguenti flag per raccogliere log di output specifici per driver di job, eventi Spark, applicazioni YARN e Sparklens:
--job-ids: un elenco separato da virgole di ID job--yarn-application-ids: Un elenco di ID di applicazioni YARN separati da virgole- L'aggregazione dei log YARN deve essere abilitata (
yarn.log-aggregation-enable=true) per la raccolta dei log delle applicazioni YARN. - Per i job MapReduce, vengono raccolti solo i log delle applicazioni YARN.
- L'aggregazione dei log YARN deve essere abilitata (
(Facoltativo) Esegui lo script di diagnostica
Il comando gcloud dataproc clusters diagnose può non riuscire o scadere se un cluster è in stato di errore e non può accettare attività di diagnosi dal server Managed Service for Apache Spark. In alternativa all'esecuzione del comando diagnose, puoi utilizzare SSH per connetterti al cluster ed eseguire lo script localmente sul nodo master.
gcloud compute ssh HOSTNAMEgcloud storage cp gs://dataproc-diagnostic-scripts/diagnostic-script.sh .sudo bash diagnostic-script.sh
Il file tar dell'archivio di diagnostica viene salvato in una directory locale. L'output comando elenca la posizione del file tar con le istruzioni su come caricarlo in un bucket Cloud Storage.
Dati degli snapshot di diagnostica
I dati dello snapshot del cluster includono un riepilogo della diagnostica e diverse sezioni dell'archivio.
Riepilogo della diagnostica: il file di archivio include summary.txt che si trova nella directory root dell'archivio. Fornisce una panoramica dello stato del cluster, tra cui lo stato di YARN, HDFS, disco e rete, e include avvisi per segnalare potenziali problemi.
Sezioni dell'archivio: il file di archivio include le seguenti informazioni, che vengono scritte nelle seguenti posizioni del file di archivio.
Informazioni su daemon e servizi
Comando eseguito Posizione nell'archivio yarn node -list -all/system/yarn-nodes.loghdfs dfsadmin -report -live -decommissioning/system/hdfs-nodes.loghdfs dfs -du -h/system/hdfs-du.logservice --status-all/system/service.logsystemctl --type service/system/systemd-services.logcurl "http://${HOSTNAME}:8088/jmx"/metrics/resource_manager_jmxcurl "http://${HOSTNAME}:8088/ws/v1/cluster/apps"/metrics/yarn_app_infocurl "http://${HOSTNAME}:8088/ws/v1/cluster/nodes"/metrics/yarn_node_infocurl "http://${HOSTNAME}:9870/jmx"/metrics/namenode_jmxInformazioni sulla JVM
Comando eseguito Posizione nell'archivio jstack -l "${DATAPROC_AGENTPID}"jstack/agent${DATAPROC_AGENT_PID}.jstackjstack -l "${PRESTOPID}"jstack/agent${PRESTO_PID}.jstackjstack -l "${JOB_DRIVERPID}"jstack/driver${JOB_DRIVER_PID}.jstackjinfo "${DATAPROC_AGENTPID}"jinfo/agent${DATAPROC_AGENT_PID}.jstackjinfo "${PRESTOPID}"jinfo/agent${PRESTO_PID}.jstackjinfo "${JOB_DRIVERPID}"jinfo/agent${JOB_DRIVER_PID}.jstackInformazioni di sistema di Linux
Comando eseguito Posizione nell'archivio df -h/system/df.logps aux/system/ps.logfree -m/system/free.lognetstat -anp/system/netstat.logsysctl -a/system/sysctl.loguptime/system/uptime.logcat /proc/sys/fs/file-nr/system/fs-file-nr.logping -c 1/system/cluster-ping.logArticolo incluso Posizione nell'archivio Tutti i log in /var/logcon i seguenti prefissi nel nome file:
cloud-sql-proxy
dataproc
druid
gcdp
google
hadoop
hdfs
hive
knox
presto
spark
syslog
yarn
zookeeperI file vengono inseriti nella cartella dell'archivio logse mantengono i nomi file originali.Log di avvio dei nodi di Managed Service for Apache Spark per ogni nodo (master e worker) del cluster. I file vengono inseriti nella cartella di archiviazione node_startup, che contiene sottocartelle separate per ogni macchina del cluster.Log del gateway dei componenti da journalctl -u google-dataproc-component-gateway/logs/google-dataproc-component-gateway.logFile di configurazione
Articoli inclusi Posizione nell'archivio Metadati della VM /conf/dataproc/metadataVariabili di ambiente in /etc/environment/conf/dataproc/environmentProprietà di Managed Service for Apache Spark /conf/dataproc/dataproc.propertiesTutti i file in /etc/google-dataproc//conf/dataproc/Tutti i file in /etc/hadoop/conf//conf/hadoop/Tutti i file in /etc/hive/conf//conf/hive/Tutti i file in /etc/hive-hcatalog/conf//conf/hive-hcatalog/Tutti i file in /etc/knox/conf//conf/knox/Tutti i file in /etc/pig/conf//conf/pig/Tutti i file in /etc/presto/conf//conf/presto/Tutti i file in /etc/spark/conf//conf/spark/Tutti i file in /etc/tez/conf//conf/tez/Tutti i file in /etc/zookeeper/conf//conf/zookeeper/
Condividi il file di archivio
Puoi condividere il file di archivio con l'assistenza Cloud de Confiance by S3NS o con gli utenti per ottenere aiuto per la risoluzione dei problemi relativi a cluster o job.
Per condividere il file di archivio:
- Copia il file di archivio da Cloud Storage, quindi condividi l'archivio scaricato oppure
Modifica le autorizzazioni dell'archivio per consentire ad altri Cloud de Confiance by S3NS utenti o progetti di accedere al file.
Esempio: il seguente comando concede le autorizzazioni in lettura dell'archivio ai proprietari del progetto
test-project:gcloud storage objects update PATH_TO_ARCHIVE --add-acl-grant=entity=project-owners-test-project,role=READER