Questo documento illustra gli strumenti e le tecniche che puoi utilizzare per monitorare l'integrità e le prestazioni dei cluster e dei job di Managed Spark.
Interfacce web open source
Molti componenti open source dei cluster Managed Service for Apache Spark, come Apache Hadoop e Apache Spark, forniscono interfacce web. Queste interfacce possono essere utilizzate per monitorare le risorse del cluster e le prestazioni dei job. Ad esempio, puoi utilizzare la UI di YARN Resource Manager per visualizzare l'allocazione delle risorse delle applicazioni YARN su un cluster Managed Service for Apache Spark.
Server di cronologia permanente
Le interfacce web open source in esecuzione su un cluster sono disponibili quando il cluster è in esecuzione, ma vengono terminate quando elimini il cluster. Per visualizzare i dati del cluster e dei job dopo l'eliminazione di un cluster, puoi creare un server di cronologia permanente (PHS).
Esempio: si verifica un errore o un rallentamento del job che vuoi analizzare. Interrompi o elimini il cluster di job, quindi visualizzi e analizzi i dati della cronologia dei job utilizzando il PHS.
Dopo aver creato un PHS, lo attivi su un cluster Managed Service for Apache Spark o su un workload batch Managed Service for Apache Spark quando crei il cluster o invii il workload batch. Un PHS può accedere ai dati della cronologia per i job eseguiti su più cluster, consentendoti di monitorare i job in un progetto anziché monitorare UI separate in esecuzione su cluster diversi.
Log di Managed Service for Apache Spark
Managed Service for Apache Spark raccoglie i log generati da Apache Hadoop, Spark, Hive, ZooKeeper e altri sistemi open source in esecuzione sui tuoi cluster e li invia a Logging. Questi log sono raggruppati in base alla loro origine, il che ti consente di selezionare e visualizzare i log di tuo interesse: ad esempio, i log di YARN NodeManager e Spark Executor generati su un cluster sono etichettati separatamente. Per saperne di più sui contenuti e sulle opzioni dei log di Managed Service for Apache Spark, consulta Log di Managed Service for Apache Spark.
Cloud Logging
Logging è un sistema di gestione dei log in tempo reale completamente gestito. Fornisce spazio di archiviazione per i log importati dai servizi Cloud de Confiance e strumenti per cercare, filtrare e analizzare i log su larga scala. I cluster Managed Service for Apache Spark generano più log, tra cui i log dell'agente di servizio Managed Service for Apache Spark, i log di avvio del cluster e i log dei componenti OSS, come i log di YARN NodeManager.
Il logging è abilitato per impostazione predefinita sui cluster Managed Service for Apache Spark e sui workload batch Managed Service for Apache Spark. I log vengono esportati periodicamente in Logging, dove rimangono dopo l'eliminazione del cluster o il completamento del workload.
Metriche di Managed Service for Apache Spark
Le metriche dei cluster e dei job di Managed Service for Apache Spark, con prefisso dataproc.googleapis.com/, sono costituite da dati delle serie temporali che forniscono insight sulle prestazioni di un cluster, ad esempio l'utilizzo della CPU o lo stato dei job. Le metriche personalizzate di Managed Service for Apache Spark, con prefisso custom.googleapis.com/, includono le metriche emesse dai sistemi open source in esecuzione sul cluster, come la metrica YARN running applications. Ottenere insight sulle metriche di Managed Service for Apache Spark può aiutarti a configurare i cluster in modo efficiente. La configurazione di avvisi basati su metriche può aiutarti a riconoscere e
rispondere rapidamente ai problemi.
Le metriche dei cluster e dei job di Managed Service for Apache Spark vengono raccolte per impostazione predefinita senza costi. La raccolta di metriche personalizzate viene addebitata ai clienti. Puoi abilitare la raccolta di metriche personalizzate quando crei un cluster. La raccolta delle metriche Spark di Managed Service for Apache Spark è abilitata per impostazione predefinita sui workload batch Spark.
Cloud Monitoring
Monitoring utilizza i metadati e le metriche del cluster, tra cui le metriche di HDFS, YARN, job e operazioni, per fornire visibilità su integrità, prestazioni e disponibilità dei cluster e dei job di Managed Service for Apache Spark. Puoi utilizzare Monitoring per esplorare le metriche, aggiungere grafici, creare dashboard e generare avvisi.
Esplora metriche
Puoi utilizzare Esplora metriche per visualizzare le metriche di Managed Service for Apache Spark. Le metriche relative a cluster, job e batch di Managed Service for Apache Spark sono elencate nelle risorse Cloud Managed Service for Apache Spark Cluster, Cloud
Managed Service for Apache Spark Job e Cloud Managed Service for Apache Spark
Batch. Le metriche personalizzate di Managed Service for Apache Spark sono elencate nella risorsa VM Instances, categoria Custom.
Grafici
Puoi utilizzare Metrics Explorer per creare grafici che visualizzano le metriche di Managed Service for Apache Spark.
Esempio: crei un grafico per visualizzare il numero di applicazioni Yarn attive in esecuzione sui tuoi cluster, quindi aggiungi un filtro per selezionare le metriche visualizzate in base al nome o alla regione del cluster.
Dashboard
Puoi creare dashboard per monitorare i cluster e i job di Managed Service for Apache Spark utilizzando le metriche di più progetti e di diversi prodotti Cloud de Confiance . Puoi creare dashboard nella console Cloud de Confiance dalla pagina Panoramica delle dashboard facendo clic, creando e salvando un grafico dalla pagina Esplora metriche.
Avvisi
Puoi creare avvisi relativi alle metriche di Managed Service for Apache Spark per ricevere notifiche tempestive sui problemi relativi ai cluster o ai job.