Questo documento descrive gli strumenti e le tecniche che puoi utilizzare per monitorare l'integrità e le prestazioni dei cluster e dei job Managed Spark.
Interfacce web open source
Molti componenti open source del cluster Managed Service for Apache Spark, come Apache Hadoop e Apache Spark, forniscono interfacce web. Queste interfacce possono essere utilizzate per monitorare le risorse del cluster e il rendimento dei job. Ad esempio, puoi utilizzare l'interfaccia utente di YARN Resource Manager per visualizzare l'allocazione delle risorse dell'applicazione YARN su un cluster Managed Service for Apache Spark.
Server di cronologia permanente
Le interfacce web open source in esecuzione su un cluster sono disponibili quando il cluster è in esecuzione, ma terminano quando elimini il cluster. Per visualizzare i dati del cluster e del job dopo l'eliminazione di un cluster, puoi creare un server di cronologia permanente (PHS).
Esempio: si verifica un errore o un rallentamento del job che vuoi analizzare. Puoi interrompere o eliminare il cluster di job, quindi visualizzare e analizzare i dati della cronologia dei job utilizzando il tuo PHS.
Dopo aver creato un PHS, lo abiliti su un cluster Managed Service for Apache Spark o su un workload batch Managed Service for Apache Spark quando crei il cluster o invii il workload batch. Un PHS può accedere ai dati cronologici dei job eseguiti su più cluster, consentendoti di monitorare i job in un progetto anziché monitorare UI separate in esecuzione su cluster diversi.
Log di Managed Service for Apache Spark
Managed Service for Apache Spark raccoglie i log generati da Apache Hadoop, Spark, Hive, ZooKeeper e altri sistemi open source in esecuzione sui tuoi cluster e li invia a Logging. Questi log sono raggruppati in base all'origine, il che ti consente di selezionare e visualizzare i log di tuo interesse: ad esempio, i log di YARN NodeManager e Spark Executor generati su un cluster sono etichettati separatamente. Per saperne di più sui contenuti e sulle opzioni dei log di Managed Service for Apache Spark, consulta Log di Managed Service for Apache Spark.
Cloud Logging
Logging è un sistema di gestione dei log in tempo reale e completamente gestito. Fornisce spazio di archiviazione per i log inseriti da Cloud de Confiance servizi e strumenti per cercare, filtrare e analizzare i log su larga scala. I cluster Managed Service for Apache Spark generano più log, inclusi i log dell'agente di servizio Managed Service for Apache Spark, i log di avvio del cluster e i log dei componenti OSS, come i log di YARN NodeManager.
La registrazione è abilitata per impostazione predefinita sui cluster Managed Service for Apache Spark e sui workload batch Managed Service for Apache Spark. I log vengono esportati periodicamente in Logging, dove vengono conservati dopo l'eliminazione del cluster o il completamento del carico di lavoro.
Metriche di Managed Service for Apache Spark
Le metriche di cluster e job Managed Service for Apache Spark, con il prefisso dataproc.googleapis.com/, sono costituite da dati di serie temporali che forniscono informazioni sul rendimento di un cluster, ad esempio l'utilizzo della CPU o lo stato del job. Le metriche
personalizzate di Managed Service for Apache Spark, con il prefisso
custom.googleapis.com/, includono le metriche emesse dai sistemi open source
in esecuzione sul cluster, come la metrica YARN running applications. Ottenere
informazioni sulle metriche di Managed Service for Apache Spark può aiutarti a configurare i
cluster in modo efficiente. La configurazione di avvisi basati su metriche può aiutarti a riconoscere e
rispondere rapidamente ai problemi.
Le metriche del cluster e dei job Managed Service for Apache Spark vengono raccolte per impostazione predefinita senza costi. La raccolta di metriche personalizzate è addebitata ai clienti. Puoi abilitare la raccolta di metriche personalizzate quando crei un cluster. La raccolta delle metriche Spark di Managed Service for Apache Spark è attivata per impostazione predefinita nei workload batch Spark.
Cloud Monitoring
Monitoring utilizza i metadati e le metriche del cluster, incluse le metriche HDFS, YARN, dei job e delle operazioni, per fornire visibilità su integrità, prestazioni e disponibilità dei cluster e dei job Managed Service for Apache Spark. Puoi utilizzare Monitoring per esplorare le metriche, aggiungere grafici, creare dashboard e avvisi.
Esplora metriche
Puoi utilizzare Esplora metriche per visualizzare le metriche di Managed Service for Apache Spark. Il cluster, il job e le metriche batch di Managed Service for Apache Spark
sono elencati nelle risorse
Cloud Managed Service for Apache Spark Cluster, Cloud
Managed Service for Apache Spark Job e Cloud Managed Service for Apache Spark
Batch. Le metriche personalizzate di Managed Service for Apache Spark sono elencate nella categoria Custom della risorsa VM Instances.
Grafici
Puoi utilizzare Metrics Explorer per creare grafici che visualizzano le metriche di Managed Service for Apache Spark.
Esempio: crei un grafico per visualizzare il numero di applicazioni Yarn attive in esecuzione sui tuoi cluster, quindi aggiungi un filtro per selezionare le metriche visualizzate in base al nome o alla regione del cluster.
Dashboard
Puoi creare dashboard per monitorare i cluster e i job Managed Service for Apache Spark utilizzando le metriche di più progetti e di diversi prodotti Cloud de Confiance . Puoi creare dashboard nella console Cloud de Confiance dalla pagina Panoramica delle dashboard facendo clic, creando e poi salvando un grafico dalla pagina Esplora metriche.
Avvisi
Puoi creare avvisi sulle metriche di Managed Service for Apache Sparkper ricevere una notifica tempestiva dei problemi relativi a cluster o job.