Monitorar clusters e jobs do Serviço Gerenciado para Apache Spark

Neste documento, discutimos ferramentas e técnicas que podem ser usadas para monitorar a integridade e o desempenho de clusters e jobs do Spark Gerenciado.

Interfaces da Web de código aberto

Muitos componentes de código aberto do cluster do Serviço Gerenciado para Apache Spark, como o Apache Hadoop e o Apache Spark, fornecem interfaces da Web. Essas interfaces podem ser usadas para monitorar os recursos do cluster e o desempenho do job. Por exemplo, é possível usar a UI do Resource Manager do YARN para visualizar a alocação de recursos do aplicativo YARN em um cluster do Serviço Gerenciado para Apache Spark.

Servidor de histórico persistente

As interfaces da Web de código aberto em execução em um cluster ficam disponíveis quando o cluster está em execução, mas são encerradas quando você exclui o cluster. Para ver os dados do cluster e do job depois que um cluster é excluído, crie um servidor de histórico persistente (PHS, na sigla em inglês).

Exemplo: você encontra um erro ou uma lentidão no job que quer analisar. Você interrompe ou exclui o cluster de jobs e, em seguida, visualiza e analisa os dados do histórico de jobs usando seu PHS.

Depois de criar um PHS, ative-o em um cluster do Serviço Gerenciado para Apache Spark ou em uma carga de trabalho em lote do Serviço Gerenciado para Apache Spark ao criar o cluster ou enviar a carga de trabalho em lote. Um PHS pode acessar dados de histórico de jobs executados em vários clusters, permitindo que você monitore jobs em um projeto em vez de monitorar interfaces separadas em execução em clusters diferentes.

Registros do Serviço Gerenciado para Apache Spark

O Serviço Gerenciado para Apache Spark coleta os registros gerados pelo Apache Hadoop, Spark, Hive, ZooKeeper e outros sistemas de código aberto em execução nos clusters e os envia para o Logging. Esses registros são agrupados com base na origem, o que permite selecionar e visualizar os registros de seu interesse: por exemplo, os registros do NodeManager do YARN e do Spark Executor gerados em um cluster são rotulados separadamente. Consulte os registros do Serviço Gerenciado para Apache Spark para mais informações sobre o conteúdo e as opções de registro do Serviço Gerenciado para Apache Spark.

Cloud Logging

O Logging é um sistema de gerenciamento de registros em tempo real totalmente gerenciado. Ele oferece armazenamento para registros ingeridos de serviços do Cloud de Confiance e ferramentas para pesquisar, filtrar e analisar registros em grande escala. Os clusters do Serviço Gerenciado para Apache Spark geram vários registros, incluindo registros do agente de serviço do Serviço Gerenciado para Apache Spark, registros de inicialização de cluster e registros de componentes de OSS, como registros do NodeManager do YARN.

A geração de registros é ativada por padrão nos clusters do Serviço Gerenciado para Apache Spark e nas cargas de trabalho em lote do Serviço Gerenciado para Apache Spark. Os registros são exportados periodicamente para o Logging, onde permanecem após a exclusão do cluster ou a conclusão da carga de trabalho.

Métricas do Serviço Gerenciado para Apache Spark

As métricas de cluster e job do Serviço Gerenciado para Apache Spark, com o prefixo dataproc.googleapis.com/, consistem em dados de séries temporais que fornecem insights sobre o desempenho de um cluster, como utilização da CPU ou status do job. As métricas personalizadas do Serviço Gerenciado para Apache Spark, prefixadas com custom.googleapis.com/, incluem métricas emitidas por sistemas de código aberto em execução no cluster, como a métrica running applications do YARN. Obter insight sobre as métricas do Serviço Gerenciado para Apache Spark pode ajudar você a configurar seus clusters de maneira eficiente. Configurar alertas com base em métricas pode ajudar você a reconhecer e responder a problemas rapidamente.

As métricas de cluster e job do Serviço Gerenciado para Apache Spark são coletadas por padrão sem custo financeiro. A coleta de métricas personalizadas é cobrada dos clientes. É possível ativar a coleta de métricas personalizadas ao criar um cluster. A coleta de métricas do Spark do Serviço Gerenciado para Apache Spark é ativada por padrão em cargas de trabalho em lote do Spark.

Cloud Monitoring

O Monitoring usa metadados e métricas de cluster, incluindo métricas de HDFS, YARN, jobs e operações, para fornecer visibilidade sobre a integridade, o desempenho e a disponibilidade de clusters e jobs do Serviço Gerenciado para Apache Spark. Use o Monitoring para analisar métricas, adicionar gráficos, criar painéis e gerar alertas.

Metrics Explorer

Use o Metrics Explorer para conferir as métricas do Serviço Gerenciado para Apache Spark. As métricas de cluster, job e lote do Serviço Gerenciado para Apache Spark estão listadas nos recursos Cloud Managed Service for Apache Spark Cluster, Cloud Managed Service for Apache Spark Job e Cloud Managed Service for Apache Spark Batch. As métricas personalizadas do Serviço Gerenciado para Apache Spark estão listadas no recurso VM Instances, categoria Custom.

Gráficos

Use o Metrics Explorer para criar gráficos que mostram as métricas do Serviço Gerenciado para Apache Spark.

Exemplo: você cria um gráfico para ver o número de aplicativos Yarn ativos em execução nos clusters e, em seguida, adiciona um filtro para selecionar as métricas visualizadas por nome ou região do cluster.

Painéis

É possível criar painéis para monitorar clusters e jobs do Serviço Gerenciado para Apache Spark usando métricas de vários projetos e diferentes produtos do Cloud de Confiance . É possível criar painéis no console do Cloud de Confiance na página Visão geral dos painéis. Para isso, clique, crie e salve um gráfico na página Metrics Explorer.

Alertas

É possível criar alertas de métricas do Serviço Gerenciado para Apache Spark para receber avisos oportunos sobre problemas de cluster ou job.

A seguir