En este documento, se analizan las herramientas y técnicas que puedes usar para supervisar el estado y el rendimiento de los clústeres y trabajos de Managed Spark.
Interfaces web de código abierto
Muchos componentes de código abierto de clústeres de Managed Service para Apache Spark, como Apache Hadoop y Apache Spark, proporcionan interfaces web. Estas interfaces se pueden usar para supervisar los recursos del clúster y el rendimiento de los trabajos. Por ejemplo, puedes usar la IU del administrador de recursos de YARN para ver la asignación de recursos de la aplicación de YARN en un clúster de Managed Service para Apache Spark.
Servidor de historial persistente
Las interfaces web de código abierto que se ejecutan en un clúster están disponibles cuando este está en ejecución, pero finalizan cuando lo borras. Para ver los datos del clúster y del trabajo después de borrar un clúster, puedes crear un servidor de historial persistente (PHS).
Ejemplo: Te encuentras con un error o una ralentización del trabajo que quieres analizar. Detienes o borras el clúster de trabajos y, luego, visualizas y analizas los datos del historial de trabajos con tu PHS.
Después de crear un PHS, lo habilitas en un clúster de Managed Service para Apache Spark o en una carga de trabajo por lotes de Managed Service para Apache Spark cuando creas el clúster o envías la carga de trabajo por lotes. Un PHS puede acceder a los datos del historial de los trabajos que se ejecutan en varios clústeres, lo que te permite supervisar los trabajos en un proyecto en lugar de supervisar IU independientes que se ejecutan en clústeres diferentes.
Registros de Managed Service para Apache Spark
Managed Service para Apache Spark recopila los registros que generan Apache Hadoop, Spark, Hive, ZooKeeper y otros sistemas de código abierto que se ejecutan en tus clústeres, y los envía a Logging. Estos registros se agrupan según su origen, lo que te permite seleccionar y ver los registros que te interesan: por ejemplo, los registros de NodeManager de YARN y Spark Executor generados en un clúster se etiquetan por separado. Consulta los registros de Managed Service para Apache Spark para obtener más información sobre el contenido y las opciones de los registros de Managed Service para Apache Spark.
Cloud Logging
Logging es un sistema de administración de registros en tiempo real completamente administrado. Proporciona almacenamiento para los registros transferidos desde los servicios de Cloud de Confiance y herramientas para buscar, filtrar y analizar registros a gran escala. Los clústeres de Managed Service para Apache Spark generan varios registros, incluidos los del agente de servicio de Managed Service para Apache Spark, los de inicio del clúster y los de componentes de OSS, como los de YARN NodeManager.
El registro está habilitado de forma predeterminada en los clústeres de Managed Service para Apache Spark y en las cargas de trabajo por lotes de Managed Service para Apache Spark. Los registros se exportan de forma periódica a Logging, donde persisten después de que se borra el clúster o se completa la carga de trabajo.
Métricas de Managed Service para Apache Spark
Las métricas de trabajos y clústeres de Managed Service para Apache Spark,
con el prefijo dataproc.googleapis.com/, consisten en datos de series temporales que
proporcionan estadísticas sobre el rendimiento de un clúster, como el uso de CPU o
el estado del trabajo. Las métricas personalizadas de Managed Service para Apache Spark, con el prefijo custom.googleapis.com/, incluyen métricas emitidas por sistemas de código abierto que se ejecutan en el clúster, como la métrica running applications de YARN. Obtener
información sobre las métricas de Managed Service para Apache Spark puede ayudarte a configurar tus
clústeres de manera eficiente. Configurar alertas basadas en métricas puede ayudarte a reconocer
y responder a los problemas con rapidez.
Las métricas de clústeres y trabajos de Managed Service para Apache Spark se recopilan de forma predeterminada sin cargo. La recopilación de métricas personalizadas se cobra a los clientes. Puedes habilitar la recopilación de métricas personalizadas cuando creas un clúster. La recopilación de métricas de Spark de Managed Service para Apache Spark está habilitada de forma predeterminada en las cargas de trabajo por lotes de Spark.
Cloud Monitoring
Monitoring usa metadatos y métricas del clúster, incluidas las métricas de HDFS, YARN, trabajos y operaciones, para proporcionar visibilidad sobre el estado, el rendimiento y la disponibilidad de los clústeres y trabajos de Managed Service para Apache Spark. Puedes usar Monitoring para explorar métricas, agregar gráficos, crear paneles y generar alertas.
Explorador de métricas
Puedes usar el Explorador de métricas
para ver las métricas de Managed Service para Apache Spark. Las métricas de clúster, trabajo y lote de Managed Service para Apache Spark
se enumeran en los recursos Cloud Managed Service for Apache Spark Cluster, Cloud
Managed Service for Apache Spark Job y Cloud Managed Service for Apache Spark
Batch. Las métricas personalizadas de Managed Service para Apache Spark se enumeran en
el recurso VM Instances, categoría Custom.
Gráficos
Puedes usar el Explorador de métricas para crear gráficos que visualicen las métricas de Managed Service para Apache Spark.
Por ejemplo, puedes crear un gráfico para ver la cantidad de aplicaciones de Yarn activas que se ejecutan en tus clústeres y, luego, agregar un filtro para seleccionar las métricas visualizadas por nombre de clúster o región.
Paneles
Puedes crear paneles para supervisar los clústeres y trabajos de Managed Service para Apache Spark con métricas de varios proyectos y diferentes productos de Cloud de Confiance . Puedes crear paneles en la consola de Cloud de Confiance desde la página Descripción general de los paneles. Para ello, haz clic en un gráfico, créalo y, luego, guárdalo desde la página Explorador de métricas.
Alertas
Puedes crear alertas de métricas de Managed Service para Apache Spark para recibir avisos oportunos sobre problemas de clústeres o trabajos.