Métricas de Cloud Storage FUSE

Las métricas de Cloud Storage FUSE te ayudan a supervisar el rendimiento de forma continua, identificar posibles cuellos de botella que pueden afectar la capacidad de procesamiento y la latencia, y abordar los problemas con rapidez a medida que ocurren. Cloud Storage proporciona métricas detalladas para Cloud Storage FUSE cuando usas Cloud Storage FUSE para activar tus buckets como sistemas de archivos. En este documento, se proporciona una descripción general de estas métricas y se explica cómo recopilar, exportar y analizar los datos de las métricas.

Métodos de recopilación de métricas

Con fines de diagnóstico, puedes recopilar métricas en segundo plano cuando usas Cloud Storage FUSE. Cloud Storage ofrece dos formas de recopilar, exportar y analizar métricas:

  • Exportador de Cloud Monitoring: Las métricas se recopilan y exportan directamente de Cloud Storage FUSE a Cloud Monitoring. Luego, las métricas exportadas se pueden ver en la consola de Cloud de Confiance .

  • Puerto de Prometheus: Las métricas se exportan en el formato basado en texto de las métricas de Prometheus en un puerto de Prometheus especificado, como http://HOST:PROMETHEUS_PORT/metrics, con el kit de herramientas de supervisión y alertas de código abierto de Prometheus. Luego, las métricas se pueden ver como un resultado con una URL de cliente, como curl http://HOST:PROMETHEUS_PORT/metrics

Precios

Las métricas de Cloud Storage FUSE se cobran según el uso. Para obtener más información sobre los precios, consulta Precios de Google Cloud Observability.

Usa el exportador de Cloud Monitoring

Para usar el exportador de Cloud Monitoring con el objetivo de exportar, recopilar y analizar tus métricas de Cloud Storage FUSE a Cloud Monitoring, debes completar los pasos que se describen en las siguientes secciones.

Obtén las funciones necesarias

Para obtener los permisos que necesitas para usar el exportador de Cloud Monitoring, pídele a tu administrador que te otorgue el rol de IAM de escritor de métricas de Monitoring (roles/monitoring.metricWriter) en tu proyecto. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.

Antes de comenzar

  1. Habilita la API de Cloud Monitoring.

  2. Habilita la API de Cloud Storage.

    Ir a la API de Cloud Storage

Configura el exportador de Cloud Monitoring

Para configurar el exportador de Cloud Monitoring para recopilar, exportar y analizar las métricas de Cloud Storage FUSE, especifica un valor entero en segundos con el campo metrics:cloud-metrics-export-interval-secs con un archivo de configuración de Cloud Storage FUSE o la opción --cloud-metrics-export-interval-secs con la CLI de Cloud Storage FUSE.

Visualiza métricas con la consola de Cloud de Confiance

Para ver las métricas de Cloud Storage FUSE con la consola de Cloud de Confiance , sigue estas instrucciones:

  1. En la consola de Cloud de Confiance , accede a la página Explorador de métricas.

    Ir al Explorador de métricas

  2. Selecciona el proyecto del que quieres ver las métricas.

  3. En el menú desplegable Métrica, haz clic en Selecciona una métrica.

  4. Selecciona el tipo de recurso:

    • Para las VMs de Compute Engine, selecciona Instancia de VM > Métricas personalizadas.
    • Para los Pods de GKE, selecciona Pod de Kubernetes > Gcsfusecsi.

    Ingresa el nombre de la métrica que quieres ver.

    Para ver qué métricas ofrece Cloud Storage para Cloud Storage FUSE, consulta Métricas disponibles.

Usa Prometheus para exportar, recopilar y analizar métricas

En las siguientes secciones, se describe cómo configurar y usar Prometheus para exportar, recopilar y analizar las métricas de Cloud Storage FUSE.

Configura Prometheus

Para configurar Prometheus, sigue las instrucciones que se indican en Configura Prometheus para el Agente de operaciones.

Usa Prometheus

  1. Especifica el puerto HTTP al que deseas exportar las métricas con el campo prometheus-port en un archivo de configuración de Cloud Storage FUSE o la opción --prometheus-port gcsfuse con la CLI de gcsfuse.

  2. Valida el extremo de las métricas de Prometheus con el siguiente comando:

     curl https://localhost:8080/metrics

    Si se completa correctamente, el comando muestra un resultado que contiene un texto similar al siguiente:

    # HELP file_cache_read_bytes_count The cumulative number of bytes read from file cache along with read type - Sequential/Random
# TYPE file_cache_read_bytes_count counter
file_cache_read_bytes_count{read_type="Random"} 0
file_cache_read_bytes_count{read_type="Sequential"} 80
# HELP file_cache_read_count Specifies the number of read requests made via file cache along with type - Sequential/Random and cache hit - true/false
# TYPE file_cache_read_count counter
file_cache_read_count{cache_hit="false",read_type="Random"} 215
file_cache_read_count{cache_hit="false",read_type="Sequential"} 5
# HELP file_cache_read_latencies The cumulative distribution of the file cache read latencies along with cache hit - true/false
# TYPE file_cache_read_latencies histogram
file_cache_read_latencies_bucket{cache_hit="false",le="1"} 215
file_cache_read_latencies_bucket{cache_hit="false",le="2"} 216
file_cache_read_latencies_bucket{cache_hit="false",le="3"} 216
file_cache_read_latencies_bucket{cache_hit="false",le="4"} 216
file_cache_read_latencies_bucket{cache_hit="false",le="5"} 216
...
file_cache_read_latencies_sum{cache_hit="false"} 483.62783500000023
file_cache_read_latencies_count{cache_hit="false"} 220
# HELP fs_ops_count The cumulative number of ops processed by the file system.
# TYPE fs_ops_count counter
fs_ops_count{fs_op="FlushFile"} 9
fs_ops_count{fs_op="GetInodeAttributes"} 91
fs_ops_count{fs_op="LookUpInode"} 584
fs_ops_count{fs_op="OpenDir"} 122
fs_ops_count{fs_op="OpenFile"} 9
fs_ops_count{fs_op="ReadDir"} 184
fs_ops_count{fs_op="ReadFile"} 220
fs_ops_count{fs_op="ReleaseDirHandle"} 122
fs_ops_count{fs_op="ReleaseFileHandle"} 9
fs_ops_count{fs_op="StatFS"} 10
# HELP fs_ops_error_count The cumulative number of errors generated by file system operations
# TYPE fs_ops_error_count counter
fs_ops_error_count{fs_error_category="NOT_IMPLEMENTED",fs_op="GetXattr"} 1
fs_ops_error_count{fs_error_category="NOT_IMPLEMENTED",fs_op="ListXattr"} 1
fs_ops_error_count{fs_error_category="INTERRUPT_ERROR",fs_op="LookUpInode"} 58
fs_ops_error_count{fs_error_category="NO_FILE_OR_DIR",fs_op="LookUpInode"} 6
# HELP fs_ops_latency The cumulative distribution of file system operation latencies
# TYPE fs_ops_latency histogram
fs_ops_latency_bucket{fs_op="FlushFile",le="1"} 9
fs_ops_latency_bucket{fs_op="FlushFile",le="2"} 9
fs_ops_latency_bucket{fs_op="FlushFile",le="3"} 9
fs_ops_latency_bucket{fs_op="FlushFile",le="4"} 9
fs_ops_latency_bucket{fs_op="FlushFile",le="5"} 9
...
fs_ops_latency_sum{fs_op="FlushFile"} 0.28800000000000003
fs_ops_latency_count{fs_op="FlushFile"} 9
# HELP gcs_download_bytes_count The cumulative number of bytes downloaded from Cloud Storage along with type - Sequential/Random
# TYPE gcs_download_bytes_count counter
gcs_download_bytes_count{read_type="Sequential"} 2.0971528e+08
# HELP gcs_read_count Specifies the number of Cloud Storage reads made along with type - Sequential/Random
# TYPE gcs_read_count counter
gcs_read_count{read_type="Sequential"} 5

Métricas disponibles

Cloud Storage FUSE proporciona las siguientes métricas.

Métricas del sistema de archivos

Las métricas del sistema de archivos proporcionan información sobre las operaciones realizadas en el bucket activado, como la latencia y las tasas de error.

Nombre de la métrica Descripción de la métrica
fs/ops_count Es la cantidad de operaciones que procesa el sistema de archivos. Esta métrica permite agrupar por op_type para obtener recuentos de operaciones individuales.
fs/ops_error_count Es la cantidad de errores que generan las operaciones del sistema de archivos. Esta métrica se puede agrupar por op_type y error_category. Cada error se asigna a un error_category en una relación de varios a uno.
fs/ops_latency Es la distribución acumulativa de las latencias de las operaciones del sistema de archivos. Esta métrica se puede agrupar por op_type.

Métricas de Cloud Storage

Las métricas de Cloud Storage proporcionan información sobre las interacciones entre Cloud Storage FUSE y Cloud Storage.

Nombre de la métrica Descripción de la métrica
gcs/download_bytes_count Es la cantidad de bytes descargados de Cloud Storage junto con el tipo de lectura. El tipo de lectura especifica lecturas secuenciales, aleatorias o paralelas.
gcs/read_bytes_count Es la cantidad de bytes leídos de los objetos de Cloud Storage, que es diferente de download_bytes_count. Por ejemplo, se recuperan más datos de Cloud Storage de los que realmente usa la aplicación.
gcs/read_count La cantidad de lecturas de Cloud Storage y el tipo de lectura, ya sea secuencial, aleatoria o paralela.
gcs/reader_count Es la cantidad de lectores de objetos de Cloud Storage que se abren o cierran. Los datos de esta métrica se agrupan por el tipo de método de entrada/salida (E/S), como opened o closed.
gcs/request_count La cantidad de solicitudes de Cloud Storage procesadas.
gcs/request_latencies Es la distribución total de las latencias de las solicitudes de Cloud Storage.
gcs/retry_count Es la cantidad de solicitudes de reintento realizadas a Cloud Storage. Esta métrica se puede agrupar por retry_error_category, que especifica la categoría del error que activó un reintento.

Métricas de caché de archivos

Las métricas de caché de archivos proporcionan información sobre el rendimiento y el comportamiento de las operaciones de almacenamiento en caché de archivos de Cloud Storage FUSE.

Nombre de la métrica Descripción de la métrica
file_cache/read_bytes_count La cantidad de bytes leídos de la caché de archivos y el tipo de lectura, ya sea secuencial o aleatoria.
file_cache/read_latencies Es la distribución total de las latencias de lectura de la caché de archivos y el acierto de caché, ya sea verdadero o falso.
file_cache/read_count La cantidad de solicitudes de lectura realizadas con la caché de archivos, el tipo de solicitud, como secuencial o aleatoria, y el acierto de caché, ya sea verdadero o falso.

¿Qué sigue?