Métricas do Cloud Storage FUSE

As métricas do Cloud Storage FUSE ajudam a monitorar continuamente o desempenho, identificar possíveis gargalos que podem afetar a capacidade de processamento e a latência e resolver problemas rapidamente à medida que ocorrem. O Cloud Storage fornece métricas detalhadas para o Cloud Storage FUSE quando você o usa para montar seus buckets como sistemas de arquivos. Neste documento, apresentamos uma visão geral dessas métricas e descrevemos como coletar, exportar e analisar dados de métricas.

Métodos de coleta de métricas

Para fins de diagnóstico, é possível coletar métricas em segundo plano ao usar o Cloud Storage FUSE. O Cloud Storage oferece duas maneiras de coletar, exportar e analisar métricas:

  • Exportador do Cloud Monitoring: as métricas são coletadas e exportadas diretamente do Cloud Storage FUSE para o Cloud Monitoring. As métricas exportadas podem ser visualizadas no console do Cloud de Confiance .

  • Porta do Prometheus: as métricas são exportadas no formato baseado em texto de métricas do Prometheus em uma porta especificada, como http://Host:prometheus-port/metrics, usando o kit de ferramentas de monitoramento e alerta de código aberto do Prometheus. As métricas podem ser visualizadas como uma saída usando um URL de cliente, como curl http://Host:prometheus-port/metrics.

Preços

As métricas do Cloud Storage FUSE são cobradas com base no uso. Para mais informações sobre preços, consulte Preços do Google Cloud Observability.

Usar o exportador do Cloud Monitoring

Para usar o exportador do Cloud Monitoring para exportar, coletar e analisar suas métricas do Cloud Storage FUSE para o Cloud Monitoring, conclua as etapas descritas nas seções a seguir.

Acessar os papéis necessários

Para receber as permissões necessárias para usar o exportador do Cloud Monitoring, peça ao administrador para conceder a você o papel do IAM de Gravador de métricas do Monitoring (roles/monitoring.metricWriter) no projeto. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

Antes de começar

  1. Ative a API Cloud Monitoring.

  2. Ative a API Storage do Cloud Storage.

    Acessar a API Cloud Storage

Configurar o exportador do Cloud Monitoring

Para configurar o exportador do Cloud Monitoring para coletar, exportar e analisar as métricas do Cloud Storage FUSE, especifique um valor inteiro em segundos usando o campo metrics:cloud-metrics-export-interval-secs com um arquivo de configuração do Cloud Storage FUSE ou a opção --cloud-metrics-export-interval-secs com a CLI do Cloud Storage FUSE.

Ver métricas usando o console do Cloud de Confiance

Para conferir as métricas do Cloud Storage FUSE usando o console do Cloud de Confiance , siga estas instruções:

  1. No console do Cloud de Confiance , acesse a página do Metrics Explorer.

    Acesse o Metrics Explorer

  2. Selecione o projeto com as métricas que você quer ver.

  3. No menu suspenso Métrica, clique em Selecionar uma métrica.

  4. Selecione o tipo de recurso:

    • Para VMs do Compute Engine, selecione Instância de VM > Métricas personalizadas.
    • Para pods do GKE, selecione Pod do Kubernetes > Gcsfusecsi.

    Insira o nome da métrica que você quer visualizar.

    Para saber quais métricas o Cloud Storage oferece para o Cloud Storage FUSE, consulte Métricas disponíveis.

Usar o Prometheus para exportar, coletar e analisar métricas

As seções a seguir descrevem como configurar e usar o Prometheus para exportar, coletar e analisar métricas do Cloud Storage FUSE.

Configurar o Prometheus

Para configurar o Prometheus, siga as instruções em Como configurar o Prometheus para o Agente de Operações.

Usar o Prometheus

  1. Especifique a porta HTTP para exportar métricas usando o campo prometheus-port em um arquivo de configuração do Cloud Storage FUSE ou a opção --prometheus-port gcsfuse usando a CLI gcsfuse.

  2. Valide o endpoint de métricas do Prometheus usando o seguinte comando:

     curl https://localhost:8080/metrics

    Se bem-sucedido, o comando vai retornar uma saída com um texto semelhante ao seguinte:

    # HELP file_cache_read_bytes_count The cumulative number of bytes read from file cache along with read type - Sequential/Random
# TYPE file_cache_read_bytes_count counter
file_cache_read_bytes_count{read_type="Random"} 0
file_cache_read_bytes_count{read_type="Sequential"} 80
# HELP file_cache_read_count Specifies the number of read requests made via file cache along with type - Sequential/Random and cache hit - true/false
# TYPE file_cache_read_count counter
file_cache_read_count{cache_hit="false",read_type="Random"} 215
file_cache_read_count{cache_hit="false",read_type="Sequential"} 5
# HELP file_cache_read_latencies The cumulative distribution of the file cache read latencies along with cache hit - true/false
# TYPE file_cache_read_latencies histogram
file_cache_read_latencies_bucket{cache_hit="false",le="1"} 215
file_cache_read_latencies_bucket{cache_hit="false",le="2"} 216
file_cache_read_latencies_bucket{cache_hit="false",le="3"} 216
file_cache_read_latencies_bucket{cache_hit="false",le="4"} 216
file_cache_read_latencies_bucket{cache_hit="false",le="5"} 216
...
file_cache_read_latencies_sum{cache_hit="false"} 483.62783500000023
file_cache_read_latencies_count{cache_hit="false"} 220
# HELP fs_ops_count The cumulative number of ops processed by the file system.
# TYPE fs_ops_count counter
fs_ops_count{fs_op="FlushFile"} 9
fs_ops_count{fs_op="GetInodeAttributes"} 91
fs_ops_count{fs_op="LookUpInode"} 584
fs_ops_count{fs_op="OpenDir"} 122
fs_ops_count{fs_op="OpenFile"} 9
fs_ops_count{fs_op="ReadDir"} 184
fs_ops_count{fs_op="ReadFile"} 220
fs_ops_count{fs_op="ReleaseDirHandle"} 122
fs_ops_count{fs_op="ReleaseFileHandle"} 9
fs_ops_count{fs_op="StatFS"} 10
# HELP fs_ops_error_count The cumulative number of errors generated by file system operations
# TYPE fs_ops_error_count counter
fs_ops_error_count{fs_error_category="NOT_IMPLEMENTED",fs_op="GetXattr"} 1
fs_ops_error_count{fs_error_category="NOT_IMPLEMENTED",fs_op="ListXattr"} 1
fs_ops_error_count{fs_error_category="INTERRUPT_ERROR",fs_op="LookUpInode"} 58
fs_ops_error_count{fs_error_category="NO_FILE_OR_DIR",fs_op="LookUpInode"} 6
# HELP fs_ops_latency The cumulative distribution of file system operation latencies
# TYPE fs_ops_latency histogram
fs_ops_latency_bucket{fs_op="FlushFile",le="1"} 9
fs_ops_latency_bucket{fs_op="FlushFile",le="2"} 9
fs_ops_latency_bucket{fs_op="FlushFile",le="3"} 9
fs_ops_latency_bucket{fs_op="FlushFile",le="4"} 9
fs_ops_latency_bucket{fs_op="FlushFile",le="5"} 9
...
fs_ops_latency_sum{fs_op="FlushFile"} 0.28800000000000003
fs_ops_latency_count{fs_op="FlushFile"} 9
# HELP gcs_download_bytes_count The cumulative number of bytes downloaded from Cloud Storage along with type - Sequential/Random
# TYPE gcs_download_bytes_count counter
gcs_download_bytes_count{read_type="Sequential"} 2.0971528e+08
# HELP gcs_read_count Specifies the number of Cloud Storage reads made along with type - Sequential/Random
# TYPE gcs_read_count counter
gcs_read_count{read_type="Sequential"} 5

Métricas disponíveis

O Cloud Storage FUSE fornece as métricas a seguir.

Métricas do sistema de arquivos

As métricas do sistema de arquivos fornecem insights sobre as operações realizadas no bucket montado, como latência e taxas de erro.

Nome da métrica Descrição da métrica
fs/ops_count O número de operações processadas pelo sistema de arquivos. Essa métrica permite o agrupamento por op_type para receber contagens de operações individuais.
fs/ops_error_count O número de erros gerados por operações do sistema de arquivos. Essa métrica pode ser agrupada por op_type e error_category. Cada erro é mapeado para um error_category em uma relação de muitos para um.
fs/ops_latency A distribuição cumulativa de latências de operação do sistema de arquivos. Essa métrica pode ser agrupada por op_type.

Métricas do Cloud Storage

As métricas do Cloud Storage fornecem insights sobre as interações entre o Cloud Storage FUSE e o Cloud Storage.

Nome da métrica Descrição da métrica
gcs/download_bytes_count O número de bytes baixados do Cloud Storage com o tipo de leitura. O tipo de leitura especifica leituras sequenciais, aleatórias ou paralelas.
gcs/read_bytes_count O número de bytes lidos de objetos do Cloud Storage, que é diferente de download_bytes_count. Por exemplo, mais dados são buscados no Cloud Storage do que os realmente usados pelo aplicativo.
gcs/read_count O número de leituras do Cloud Storage e o tipo de leitura, que pode ser sequencial, aleatória ou paralela.
gcs/reader_count O número de leitores de objetos do Cloud Storage que são abertos ou fechados. Os dados dessa métrica são agrupados pelo tipo de método de entrada/saída (E/S), como opened ou closed.
gcs/request_count O número de solicitações processadas do Cloud Storage.
gcs/request_latencies A distribuição total das latências de solicitação do Cloud Storage.
gcs/retry_count O número de solicitações de repetição feitas ao Cloud Storage. Essa métrica pode ser agrupada por retry_error_category, que especifica a categoria do erro que acionou uma nova tentativa.

Métricas de cache de arquivos

As métricas de cache de arquivos fornecem insights sobre o desempenho e o comportamento das operações de armazenamento em cache de arquivos do Cloud Storage FUSE.

Nome da métrica Descrição da métrica
file_cache/read_bytes_count O número de bytes lidos do cache de arquivos e o tipo de leitura, sequencial ou aleatório.
file_cache/read_latencies A distribuição total das latências de leitura do cache de arquivos e da ocorrência em cache, que pode ser verdadeira ou falsa.
file_cache/read_count O número de solicitações de leitura feitas usando o cache de arquivos, o tipo de solicitação, como sequencial ou aleatória, e a ocorrência em cache, verdadeira ou falsa.

A seguir