Metriche di Cloud Storage FUSE

Le metriche di Cloud Storage FUSE ti aiutano a monitorare continuamente le prestazioni, identificare potenziali colli di bottiglia che possono influire su throughput e latenza e risolvere rapidamente i problemi man mano che si verificano. Cloud Storage fornisce metriche approfondite per Cloud Storage FUSE quando utilizzi Cloud Storage FUSE per montare i bucket come file system. Questo documento fornisce una panoramica di queste metriche e descrive come raccogliere, esportare e analizzare i dati delle metriche.

Metodi di raccolta delle metriche

A scopo diagnostico, puoi raccogliere metriche in background quando utilizzi Cloud Storage FUSE. Cloud Storage offre due modi per raccogliere, esportare e analizzare le metriche:

  • Strumento di esportazione di Cloud Monitoring: le metriche vengono raccolte ed esportate direttamente da Cloud Storage FUSE a Cloud Monitoring. Le metriche esportate possono quindi essere visualizzate nella console Cloud de Confiance .

  • Porta Prometheus: le metriche vengono esportate nel formato basato su testo delle metriche Prometheus in una porta Prometheus specificata, ad esempio http://HOST:PROMETHEUS_PORT/metrics, utilizzando il toolkit di monitoraggio e avviso open source Prometheus. Le metriche possono quindi essere visualizzate come output utilizzando un URL client come curl http://HOST:PROMETHEUS_PORT/metrics

Prezzi

Le metriche di Cloud Storage FUSE vengono addebitate in base all'utilizzo. Per saperne di più sui prezzi, consulta Prezzi di Google Cloud Observability.

Utilizza l'esportatore di Cloud Monitoring

Per utilizzare l'esportatore di Cloud Monitoring per esportare, raccogliere e analizzare le metriche da Cloud Storage FUSE a Cloud Monitoring, devi completare i passaggi descritti nelle sezioni seguenti.

Ottieni i ruoli richiesti

Per ottenere le autorizzazioni necessarie per utilizzare l'esportatore di Cloud Monitoring, chiedi all'amministratore di concederti il ruolo IAM Monitoring Metric Writer (roles/monitoring.metricWriter) nel progetto. Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Prima di iniziare

  1. Abilita l'API Cloud Monitoring.

  2. Abilita l'API Storage di Cloud Storage.

    Vai all'API Cloud Storage

Configura l'esportatore di Cloud Monitoring

Per configurare l'esportatore di Cloud Monitoring in modo da raccogliere, esportare e analizzare le metriche di Cloud Storage FUSE, specifica un valore intero in secondi utilizzando il campo metrics:cloud-metrics-export-interval-secs con un file di configurazione di Cloud Storage FUSE o l'opzione --cloud-metrics-export-interval-secs con l'interfaccia a riga di comando di Cloud Storage FUSE.

Visualizza le metriche utilizzando la console Cloud de Confiance

Per visualizzare le metriche di Cloud Storage FUSE utilizzando la console Cloud de Confiance , segui queste istruzioni:

  1. Nella console Cloud de Confiance , vai alla pagina Esplora metriche.

    Vai a Esplora metriche

  2. Seleziona il progetto per cui vuoi visualizzare le metriche.

  3. Dal menu a discesa Metrica, fai clic su Seleziona una metrica.

  4. Seleziona il tipo di risorsa:

    • Per le VM di Compute Engine, seleziona Istanza VM > Metriche personalizzate.
    • Per i pod GKE, seleziona Pod Kubernetes > Gcsfusecsi.

    Inserisci il nome della metrica che vuoi visualizzare.

    Per scoprire quali metriche Cloud Storage offre per Cloud Storage FUSE, consulta Metriche disponibili.

Utilizza Prometheus per esportare, raccogliere e analizzare le metriche

Le sezioni seguenti descrivono come configurare e utilizzare Prometheus per esportare, raccogliere e analizzare le metriche di Cloud Storage FUSE.

Configura Prometheus

Per configurare Prometheus, segui le istruzioni riportate in Configurazione di Prometheus per Ops Agent.

Utilizza Prometheus

  1. Specifica la porta HTTP in cui vuoi esportare le metriche utilizzando il campo prometheus-port in un file di configurazione di Cloud Storage FUSE o l'opzione --prometheus-port gcsfuse utilizzando l'interfaccia a riga di comando gcsfuse.

  2. Convalida l'endpoint delle metriche Prometheus utilizzando il seguente comando:

     curl https://localhost:8080/metrics

    In caso di esito positivo, il comando restituisce un output che contiene un testo simile al seguente:

    # HELP file_cache_read_bytes_count The cumulative number of bytes read from file cache along with read type - Sequential/Random
# TYPE file_cache_read_bytes_count counter
file_cache_read_bytes_count{read_type="Random"} 0
file_cache_read_bytes_count{read_type="Sequential"} 80
# HELP file_cache_read_count Specifies the number of read requests made via file cache along with type - Sequential/Random and cache hit - true/false
# TYPE file_cache_read_count counter
file_cache_read_count{cache_hit="false",read_type="Random"} 215
file_cache_read_count{cache_hit="false",read_type="Sequential"} 5
# HELP file_cache_read_latencies The cumulative distribution of the file cache read latencies along with cache hit - true/false
# TYPE file_cache_read_latencies histogram
file_cache_read_latencies_bucket{cache_hit="false",le="1"} 215
file_cache_read_latencies_bucket{cache_hit="false",le="2"} 216
file_cache_read_latencies_bucket{cache_hit="false",le="3"} 216
file_cache_read_latencies_bucket{cache_hit="false",le="4"} 216
file_cache_read_latencies_bucket{cache_hit="false",le="5"} 216
...
file_cache_read_latencies_sum{cache_hit="false"} 483.62783500000023
file_cache_read_latencies_count{cache_hit="false"} 220
# HELP fs_ops_count The cumulative number of ops processed by the file system.
# TYPE fs_ops_count counter
fs_ops_count{fs_op="FlushFile"} 9
fs_ops_count{fs_op="GetInodeAttributes"} 91
fs_ops_count{fs_op="LookUpInode"} 584
fs_ops_count{fs_op="OpenDir"} 122
fs_ops_count{fs_op="OpenFile"} 9
fs_ops_count{fs_op="ReadDir"} 184
fs_ops_count{fs_op="ReadFile"} 220
fs_ops_count{fs_op="ReleaseDirHandle"} 122
fs_ops_count{fs_op="ReleaseFileHandle"} 9
fs_ops_count{fs_op="StatFS"} 10
# HELP fs_ops_error_count The cumulative number of errors generated by file system operations
# TYPE fs_ops_error_count counter
fs_ops_error_count{fs_error_category="NOT_IMPLEMENTED",fs_op="GetXattr"} 1
fs_ops_error_count{fs_error_category="NOT_IMPLEMENTED",fs_op="ListXattr"} 1
fs_ops_error_count{fs_error_category="INTERRUPT_ERROR",fs_op="LookUpInode"} 58
fs_ops_error_count{fs_error_category="NO_FILE_OR_DIR",fs_op="LookUpInode"} 6
# HELP fs_ops_latency The cumulative distribution of file system operation latencies
# TYPE fs_ops_latency histogram
fs_ops_latency_bucket{fs_op="FlushFile",le="1"} 9
fs_ops_latency_bucket{fs_op="FlushFile",le="2"} 9
fs_ops_latency_bucket{fs_op="FlushFile",le="3"} 9
fs_ops_latency_bucket{fs_op="FlushFile",le="4"} 9
fs_ops_latency_bucket{fs_op="FlushFile",le="5"} 9
...
fs_ops_latency_sum{fs_op="FlushFile"} 0.28800000000000003
fs_ops_latency_count{fs_op="FlushFile"} 9
# HELP gcs_download_bytes_count The cumulative number of bytes downloaded from Cloud Storage along with type - Sequential/Random
# TYPE gcs_download_bytes_count counter
gcs_download_bytes_count{read_type="Sequential"} 2.0971528e+08
# HELP gcs_read_count Specifies the number of Cloud Storage reads made along with type - Sequential/Random
# TYPE gcs_read_count counter
gcs_read_count{read_type="Sequential"} 5

Metriche disponibili

Cloud Storage FUSE fornisce le seguenti metriche.

Metriche del file system

Le metriche del file system forniscono insight sulle operazioni eseguite sul bucket montato, ad esempio la latenza e i tassi di errore.

Nome metrica Descrizione metrica
fs/ops_count Il numero di operazioni elaborate dal file system. Questa metrica consente il raggruppamento per op_type per ottenere i conteggi per le singole operazioni.
fs/ops_error_count Il numero di errori generati dalle operazioni del file system. Questa metrica può essere raggruppata per op_type e error_category. Ogni errore è mappato a un error_category in una relazione many-to-one.
fs/ops_latency La distribuzione cumulativa delle latenze delle operazioni del file system. Questa metrica può essere raggruppata per op_type.

Metriche di Cloud Storage

Le metriche di Cloud Storage forniscono insight sulle interazioni tra Cloud Storage FUSE e Cloud Storage.

Nome metrica Descrizione metrica
gcs/download_bytes_count Il numero di byte scaricati da Cloud Storage insieme al tipo di lettura. Il tipo di lettura specifica letture sequenziali, casuali o parallele.
gcs/read_bytes_count Il numero di byte letti dagli oggetti Cloud Storage, che è diverso da download_bytes_count. Ad esempio, vengono recuperati più dati da Cloud Storage di quelli effettivamente utilizzati dall'applicazione.
gcs/read_count Il numero di letture da Cloud Storage e il tipo di lettura, sequenziale, casuale o parallela.
gcs/reader_count Il numero di lettori di oggetti Cloud Storage aperti o chiusi. I dati di questa metrica sono raggruppati per tipo di metodo di input/output (I/O), ad esempio opened o closed.
gcs/request_count Il numero di richieste Cloud Storage elaborate.
gcs/request_latencies La distribuzione totale delle latenze delle richieste di Cloud Storage.
gcs/retry_count Il numero di richieste di nuovo tentativo inviate a Cloud Storage. Questa metrica può essere raggruppata per retry_error_category, che specifica la categoria dell'errore che ha attivato un nuovo tentativo.

Metriche della cache dei file

Le metriche della cache dei file forniscono insight sulle prestazioni e sul comportamento delle operazioni di memorizzazione nella cache dei file di Cloud Storage FUSE.

Nome metrica Descrizione metrica
file_cache/read_bytes_count Il numero di byte letti dalla cache dei file e il tipo di lettura, sequenziale o casuale.
file_cache/read_latencies La distribuzione totale delle latenze di lettura della cache dei file e del successo della cache, true o false.
file_cache/read_count Il numero di richieste di lettura effettuate utilizzando la cache dei file, il tipo di richiesta, ad esempio sequenziale o casuale, e l'esito positivo della cache, vero o falso.

Passaggi successivi