Metriche di Cloud Storage FUSE

Questo documento fornisce una panoramica delle metriche per Cloud Storage FUSE e di come raccogliere, esportare e analizzare i dati delle metriche.

Cloud Storage fornisce metriche dettagliate per Cloud Storage FUSE quando utilizzi Cloud Storage FUSE per montare i bucket in Cloud Storage come file system. Le metriche possono aiutarti a monitorare continuamente le prestazioni, identificare potenziali colli di bottiglia che possono influire su throughput e latenza e risolvere rapidamente i problemi man mano che si verificano.

A scopo diagnostico, puoi raccogliere le metriche in background quando utilizzi Cloud Storage FUSE. Cloud Storage offre due modi per raccogliere, esportare e analizzare le metriche:

  • Esportatore Cloud Monitoring: le metriche vengono raccolte ed esportate direttamente da Cloud Storage FUSE a Cloud Monitoring. Le metriche esportate possono quindi essere visualizzate nella Cloud de Confiance console.

  • Porta Prometheus: le metriche vengono esportate nel formato di testo delle metriche Prometheus su una porta Prometheus specificata, ad esempio http://Host:prometheus-port/metrics utilizzando il toolkit di monitoraggio e avviso open source Prometheus. Le metriche possono essere visualizzate come output utilizzando un URL client come curl http://Host:prometheus-port/metrics

Prezzi

Le metriche di Cloud Storage FUSE vengono addebitate in base all'utilizzo. Per ulteriori informazioni sui prezzi, consulta la pagina Prezzi di Google Cloud Observability.

Utilizzare l'esportatore Cloud Monitoring

Per utilizzare l'esportatore Cloud Monitoring per esportare, raccogliere e analizzare le metriche da Cloud Storage FUSE a Cloud Monitoring, devi completare i passaggi descritti nelle sezioni seguenti.

Ottenere i ruoli richiesti

Per ottenere le autorizzazioni necessarie per utilizzare l'esportatore Cloud Monitoring, chiedi all'amministratore di concederti il ruolo IAM Monitoring Metric Writer (roles/monitoring.metricWriter) sul tuo progetto. Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Prima di iniziare

  1. Abilita l'API Cloud Monitoring.

  2. Attiva l'API Storage di Cloud Storage.

    Vai all'API Cloud Storage

Configurare l'esportatore Cloud Monitoring

Per configurare l'esportatore Cloud Monitoring per raccogliere, esportare e analizzare le metriche di Cloud Storage FUSE, specifica un valore intero in secondi utilizzando il metrics:cloud-metrics-export-interval-secs campo utilizzando un file di configurazione di Cloud Storage FUSE o l' --cloud-metrics-export-interval-secs opzione utilizzando la CLI di Cloud Storage FUSE.

Visualizzare le metriche utilizzando la Cloud de Confiance console

Per visualizzare le metriche di Cloud Storage FUSE utilizzando la Cloud de Confiance console, segui queste istruzioni:

  1. Nella Cloud de Confiance console, vai alla pagina Esplora metriche.

    Vai a Esplora metriche

  2. Seleziona il progetto per cui vuoi visualizzare le metriche.

  3. Dal menu a discesa Metrica, fai clic su Seleziona una metrica.

  4. Seleziona il tipo di risorsa:

    • Per le VM Compute Engine, seleziona Istanza VM > Metriche personalizzate.
    • Per i pod GKE, seleziona Pod Kubernetes > Gcsfusecsi.

    Inserisci il nome della metrica che vuoi visualizzare.

    Per vedere quali metriche offre Cloud Storage per Cloud Storage FUSE, consulta Metriche disponibili.

Utilizzare Prometheus per esportare, raccogliere e analizzare le metriche

Le sezioni seguenti descrivono come configurare e utilizzare Prometheus per esportare, raccogliere e analizzare le metriche di Cloud Storage FUSE.

Configurare Prometheus

Per configurare Prometheus, segui le istruzioni riportate in Configurare Prometheus per Ops Agent.

Utilizzare Prometheus

  1. Specifica la porta HTTP su cui vuoi esportare le metriche utilizzando il prometheus-port campo in un file di configurazione di Cloud Storage FUSE o l'opzione --prometheus-port gcsfuse utilizzando la gcsfuse CLI.

  2. Convalida l'endpoint delle metriche Prometheus utilizzando il comando seguente:

     curl https://localhost:8080/metrics

    Se l'operazione va a buon fine, il comando restituisce un output contenente testo simile al seguente:

    # HELP file_cache_read_bytes_count The cumulative number of bytes read from file cache along with read type - Sequential/Random
# TYPE file_cache_read_bytes_count counter
file_cache_read_bytes_count{read_type="Random"} 0
file_cache_read_bytes_count{read_type="Sequential"} 80
# HELP file_cache_read_count Specifies the number of read requests made via file cache along with type - Sequential/Random and cache hit - true/false
# TYPE file_cache_read_count counter
file_cache_read_count{cache_hit="false",read_type="Random"} 215
file_cache_read_count{cache_hit="false",read_type="Sequential"} 5
# HELP file_cache_read_latencies The cumulative distribution of the file cache read latencies along with cache hit - true/false
# TYPE file_cache_read_latencies histogram
file_cache_read_latencies_bucket{cache_hit="false",le="1"} 215
file_cache_read_latencies_bucket{cache_hit="false",le="2"} 216
file_cache_read_latencies_bucket{cache_hit="false",le="3"} 216
file_cache_read_latencies_bucket{cache_hit="false",le="4"} 216
file_cache_read_latencies_bucket{cache_hit="false",le="5"} 216
...
file_cache_read_latencies_sum{cache_hit="false"} 483.62783500000023
file_cache_read_latencies_count{cache_hit="false"} 220
# HELP fs_ops_count The cumulative number of ops processed by the file system.
# TYPE fs_ops_count counter
fs_ops_count{fs_op="FlushFile"} 9
fs_ops_count{fs_op="GetInodeAttributes"} 91
fs_ops_count{fs_op="LookUpInode"} 584
fs_ops_count{fs_op="OpenDir"} 122
fs_ops_count{fs_op="OpenFile"} 9
fs_ops_count{fs_op="ReadDir"} 184
fs_ops_count{fs_op="ReadFile"} 220
fs_ops_count{fs_op="ReleaseDirHandle"} 122
fs_ops_count{fs_op="ReleaseFileHandle"} 9
fs_ops_count{fs_op="StatFS"} 10
# HELP fs_ops_error_count The cumulative number of errors generated by file system operations
# TYPE fs_ops_error_count counter
fs_ops_error_count{fs_error_category="NOT_IMPLEMENTED",fs_op="GetXattr"} 1
fs_ops_error_count{fs_error_category="NOT_IMPLEMENTED",fs_op="ListXattr"} 1
fs_ops_error_count{fs_error_category="INTERRUPT_ERROR",fs_op="LookUpInode"} 58
fs_ops_error_count{fs_error_category="NO_FILE_OR_DIR",fs_op="LookUpInode"} 6
# HELP fs_ops_latency The cumulative distribution of file system operation latencies
# TYPE fs_ops_latency histogram
fs_ops_latency_bucket{fs_op="FlushFile",le="1"} 9
fs_ops_latency_bucket{fs_op="FlushFile",le="2"} 9
fs_ops_latency_bucket{fs_op="FlushFile",le="3"} 9
fs_ops_latency_bucket{fs_op="FlushFile",le="4"} 9
fs_ops_latency_bucket{fs_op="FlushFile",le="5"} 9
...
fs_ops_latency_sum{fs_op="FlushFile"} 0.28800000000000003
fs_ops_latency_count{fs_op="FlushFile"} 9
# HELP gcs_download_bytes_count The cumulative number of bytes downloaded from Cloud Storage along with type - Sequential/Random
# TYPE gcs_download_bytes_count counter
gcs_download_bytes_count{read_type="Sequential"} 2.0971528e+08
# HELP gcs_read_count Specifies the number of Cloud Storage reads made along with type - Sequential/Random
# TYPE gcs_read_count counter
gcs_read_count{read_type="Sequential"} 5

Metriche disponibili

Cloud Storage FUSE fornisce le seguenti metriche.

Metriche del file system

Le metriche del file system forniscono informazioni dettagliate sulle operazioni eseguite sul bucket montato, come la latenza e le percentuali di errore.

Nome metrica Descrizione metrica
fs/ops_count Il numero di operazioni elaborate dal file system. Questa metrica consente di raggruppare per op_type per ottenere i conteggi delle singole operazioni.
fs/ops_error_count Il numero di errori generati dalle operazioni del file system. Questa metrica può essere raggruppata per op_type e error_category. Ogni errore viene mappato a un error_category in una relazione molti-a-uno.
fs/ops_latency La distribuzione cumulativa delle latenze delle operazioni del file system. Questa metrica può essere raggruppata per op_type.

Metriche di Cloud Storage

Le metriche di Cloud Storage forniscono informazioni dettagliate sulle interazioni tra Cloud Storage FUSE e Cloud Storage.

Nome metrica Descrizione metrica
gcs/download_bytes_count Il numero di byte scaricati da Cloud Storage insieme al tipo di lettura. Il tipo di lettura specifica letture sequenziali, casuali o parallele.
gcs/read_bytes_count Il numero di byte letti dagli oggetti Cloud Storage, che è diverso da download_bytes_count. Ad esempio, vengono recuperati più dati da Cloud Storage di quelli effettivamente utilizzati dall' applicazione.
gcs/read_count Il numero di letture da Cloud Storage e il tipo di lettura, either sequenziale, casuale o parallela.
gcs/reader_count Il numero di lettori di oggetti Cloud Storage aperti o chiusi. I dati di questa metrica sono raggruppati per tipo di metodo di input/output (I/O) ad esempio opened o closed.
gcs/request_count Il numero di richieste Cloud Storage elaborate.
gcs/request_latencies La distribuzione totale delle latenze delle richieste Cloud Storage.
gcs/retry_count Il numero di richieste di ripetizione effettuate a Cloud Storage. Questa metrica può essere raggruppata per retry_error_category, che specifica la categoria dell'errore che ha attivato un nuovo tentativo.

Metriche della cache dei file

Le metriche della cache dei file forniscono informazioni dettagliate sul rendimento e sul comportamento delle operazioni di memorizzazione nella cache dei file di Cloud Storage FUSE.

Nome metrica Descrizione metrica
file_cache/read_bytes_count Il numero di byte letti dalla cache dei file e il tipo di lettura, sequenziale o casuale.
file_cache/read_latencies La distribuzione totale delle latenze di lettura della cache dei file e il successo della cache, true o false.
file_cache/read_count Il numero di richieste di lettura effettuate utilizzando la cache dei file, il tipo di richiesta, ad esempio sequenziale o casuale, e il successo della cache, true o false.

Passaggi successivi