Metrik Cloud Storage FUSE

Metrik Cloud Storage FUSE membantu Anda terus memantau performa, mengidentifikasi potensi bottleneck yang dapat memengaruhi throughput dan latensi, serta mengatasi masalah dengan cepat saat terjadi. Cloud Storage menyediakan metrik mendalam untuk Cloud Storage FUSE saat Anda menggunakan Cloud Storage FUSE untuk memasang bucket sebagai sistem file. Dokumen ini memberikan ringkasan tentang metrik ini dan menjelaskan cara mengumpulkan, mengekspor, dan menganalisis data metrik.

Metode pengumpulan metrik

Untuk tujuan diagnostik, Anda dapat mengumpulkan metrik di latar belakang saat menggunakan Cloud Storage FUSE. Cloud Storage menawarkan dua cara untuk mengumpulkan, mengekspor, dan menganalisis metrik:

  • Cloud Monitoring exporter: metrik dikumpulkan dan diekspor langsung dari Cloud Storage FUSE ke Cloud Monitoring. Metrik yang diekspor kemudian dapat dilihat di konsol Cloud de Confiance .

  • Port Prometheus: metrik diekspor dalam format berbasis teks metrik Prometheus di port Prometheus yang ditentukan seperti http://HOST:PROMETHEUS_PORT/metrics menggunakan toolkit pemantauan dan pemberitahuan open source Prometheus. Metrik kemudian dapat dilihat sebagai output menggunakan URL klien seperti curl http://HOST:PROMETHEUS_PORT/metrics

Harga

Metrik Cloud Storage FUSE dikenai biaya berdasarkan penggunaan Anda. Untuk mengetahui informasi selengkapnya tentang harga, lihat Harga Google Cloud Observability.

Menggunakan pengekspor Cloud Monitoring

Untuk menggunakan pengekspor Cloud Monitoring guna mengekspor, mengumpulkan, dan menganalisis metrik Anda dari Cloud Storage FUSE ke Cloud Monitoring, Anda harus menyelesaikan langkah-langkah yang diuraikan di bagian berikut.

Mendapatkan peran yang diperlukan

Untuk mendapatkan izin yang diperlukan guna menggunakan pengekspor Cloud Monitoring, minta administrator untuk memberi Anda peran IAM Monitoring Metric Writer (roles/monitoring.metricWriter) di project Anda. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Sebelum memulai

  1. Aktifkan Cloud Monitoring API.

  2. Aktifkan Cloud Storage API.

    Buka Cloud Storage API

Menyiapkan pengekspor Cloud Monitoring

Untuk menyiapkan pengekspor Cloud Monitoring agar dapat mengumpulkan, mengekspor, dan menganalisis metrik Cloud Storage FUSE, tentukan nilai bilangan bulat dalam detik menggunakan kolom metrics:cloud-metrics-export-interval-secs menggunakan file konfigurasi Cloud Storage FUSE atau opsi --cloud-metrics-export-interval-secs menggunakan CLI Cloud Storage FUSE.

Melihat metrik menggunakan konsol Cloud de Confiance

Untuk melihat metrik Cloud Storage FUSE menggunakan konsol Cloud de Confiance , gunakan petunjuk berikut:

  1. Di konsol Cloud de Confiance , buka halaman Metrics explorer.

    Buka Metrics Explorer

  2. Pilih project yang ingin Anda lihat metriknya.

  3. Dari menu drop-down Metrik, klik Pilih metrik.

  4. Pilih jenis resource:

    • Untuk VM Compute Engine, pilih VM Instance > Metrik kustom.
    • Untuk pod GKE, pilih Kubernetes Pod > Gcsfusecsi.

    Masukkan nama metrik yang ingin Anda lihat.

    Untuk melihat metrik yang ditawarkan Cloud Storage untuk Cloud Storage FUSE, lihat Metrik yang tersedia.

Menggunakan Prometheus untuk mengekspor, mengumpulkan, dan menganalisis metrik

Bagian berikut menjelaskan cara mengonfigurasi dan menggunakan Prometheus untuk mengekspor, mengumpulkan, dan menganalisis metrik Cloud Storage FUSE.

Mengonfigurasi Prometheus

Untuk mengonfigurasi Prometheus, ikuti petunjuk di Mengonfigurasi Prometheus untuk Agen Operasional.

Gunakan Prometheus

  1. Tentukan port HTTP yang ingin Anda gunakan untuk mengekspor metrik menggunakan kolom prometheus-port di file konfigurasi Cloud Storage FUSE atau opsi --prometheus-port gcsfuse menggunakan CLI gcsfuse.

  2. Validasi endpoint metrik Prometheus menggunakan perintah berikut:

     curl https://localhost:8080/metrics

    Jika berhasil, perintah akan menampilkan output yang berisi teks yang mirip dengan berikut ini:

    # HELP file_cache_read_bytes_count The cumulative number of bytes read from file cache along with read type - Sequential/Random
# TYPE file_cache_read_bytes_count counter
file_cache_read_bytes_count{read_type="Random"} 0
file_cache_read_bytes_count{read_type="Sequential"} 80
# HELP file_cache_read_count Specifies the number of read requests made via file cache along with type - Sequential/Random and cache hit - true/false
# TYPE file_cache_read_count counter
file_cache_read_count{cache_hit="false",read_type="Random"} 215
file_cache_read_count{cache_hit="false",read_type="Sequential"} 5
# HELP file_cache_read_latencies The cumulative distribution of the file cache read latencies along with cache hit - true/false
# TYPE file_cache_read_latencies histogram
file_cache_read_latencies_bucket{cache_hit="false",le="1"} 215
file_cache_read_latencies_bucket{cache_hit="false",le="2"} 216
file_cache_read_latencies_bucket{cache_hit="false",le="3"} 216
file_cache_read_latencies_bucket{cache_hit="false",le="4"} 216
file_cache_read_latencies_bucket{cache_hit="false",le="5"} 216
...
file_cache_read_latencies_sum{cache_hit="false"} 483.62783500000023
file_cache_read_latencies_count{cache_hit="false"} 220
# HELP fs_ops_count The cumulative number of ops processed by the file system.
# TYPE fs_ops_count counter
fs_ops_count{fs_op="FlushFile"} 9
fs_ops_count{fs_op="GetInodeAttributes"} 91
fs_ops_count{fs_op="LookUpInode"} 584
fs_ops_count{fs_op="OpenDir"} 122
fs_ops_count{fs_op="OpenFile"} 9
fs_ops_count{fs_op="ReadDir"} 184
fs_ops_count{fs_op="ReadFile"} 220
fs_ops_count{fs_op="ReleaseDirHandle"} 122
fs_ops_count{fs_op="ReleaseFileHandle"} 9
fs_ops_count{fs_op="StatFS"} 10
# HELP fs_ops_error_count The cumulative number of errors generated by file system operations
# TYPE fs_ops_error_count counter
fs_ops_error_count{fs_error_category="NOT_IMPLEMENTED",fs_op="GetXattr"} 1
fs_ops_error_count{fs_error_category="NOT_IMPLEMENTED",fs_op="ListXattr"} 1
fs_ops_error_count{fs_error_category="INTERRUPT_ERROR",fs_op="LookUpInode"} 58
fs_ops_error_count{fs_error_category="NO_FILE_OR_DIR",fs_op="LookUpInode"} 6
# HELP fs_ops_latency The cumulative distribution of file system operation latencies
# TYPE fs_ops_latency histogram
fs_ops_latency_bucket{fs_op="FlushFile",le="1"} 9
fs_ops_latency_bucket{fs_op="FlushFile",le="2"} 9
fs_ops_latency_bucket{fs_op="FlushFile",le="3"} 9
fs_ops_latency_bucket{fs_op="FlushFile",le="4"} 9
fs_ops_latency_bucket{fs_op="FlushFile",le="5"} 9
...
fs_ops_latency_sum{fs_op="FlushFile"} 0.28800000000000003
fs_ops_latency_count{fs_op="FlushFile"} 9
# HELP gcs_download_bytes_count The cumulative number of bytes downloaded from Cloud Storage along with type - Sequential/Random
# TYPE gcs_download_bytes_count counter
gcs_download_bytes_count{read_type="Sequential"} 2.0971528e+08
# HELP gcs_read_count Specifies the number of Cloud Storage reads made along with type - Sequential/Random
# TYPE gcs_read_count counter
gcs_read_count{read_type="Sequential"} 5

Metrik yang tersedia

Cloud Storage FUSE menyediakan metrik berikut.

Metrik sistem file

Metrik sistem file memberikan insight tentang operasi yang dilakukan pada bucket yang terpasang, seperti latensi dan tingkat error.

Nama metrik Deskripsi metrik
fs/ops_count Jumlah operasi yang diproses oleh sistem file. Metrik ini memungkinkan pengelompokan menurut op_type untuk mendapatkan jumlah operasi individual.
fs/ops_error_count Jumlah error yang dihasilkan oleh operasi sistem file. Metrik ini dapat dikelompokkan menurut op_type dan error_category. Setiap error dipetakan ke error_category dalam hubungan many-to-one.
fs/ops_latency Distribusi kumulatif latensi operasi sistem file. Metrik ini dapat dikelompokkan menurut op_type.

Metrik Cloud Storage

Metrik Cloud Storage memberikan insight tentang interaksi antara Cloud Storage FUSE dan Cloud Storage.

Nama metrik Deskripsi metrik
gcs/download_bytes_count Jumlah byte yang didownload dari Cloud Storage beserta jenis pembacaannya. Jenis operasi baca menentukan operasi baca berurutan, acak, atau paralel.
gcs/read_bytes_count Jumlah byte yang dibaca dari objek Cloud Storage, yang berbeda dengan download_bytes_count. Misalnya, lebih banyak data yang diambil dari Cloud Storage daripada yang sebenarnya digunakan oleh aplikasi.
gcs/read_count Jumlah pembacaan dari Cloud Storage dan jenis pembacaan, baik berurutan, acak, maupun paralel.
gcs/reader_count Jumlah pembaca objek Cloud Storage yang dibuka atau ditutup. Data metrik ini dikelompokkan berdasarkan jenis metode input/output (I/O) seperti opened atau closed.
gcs/request_count Jumlah permintaan Cloud Storage yang diproses.
gcs/request_latencies Total distribusi latensi permintaan Cloud Storage.
gcs/retry_count Jumlah permintaan percobaan ulang yang dikirim ke Cloud Storage. Metrik ini dapat dikelompokkan menurut retry_error_category yang menentukan kategori error yang memicu percobaan ulang.

Metrik cache file

Metrik cache file memberikan insight tentang performa dan perilaku operasi caching file Cloud Storage FUSE.

Nama metrik Deskripsi metrik
file_cache/read_bytes_count Jumlah byte yang dibaca dari cache file dan jenis pembacaan, baik berurutan maupun acak.
file_cache/read_latencies Total distribusi latensi baca cache file dan cache ditemukan, baik benar maupun salah.
file_cache/read_count Jumlah permintaan baca yang dibuat menggunakan cache file, jenis permintaan seperti berurutan atau acak, dan cache ditemukan, baik benar maupun salah.

Langkah berikutnya