Industri yang diatur seperti keuangan dan layanan kesehatan perlu memantau infrastruktur penting sambil menjaga data tetap berada dalam batas regional.
Software open source (OSS) dapat melengkapi dan memperluas fitur Cloud Monitoring dan Cloud Logging yang saat ini tersedia di Cloud de Confiance by S3NS. Contoh ini menunjukkan cara membuat solusi observabilitas berdaulat lengkap di Cloud de Confiance by S3NS dengan menambahkan alat open source yang banyak digunakan.
Arsitektur ini menggunakan OpenTelemetry, Grafana Mimir dan Grafana Loki (yang didukung oleh Cloud Storage), Grafana, dan Fluent Bit untuk membuat metrik, log, visualisasi, dan pemberitahuan untuk Google Kubernetes Engine (GKE) dan Compute Engine. Semua data tetap berada dalam region berdaulat, dan menghindari biaya SaaS pihak ketiga.
Sebaiknya Anda berlangganan catatan rilis yang relevan untuk mengetahui update mendatang terkait Cloud de Confiance by S3NS kemampuan observabilitas.
Anda dapat men-deploy solusi ini dengan mengikuti penerapan referensi yang disertakan dengan Terraform.
Audiens target
Solusi ini ditujukan untuk perusahaan yang perlu memantau workload di lingkungan berdaulat Cloud de Confiance by S3NS Solusi ini melayani pemangku kepentingan berikut:
- Engineer keandalan situs (SRE) dan pemimpin DevOps yang menyediakan penyimpanan metrik dan pipeline log otomatis yang skalabel untuk memantau kesehatan aplikasi dan melacak perjanjian tingkat layanan (SLA) sistem tanpa pemeliharaan pengekspor manual.
- Petugas kepatuhan dan keamanan yang memastikan log aplikasi, metrik, dan sinyal operasional sensitif tetap terlokalisasi dalam batas berdaulat dan menghindari aliran data SaaS non-berdaulat.
- Arsitek cloud perusahaan yang menetapkan fondasi OpenTelemetry standar yang membuka blokir migrasi cloud langsung dan menyediakan jalur transisi yang lancar ke pemantauan cloud pihak pertama.
Kemampuan inti
- Observabilitas berdaulat dan retensi data lokal: Kumpulkan, proses, dan simpan metrik aplikasi untuk log Compute Engine dan log GKE dalam infrastruktur berdaulat lokal menggunakan bucket Cloud Storage.
- Penyerapan standar OpenTelemetry: Gunakan pengumpul OpenTelemetry untuk scraping Prometheus berbasis pull dan OpenTelemetry Protocol (OTLP) berbasis push penyerapan metrik. Pendekatan ini mendukung kompatibilitas mendatang dengan Cloud Monitoring pihak pertama.
- Penyimpanan metrik yang didukung Cloud Storage dan skalabel: Konfigurasi Grafana Mimir dan Grafana Loki untuk menggunakan Cloud Storage sebagai backend blok metrik Prometheus yang dengan tingkat ketersediaan tinggi, hemat biaya.
- Visualisasi telemetri terpadu: Lihat dasbor Grafana yang telah dikonfigurasi sebelumnya yang menampilkan metrik aplikasi real-time, aliran log Grafana Loki, log stdout VM Compute Engine, dan mengintegrasikan sumber data Cloud Logging.
- Pipeline logging VM Compute Engine: Instal Fluent Bit dan
OpenTelemetry Collector Contrib secara otomatis di VM Compute Engine
untuk melakukan streaming log
systemd-journalddan stdout ke Grafana Loki, Cloud Logging, atau keduanya. Anda juga dapat mengumpulkan metrik host VM dan metrik aplikasi OTLP sintetis untuk diteruskan melalui mTLS ke Mimir. - Otomatisasi deployment yang fleksibel: Gunakan pendekatan Infrastruktur sebagai Kode (IaC) Terraform dan pengelolaan paket Kubernetes dengan Helm untuk penyiapan dan penghancuran lingkungan yang konsisten.
Arsitektur
Arsitektur ini menggunakan pengumpul OpenTelemetry, Grafana Mimir, Grafana Loki, kube-state-metrics, Fluent Bit, cert-manager, dan Grafana untuk memantau workload Compute Engine dan GKE dengan Cloud Storage untuk metrik dan Cloud Logging untuk log. Mimir dan Loki di dalam Virtual Private Cloud (VPC) menggunakan Load Balancer Aplikasi internal melalui mTLS sehingga VM Compute Engine dapat mengirim metrik dan log. Grafana diekspos secara eksternal melalui HTTPS menggunakan GKE Gateway regional.
Komponen
| Komponen | Teknologi | Tujuan |
|---|---|---|
| Pengumpul telemetri | Pengumpul OpenTelemetry | Pipeline telemetri pusat untuk memproses metrik HTTP/gRPC OpenTelemetry Protocol (OTLP), melakukan scraping endpoint Prometheus, dan meneruskan ke Mimir. |
| Database metrik | Grafana Mimir | Database penyimpanan metrik Prometheus jangka panjang dengan tingkat ketersediaan tinggi dengan blok persisten di Cloud Storage. |
| Database log | Grafana Loki | Database agregasi log multi-tenant yang dapat diskalakan secara horizontal yang mempertahankan potongan dan indeks TSDB di Cloud Storage. |
| Penyimpanan objek | Cloud Storage | Menyediakan bucket khusus untuk metrik Mimir, log Loki, dan artefak pemantauan bersama. |
| Metrik status cluster | kube-state-metrics
|
Memproses server Kubernetes API dan membuat metrik tentang status objek cluster (seperti Deployment, node, atau Pod). Di-scraping oleh OpenTelemetry Collector menggunakan ServiceMonitor. |
| PKI dan sertifikat | cert-manager &penerbit PKI
|
Mem-bootstrap CA Root internal dan ClusterIssuer untuk menerbitkan sertifikat TLS/mTLS untuk komponen dalam cluster dan VM Compute Engine mandiri. |
| Pengumpul log Google Kubernetes Engine | Fluent Bit (DaemonSet) | Mengumpulkan log stdout container di seluruh node GKE, memperkaya dengan metadata Kubernetes, dan meneruskan menggunakan OTLP mTLS ke GKE OTel Collector. |
| Pengumpul log VM | Fluent Bit dan OpenTelemetry Contrib | Mengumpulkan log stdout OS dan aplikasi di VM Compute Engine mandiri menggunakan systemd-journald dan melakukan streaming ke Cloud Logging. |
| Logging pusat | Cloud Logging | Sink pencatatan terpusat untuk log platform dan VM Compute Engine. |
| Visualisasi dan pemberitahuan | Grafana | Lapisan visualisasi dasbor yang telah dikonfigurasi sebelumnya dengan sumber data untuk Mimir, Grafana Loki, Cloud Monitoring, dan Cloud Logging. |
| Aplikasi demo push | Python (aplikasi beacon) | Microservice demo yang memancarkan metrik OTLP sintetis yang dikirim ke pengumpul OpenTelemetry setiap 5 detik. |
| Aplikasi demo pull | Python (aplikasi sensor) | Microservice demo untuk mengekspos endpoint Prometheus /metrics standar yang di-scraping oleh pengumpul OpenTelemetry. |
| Aplikasi demo | Python | Aplikasi demo yang berjalan di VM Compute Engine untuk menghasilkan log JSON terstruktur ke stdout. |
| Deployment | Terraform dan Helm | Mengotomatiskan deployment Virtual Private Cloud, cluster GKE, bucket Cloud Storage, peran Identity and Access Management (IAM), VM Compute Engine, dan diagram Helm. |
Penerapan referensi
Penerapan referensi solusi ini dengan Terraform disediakan di GitHub. Perhatikan bahwa ini adalah prototipe bukti konsep yang dibuat untuk tujuan demonstrasi, dan implementasinya tidak diaudit atau diamankan untuk kasus penggunaan produksi.
Untuk mengetahui prasyarat dan petunjuk deployment, lihat Observabilitas dan pemantauan berdaulat dengan Grafana dan OpenTelemetry.