Mengekspos metrik kustom untuk load balancer

Bagian ini menjelaskan cara mengirim satu atau beberapa metrik dari Pod atau workload ke load balancer Anda.

Metrik ini berasal dari layanan atau aplikasi yang Anda jalankan. Misalnya, lihat metrik yang diekspos oleh vLLM Engine.

Load balancer kemudian dapat menggunakan data ini dengan load balancing berbasis pemanfaatan untuk menyeimbangkan beban kerja secara lebih efisien. Misalnya, Anda dapat menggunakan fitur ini untuk memantau region dengan penggunaan workload yang lebih berat, lalu mengizinkan load balancer untuk mengalihkan traffic ke region dengan sumber daya yang lebih tersedia. Dari contoh vLLM, metrik yang dapat berguna untuk melacak pemanfaatan adalah gpu_cache_usage_perc.

Persyaratan

Persyaratan untuk Pod adalah sebagai berikut.

Persyaratan untuk metrik adalah sebagai berikut.

  • Metrik harus dapat diakses di endpoint HTTP.
  • Format metrik harus dalam standar Prometheus.

  • Load balancer memiliki batasan pada nama metrik. Misalnya, nama tidak boleh melebihi 64 karakter. Untuk mengetahui daftar lengkap batasan, lihat detail tentang kolom backends[].customMetrics[].name dalam referensi API untuk BackendService.

    Jika metrik layanan Anda tidak mematuhi batasan ini, Anda dapat mengganti namanya menggunakan kolom exportName.

  • Hanya metrik pengukur antara 0 dan 1 yang didukung, dengan 1 yang merepresentasikan pemanfaatan 100%.

  • Label metrik diabaikan, sehingga tidak dapat digunakan untuk membedakan metrik. Pastikan workload Anda tidak mengekspos metrik yang sama dengan beberapa label.

  • Maksimum 10 metrik dapat diekspos per cluster. Layanan lainnya memiliki batasnya sendiri. Misalnya, lihat batas dan persyaratan untuk load balancer. Perhatikan bahwa cluster dapat menggunakan lebih dari satu load balancer.

Mengekspos metrik untuk load balancing

  1. Pilih metrik yang akan diekspos. Anda dapat memilih metrik apa pun yang diekspos server Anda, dan yang juga memenuhi persyaratan yang tercantum di bagian sebelumnya.

  2. Tambahkan resource kustom berikut, dengan mengganti detail yang khusus untuk metrik dan Pod Anda.

    apiVersion: autoscaling.gke.io/v1beta1
kind: AutoscalingMetric
metadata:
  name: NAME
  namespace:NAMESPACE
spec:
  selector:
    matchLabels:
      name: APP_LABEL_NAME
  endpoints:
  - port: METRIC_PORT
    path: METRIC_PATH
    metrics:
    - name: METRIC
      exportName: METRIC_NEW_NAME

    Ganti kode berikut agar sesuai dengan beban kerja Anda:

    • NAME: nama objek AutoscalingMetric.
    • NAMESPACE: namespace tempat Pod berada.
    • APP_LABEL_NAME: label yang digunakan untuk Pod.
    • METRIC_PORT: nomor port.
    • METRIC_PATH: jalur ke metrik. Verifikasi jalur yang digunakan oleh layanan atau aplikasi Anda; jalur ini sering kali /metrics.
    • METRIC: nama metrik yang Anda ekspos.

    • Opsional: METRIC_NEW_NAME: Anda dapat menggunakan kolom ini untuk mengganti nama metrik. Jika nama metrik tidak mematuhi batasan nama yang ditetapkan oleh load balancer, gunakan kolom ini untuk mengganti namanya menjadi nama yang valid.

      Untuk mengetahui daftar lengkap batasan, lihat detail tentang kolom backends[].customMetrics[].name dalam referensi API untuk BackendService.

  3. Terapkan resource menggunakan perintah berikut:

    kubectl apply -f FILE_NAME.yaml

    Ganti FILE_NAME dengan nama file YAML.

    Setelah menambahkan resource kustom, metrik akan dikirim ke API penskalaan otomatis. Metrik dibaca setiap beberapa detik dan dikirim ke load balancer.

Untuk mengekspos metrik kedua, ikuti langkah yang sama untuk membuat resource kustom lainnya.

Setelah mengekspos metrik ke load balancer, Anda dapat mengonfigurasi load balancer untuk menggunakan metrik ini. Untuk mengetahui detailnya, lihat Mengonfigurasi load balancer untuk menggunakan metrik kustom.

Untuk mengetahui informasi selengkapnya tentang cara menggunakan load balancer, lihat Mengonfigurasi load balancing berbasis pemanfaatan untuk Layanan GKE.

Memecahkan masalah metrik yang diekspos ke load balancer

Untuk memverifikasi bahwa metrik diekspos ke load balancer dengan benar, Anda dapat melakukan hal berikut:

  • Verifikasi log di Agen Metrik GKE. Jika terjadi error saat mencoba mengekspos metrik, log mungkin telah menandakan bahwa ada error. Untuk mengetahui informasi selengkapnya tentang cara mencari error, lihat artikel Memecahkan masalah metrik sistem.
  • Anda dapat menggunakan load balancer dalam mode uji coba untuk melihat semua metrik yang diterimanya. Untuk mempelajari lebih lanjut cara menguji metrik menggunakan flag dryRun, lihat Mengonfigurasi load balancer untuk menggunakan metrik kustom.

Langkah berikutnya