Memantau kebijakan tata kelola semantik

Mesin kebijakan tata kelola semantik secara otomatis mengumpulkan dan memproses metrik operasional setiap kali memeriksa permintaan agen. Anda dapat menggunakan metrik ini untuk mengamati jumlah permintaan agen yang diatur, putusan yang dihasilkan kebijakan, jumlah inferensi LLM yang digunakan evaluasi kebijakan, dan performa pipeline penerapan secara menyeluruh.

Sebelum memulai

Aktifkan Cloud Monitoring API (monitoring.googleapis.com) di project tempat mesin kebijakan berjalan. Lihat Mengaktifkan API untuk mengetahui detailnya.

Ringkasan

Mesin kebijakan tata kelola semantik mengekspor metrik ke Cloud Monitoring secara otomatis. Titik data dipancarkan di dua lapisan:

  • Lapisan permintaan — setiap permintaan agen yang diperiksa oleh mesin kebijakan. Dilaporkan sebagai semantic_governance/request_*.
  • Lapisan evaluasi — setiap evaluasi kebijakan semantik yang dilakukan oleh mesin kebijakan pada traffic yang diperiksa. Satu evaluasi dapat mempertimbangkan beberapa kebijakan terlampir secara internal, tetapi dihitung satu kali. Dilaporkan sebagai semantic_governance/evaluation_*.

Metrik bawaan yang didukung

Semua metrik dikaitkan dengan resource yang dimonitor oleh mesin kebijakan tata kelola semantik aiplatform.googleapis.com/SemanticGovernancePolicyEngine dan diidentifikasi oleh label resource berikut:

  • resource_container: nomor project konsumen.
  • location: region tempat mesin kebijakan berjalan, misalnya us-central1.
Metrik Jenis Unit Yang diukur
aiplatform.googleapis.com/semantic_governance/request_count DELTA INT64 1{request} Jumlah permintaan agen yang diperiksa oleh mesin kebijakan di region. Label request_type membedakan panggilan LLM, panggilan alat, dan traffic lainnya.
aiplatform.googleapis.com/semantic_governance/request_latencies DELTA DISTRIBUTION s Distribusi latensi waktu nyata end-to-end yang ditambahkan oleh mesin kebijakan per permintaan yang diperiksa.
aiplatform.googleapis.com/semantic_governance/evaluation_count DELTA INT64 1{evaluation} Jumlah evaluasi kebijakan semantik yang dilakukan oleh mesin kebijakan. Satu evaluasi dihitung per respons model yang diperiksa, terlepas dari berapa banyak kebijakan terlampir yang dipertimbangkan.
aiplatform.googleapis.com/semantic_governance/evaluation_latencies DELTA DISTRIBUTION s Distribusi latensi per evaluasi mesin kebijakan.
aiplatform.googleapis.com/semantic_governance/evaluation_token_count DELTA INT64 1{token} Jumlah token LLM yang digunakan oleh evaluasi mesin kebijakan.

Label per metrik

Setiap metrik memiliki label tambahan untuk pengirisan:

Metrik Label Nilai
request_count method Metode HTTP, misalnya "POST", "GET".
status_code Kode status HTTP, misalnya "200".
status Hasil evaluasi semantik, misalnya "OK", "MODEL_ERROR", "EVALUATION_ERROR", "INTERNAL_ERROR".
request_type Jenis keluar yang dicegat, misalnya "LLM", "TOOL", "OTHER", "UNKNOWN".
request_latencies method, status, request_type Sama seperti request_count.
evaluation_count final_verdict Putusan yang ditampilkan oleh mesin: "ALLOW" atau "DENY".
evaluation_latencies final_verdict Sama seperti evaluation_count.
evaluation_token_count category Jenis token yang digunakan, misalnya "INPUT", "OUTPUT", "THINKING".

Label per resource generik (resource_container, location) tersedia di setiap metrik.

Melihat metrik

Anda dapat melihat metrik mesin kebijakan bawaan di Cloud de Confiance konsol menggunakan Metrics Explorer:

  1. Untuk mendapatkan izin melihat metrik di Metrics Explorer, minta administrator untuk memberi Anda peran Monitoring Viewer (roles/monitoring.viewer) di project Anda.

  2. Buka Metrics Explorer di Cloud de Confiance konsol:

    Buka Metrics Explorer

  3. Pilih project Cloud de Confiance by S3NS Anda.

  4. Klik Select a metric untuk membuka kotak penelusuran.

  5. Masukkan Semantic Governance Policy Engine di kotak penelusuran, lalu klik resource.

  6. Klik kategori metrik semantic_governance, lalu klik metrik, seperti Evaluation Count.

  7. Secara opsional, filter menurut label (misalnya final_verdict = DENY), gabungkan di seluruh label, dan sesuaikan rentang waktu.

Membuat kueri metrik melalui API

Anda juga dapat membuat kueri metrik dengan Cloud Monitoring v3 API atau Prometheus Query Language (PromQL).

Mencantumkan definisi metrik yang tersedia

gcurl "https://monitoring.googleapis.com/v3/projects/PROJECT_ID/metricDescriptors?filter=metric.type=starts_with(%22aiplatform.googleapis.com/semantic_governance%22)"

Respons harus menyertakan definisi untuk lima metrik yang tercantum dalam tabel sebelumnya.

Membuat kueri tingkat DENY untuk suatu region

Kueri PromQL berikut menampilkan pecahan evaluasi kebijakan yang menghasilkan DENY dalam rentang waktu 5 menit untuk satu region:

sum(
  rate(
    aiplatform_googleapis_com:semantic_governance_evaluation_count{
      monitored_resource='aiplatform.googleapis.com/SemanticGovernancePolicyEngine',
      location='REGION',
      final_verdict='DENY'
    }
    [5m]
  )
)
/
sum(
  rate(
    aiplatform_googleapis_com:semantic_governance_evaluation_count{
      monitored_resource='aiplatform.googleapis.com/SemanticGovernancePolicyEngine',
      location='REGION'
    }
    [5m]
  )
)

Untuk penanganan pembagian dengan nol di jendela tanpa traffic, dan praktik terbaik metrik rasio lainnya, lihat Tentang rasio metrik.

Membuat pemberitahuan

Anda dapat menggunakan salah satu metrik ini dalam kebijakan pemberitahuan. Contoh umum:

  • Tingkat MODEL_ERROR yang ditingkatkan: pemberitahuan saat pecahan sampel request_count dengan status = MODEL_ERROR melebihi nilai minimum dalam rentang waktu.
  • Pelanggaran SLO latensi: pemberitahuan saat persentil ke-99 evaluation_latencies melebihi latensi target untuk durasi yang ditentukan.
  • Lonjakan DENY yang tidak terduga: pemberitahuan saat tingkat DENY (lihat contoh PromQL sebelumnya) melebihi nilai minimum, yang menunjukkan kemungkinan kesalahan konfigurasi kebijakan atau perubahan pola traffic.

Untuk panduan langkah demi langkah tentang cara membuat pemberitahuan nilai minimum pada salah satu dari metrik ini, lihat contoh pemberitahuan di Menyiapkan pemantauan untuk Agent Runtime di Gemini Enterprise Agent Platform. Petunjuknya berlaku tanpa perubahan; ganti resource yang dimonitor oleh mesin kebijakan dan salah satu metrik sebelumnya di mana pun contoh menggunakan metrik Agent Runtime di Gemini Enterprise Agent Platform.

Lihat juga Ringkasan pemberitahuan untuk konsep pemberitahuan Cloud Monitoring umum dan Contoh kebijakan dalam JSON untuk contoh kebijakan pemberitahuan lainnya.