시맨틱 거버넌스 정책 모니터링

시맨틱 거버넌스 정책 엔진은 에이전트 요청을 검사할 때마다 운영 측정항목을 자동으로 수집하고 처리합니다. 이러한 측정항목을 사용하여 거버넌스 대상 에이전트 요청 수, 정책에서 생성된 평결, 정책 평가에서 소비된 LLM 추론 양, 시행 파이프라인의 엔드 투 엔드 성능을 관찰할 수 있습니다.

시작하기 전에

정책 엔진이 실행되는 프로젝트에서 Cloud Monitoring API (monitoring.googleapis.com)를 사용 설정합니다. 자세한 내용은 API 사용 설정을 참고하세요.

개요

시맨틱 거버넌스 정책 엔진은 측정항목을 Cloud Monitoring으로 자동으로 내보냅니다. 데이터 포인트는 두 레이어에서 내보내집니다.

• 요청 레이어 : 정책 엔진이 검사하는 모든 에이전트 요청입니다. semantic_governance/request_*로 보고됩니다.
• 평가 레이어 : 정책 엔진이 검사된 트래픽에 대해 실행하는 모든 시맨틱 정책 평가입니다. 단일 평가에서 내부적으로 연결된 여러 정책을 고려할 수 있지만 한 번만 집계됩니다. semantic_governance/evaluation_*로 보고됩니다.

지원되는 기본 제공 측정항목

모든 측정항목은 시맨틱 거버넌스 정책 엔진 모니터링 리소스 aiplatform.googleapis.com/SemanticGovernancePolicyEngine 과 연결되며 다음 리소스 라벨로 식별됩니다.

• resource_container: 소비자 프로젝트 번호입니다.
• location: 정책 엔진이 실행되는 리전입니다(예: us-central1).

측정항목별 라벨

각 측정항목에는 슬라이싱을 위한 추가 라벨이 포함됩니다.

일반적인 리소스별 라벨 (resource_container, location)은 모든 측정항목에서 사용할 수 있습니다.

측정항목 보기

Cloud de Confiance 콘솔의 측정항목 탐색기를 사용하여 기본 제공 정책 엔진 측정항목을 볼 수 있습니다.

1. 측정항목 탐색기에서 측정항목을 볼 수 있는 권한을 얻으려면 관리자에게 프로젝트에 대한 Monitoring 뷰어 역할 (roles/monitoring.viewer)을 부여해 달라고 요청하세요.

2. 콘솔에서 측정항목 탐색기로 Cloud de Confiance 이동합니다.

   측정항목 탐색기로 이동

3. Cloud de Confiance by S3NS 프로젝트를 선택합니다.

4. 측정항목 선택 을 클릭하여 검색창을 엽니다.

5. 검색창에 시맨틱 거버넌스 정책 엔진 을 입력하고 리소스를 클릭합니다.

6. semantic_governance 측정항목 카테고리를 클릭한 다음 평가 수 와 같은 측정항목을 클릭합니다.

7. 선택적으로 라벨별로 필터링하고 (예: final_verdict = DENY) 라벨 간에 집계를 수행하고 기간을 조정합니다.

API를 통해 측정항목 쿼리

Cloud Monitoring v3 API 또는 Prometheus 쿼리 언어 (PromQL)를 사용하여 측정항목을 쿼리할 수도 있습니다.

사용 가능한 측정항목 정의 나열

gcurl "https://monitoring.googleapis.com/v3/projects/PROJECT_ID/metricDescriptors?filter=metric.type=starts_with(%22aiplatform.googleapis.com/semantic_governance%22)"

응답에는 앞의 표에 나열된 5가지 측정항목의 정의가 포함되어야 합니다.

리전의 DENY 비율 쿼리

다음 PromQL 쿼리는 한 리전의 5분 이동 창에서 DENY를 초래한 정책 평가의 비율을 반환합니다.

sum(
  rate(
    aiplatform_googleapis_com:semantic_governance_evaluation_count{
      monitored_resource='aiplatform.googleapis.com/SemanticGovernancePolicyEngine',
      location='REGION',
      final_verdict='DENY'
    }
    [5m]
  )
)
/
sum(
  rate(
    aiplatform_googleapis_com:semantic_governance_evaluation_count{
      monitored_resource='aiplatform.googleapis.com/SemanticGovernancePolicyEngine',
      location='REGION'
    }
    [5m]
  )
)

트래픽이 없는 창에서 0으로 나누기 처리 및 기타 비율 측정항목 권장사항은 측정항목 비율 정보를 참고하세요.

알림 만들기

알림 정책에서 이러한 측정항목을 사용할 수 있습니다. 일반적인 예시:

• 높은 MODEL_ERROR 비율: request_countstatus = MODEL_ERROR샘플의 비율이 이동 창에서 기준을 초과하면 알림이 발생합니다.
• 지연 시간 SLO 위반: evaluation_latencies의 99번째 백분위수가 지정된 기간 동안 목표 지연 시간을 초과하면 알림이 발생합니다.
• 예상치 못한 DENY 급증: DENY 비율 (앞의 PromQL 예시 참고)이 기준을 초과하면 알림이 발생합니다. 이는 정책 구성 오류 또는 트래픽 패턴 변경을 나타낼 수 있습니다.

이러한 측정항목에 대한 기준 알림을 빌드하는 단계별 안내는 Agent Runtime 모니터링 설정을 Gemini Enterprise Agent Platform에서 참고하세요. 안내는 변경되지 않은 상태로 적용됩니다. 예시에서 Gemini Enterprise Agent Platform 측정항목의 Agent Runtime을 사용하는 경우 정책 엔진 모니터링 리소스와 앞의 측정항목 중 하나로 대체합니다.

일반적인 Cloud Monitoring 알림 개념은 알림 개요를 참고하고 더 많은 예시 알림 정책은 JSON의 샘플 정책을 참고하세요.

관련 문서

• 시맨틱 거버넌스 정책 개요
• AI Platform 측정항목의 전체 목록
• 측정항목 종류 및 유형
• 측정항목 모델의 구성요소