관측 가능성 개요

Gemini Enterprise Agent Platform의 에이전트 모니터링 가능성은 배포된 에이전트와 모델 컨텍스트 프로토콜 (MCP) 서버의 성능, 동작, 상태에 대한 포괄적인 가시성을 제공합니다. 주요 측정항목을 모니터링하고, 실행 경로를 추적하고, 멀티 에이전트 시스템을 전체적으로 관찰하면 문제를 진단하고, 리소스 소비를 최적화하고, 에이전트의 안정성을 개선할 수 있습니다.

이 문서에서는 시스템 전반의 토폴로지, 개별 에이전트 모니터링, MCP 서버 측정항목을 포함하여 Gemini Enterprise Agent Platform에서 사용할 수 있는 모니터링 가능성 도구를 간략하게 설명합니다.

원격 분석 설정

이러한 모니터링 가능성 대시보드, 토폴로지, trace를 채우려면 OpenTelemetry 형식의 원격 분석 데이터를 Google Cloud Observability의 스토리지 시스템으로 전송하도록 에이전트를 구성해야 합니다.

에이전트 및 MCP 서버 환경이 이 데이터를 내보내도록 올바르게 구성되어 있는지 확인합니다. 기본 제공 Cloud de Confiance by S3NS 구성요소는 OpenTelemetry 형식으로 원격 분석을 자동으로 내보냅니다. 예를 들어 Model Armor는 표준화된 원격 분석을 기본적으로 내보내므로 커스텀 계측 없이도 trace 데이터 내에서 실시간 정책 가로채기를 원활하게 노출하고 모니터링할 수 있습니다.

에이전트 원격 분석 설정 안내 및 요구사항은 다음 리소스를 참조하세요.

모니터링 가능성 신호

Gemini Enterprise Agent Platform은 측정항목, trace, 로그를 통해 모니터링 가능성을 제공합니다.

레지스트리에서 특정 에이전트를 선택하면 모니터링 가능성 탭에 운영 상태, 성능, 인프라 사용률을 모니터링할 수 있는 타겟팅된 대시보드 모음이 제공됩니다. 모니터링 가능성 탭 내에서 왼쪽 탐색 메뉴를 사용하여 다음 보기 간에 전환합니다.

  • 개요: 총 세션, 세션당 평균 차례, 총 에이전트 호출을 포함하여 선택한 기간 동안의 개략적인 사용량을 추적합니다. 시계열 차트에는 토큰 사용량 (입력 및 출력), 전체 에이전트 트래픽 볼륨, 지연 시간 백분위수 (p50, p95, p99), 오류율이 표시됩니다.
  • 평가: 지속적인 품질 평가를 위한 온라인 모니터를 표시합니다. 여기에는 평균 대답 품질, 안전 측정항목, 할루시네이션 비율, 도구 사용 품질을 추적하는 시계열 위젯이 포함됩니다.
  • 모델: 기본 파운데이션 모델별로 실적을 분류합니다. 특정 모델별로 p95 지연 시간, 총 호출 수, 오류율, 할당량 실패, 토큰 사용량을 모니터링할 수 있습니다.
  • 도구: 에이전트에 연결된 외부 도구 및 서비스를 모니터링합니다. 이 뷰에는 도구별 p95 지연 시간, 호출 수, 오류율과 도구가 호출되지 않은 상호작용의 빈도가 자세히 표시됩니다.
  • 사용량: 컨테이너 CPU 할당, 컨테이너 메모리 할당, 토큰 사용량을 포함하여 에이전트의 런타임 환경에 대한 인프라 수준 측정항목을 제공합니다.
  • 로그: 심층 분석 문제 해결을 위한 심각도, 타임스탬프, 핵심 요약을 포함하여 필터링 가능한 원시 에이전트 로그 스트림을 표시합니다. 자세한 내용은 에이전트 로그 보기를 참조하세요.

모니터링 가능성 탭의 대시보드 외에도 에이전트의 trace 탭을 사용하여 스팬 및 입력/출력의 방향성 비순환 그래프를 포함한 특정 세션의 단계별 실행을 검사할 수 있습니다. 자세한 내용은 에이전트 trace 보기를 참조하세요. 토폴로지 탭을 사용하여 해당 단일 에이전트의 특정 인바운드 및 아웃바운드 종속 항목을 볼 수도 있습니다.

MCP 서버의 경우 요청 수와 p95 요청 기간을 모니터링하여 사용률과 응답성을 추적할 수 있습니다.

상담사 작업 감사

엔터프라이즈 보안 및 규정 준수 감사를 지원하기 위해 Gemini Enterprise Agent Platform은 이중 기여 분석 로깅을 사용하여 Cloud Logging에 에이전트 활동을 기록합니다. 에이전트가 사람을 대신하여 작업을 수행하거나 도구를 호출하는 경우 (사용자 위임 권한) 감사 및 실행 로그에는 SPIFFE 기반 에이전트 ID(감사 로그의 principal://... 또는 실행 로그의 spiffe://...)와 시작하는 사람 사용자의 ID가 모두 기록됩니다. 에이전트가 자체 권한으로 자율적으로 작동하는 경우 로그는 작업을 고유한 에이전트 ID에 직접 기여합니다.

감사자와 보안 관리자는 로그 쿼리에서 is_agentic=true 플래그를 필터링하여 Cloud Logging에서 에이전트가 시작한 이벤트를 격리하고 검토할 수 있습니다. is_agentic=true를 에이전트 ID 또는 사용자 주 구성원과 결합하면 엔드 투 엔드 실행 경로를 추적하고 모든 에이전트 상호작용에서 정책 시행을 확인할 수 있습니다.

OpenTelemetry 생성형 AI 규칙

에이전트 trace 및 프롬프트 및 대답 로그는 생성형 AI 시스템의 OpenTelemetry 시맨틱 규칙을 크게 활용하여 생성형 AI 원격 분석이 캡처, 구조화, 보고되는 방식을 표준화합니다.

이러한 규칙을 준수하는 것은 에이전트 추적에 매우 중요합니다. 도구 실행, 검색 단계, 토큰 소비와 같은 복잡한 다단계 에이전트 워크플로를 설명하기 위한 범용적이고 공급업체에 구애받지 않는 형식을 설정하기 때문입니다. 이러한 표준화는 Cloud de Confiance by S3NS내부와 외부 모두에서 다양한 모니터링 가능성 백엔드와 분석 도구 간의 원활한 상호 운용성을 지원합니다.

다음 단계