온라인 모니터를 사용한 지속적인 평가

온라인 모니터링을 사용하면 프로덕션에서 에이전트의 품질을 지속적으로 평가할 수 있습니다. 이러한 사전 예방적 접근 방식을 사용하면 사용자 행동이나 외부 데이터의 변화로 인해 시간이 지남에 따라 에이전트 성능이 눈에 띄게 저하되는 품질 드리프트를 식별할 수 있습니다. 온라인 모니터를 구성하면 사전 정의된 측정항목과 커스텀 측정항목을 모두 사용하여 실시간 trace를 비동기식으로 평가하여 에이전트의 안정성을 유지하고 성능 표준에 맞출 수 있습니다.

시작하기 전에

상담사의 온라인 모니터링을 사용 설정하려면 다음 요구사항을 충족해야 합니다.

  • 에이전트 배포에 설명된 대로 에이전트를 배포합니다.
  • 프로젝트에 Cloud Trace가 사용 설정되어 있는지 확인합니다.
  • (선택사항) 프로그래매틱 방식으로 모니터를 만들려면 에이전트 평가 페이지에서 Agent Platform SDK 초기화 안내를 참조하세요.

원격 분석 요구사항

온라인 모니터링을 사용하려면 에이전트가 특정 OpenTelemetry 신호를 내보내 평가에 필요한 컨텍스트를 제공해야 합니다.

  1. 에이전트 호출 스팬: 다음 속성을 포함해야 합니다.

    • gen_ai.agent.name: 에이전트의 식별자입니다.
    • gen_ai.agent.description: 에이전트의 목적에 대한 간단한 설명입니다.
    • gen_ai.conversation.id: 특정 대화 세션의 고유 식별자입니다.

  2. 추론 이벤트: gen_ai.client.inference.operation.details 이벤트는 다음을 캡처해야 합니다.

    • gen_ai.input.messages: 에이전트에 전송된 프롬프트입니다.
    • gen_ai.output.messages: 에이전트가 생성한 대답입니다.
    • gen_ai.system_instructions: 기본 시스템 프롬프트입니다.
    • gen_ai.tool.definitions: 에이전트에서 사용할 수 있는 도구에 대한 메타데이터입니다.

에이전트 개발 키트를 사용하는 경우 다음 환경 변수를 설정하여 이러한 원격 분석 기능을 사용 설정해야 합니다.

OTEL_SEMCONV_STABILITY_OPT_IN='gen_ai_latest_experimental'
OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT='EVENT_ONLY'

Cloud Storage의 녹화 미디어

에이전트가 이미지나 대용량 문서와 같은 멀티모달 데이터를 사용하는 경우 입력을 trace 스팬에 직접 삽입하는 대신 Cloud Storage 버킷에 입력과 출력을 기록하는 것이 좋습니다. 이를 사용 설정하려면 다음 환경 변수를 구성합니다.

OTEL_INSTRUMENTATION_GENAI_UPLOAD_FORMAT='jsonl'
OTEL_INSTRUMENTATION_GENAI_COMPLETION_HOOK='upload'
OTEL_INSTRUMENTATION_GENAI_UPLOAD_BASE_PATH='gs://STORAGE_BUCKET_NAME/PATH'

자세한 내용은 멀티모달 프롬프트 및 대답 수집을 참조하세요.

온라인 모니터 작동 방식

온라인 모니터는 예약된 평가 루프에서 실행되며 일반적으로 10분마다 실행됩니다. 루프는 다음 단계를 따릅니다.

  1. 쿼리: 필터를 기반으로 Cloud Trace 및 Cloud Logging의 샘플링된 데이터를 가져옵니다.
  2. 평가: Gemini Enterprise Agent Platform Evaluation Service를 사용하여 구성된 측정항목을 실행합니다.
  3. 보고: 결과를 Cloud Logging에 다시 쓰고 숫자 점수를 Cloud Monitoring으로 내보냅니다.

온라인 모니터 만들기

  1. Cloud de Confiance 콘솔에서 Agent Platform > 에이전트 > 평가 페이지로 이동합니다.

    평가로 이동

  2. 온라인 모니터 탭을 선택하고 새 모니터를 클릭합니다.

  3. 필터 트레이스 지정:

    • 에이전트 엔진: 드롭다운에서 모니터링할 에이전트를 선택합니다.
    • 필터 기준: 에이전트의 모든 trace를 평가할지 아니면 특정 필터 기준을 적용할지 선택합니다.

  4. 필터 기준 정의 (필터링된 트레이스를 사용하는 경우):

    • 초기 검사: 기간 (예: 지난 1일)을 선택하여 필터와 일치하는 프로덕션 trace를 미리 봅니다.
    • 필터: 특정 트래픽을 타겟팅하는 기준을 입력합니다. Duration (예: Duration > 2) 또는 Token usage와 같은 속성으로 필터링할 수 있습니다.

  5. 측정항목 구성: 안전과 같이 지속적으로 추적할 측정항목을 추가합니다.

  6. 샘플링 설정:

    • 샘플링 비율: 평가할 라이브 트래픽의 비율을 정의합니다.
    • 실행당 최대 샘플 수: 평가 비용을 관리하기 위해 한도를 설정합니다.

  7. 만들기를 클릭합니다.

모니터 관리

모니터를 만든 후에는 온라인 모니터 목록에서 관리할 수 있습니다.

  • 상태 전환: 옵션 더보기 를 클릭하고 사용 설정 또는 사용 중지를 선택하여 구성을 삭제하지 않고 평가를 일시중지합니다.
  • 일시중지 및 다시 시작: 옵션 더보기 를 사용하여 평가를 일시적으로 중지합니다.
  • 중복: 기존 모니터에서 미리 입력된 설정으로 새 모니터를 만듭니다.
  • trace 보기: 모니터의 샘플링된 trace 열에서 trace 보기 링크를 클릭하여 에이전트의 trace 탭에서 필터링된 trace로 직접 이동합니다.

모니터링 가능성 대시보드에서 결과 보기

다른 실적 신호와 함께 평가 측정항목을 확인하려면 다음 단계를 따르세요.

  1. Cloud de Confiance 콘솔에서 Agent Platform > 에이전트 페이지로 이동합니다.
  2. 왼쪽 탐색 메뉴에서 배포를 선택합니다.

  3. 에이전트를 선택합니다.

    배포로 이동

  4. 대시보드 뷰에서 평가 하위 섹션을 선택하여 응답 품질, 안전, 할루시네이션 비율과 같이 구성된 측정항목의 시계열 차트를 확인합니다.

개별 trace 결과 보기

trace 뷰에서 직접 특정 대화의 평가 결과를 검사할 수도 있습니다.

  1. Cloud de Confiance 콘솔에서 에이전트의 trace 탭으로 이동합니다.
  2. 표에서 세션 또는 trace를 선택하여 세부정보 패널을 엽니다.
  3. 평가 탭을 선택하여 해당 상호작용의 점수와 근거를 확인합니다.

온라인 모니터 문제 해결

온라인 모니터가 활성 상태이지만 대시보드에 결과가 표시되지 않는 경우:

  1. 원격 분석 확인: 에이전트가 필요한 OpenTelemetry 스팬과 이벤트를 올바르게 내보내고 있는지 확인합니다. Cloud Trace를 확인하여 실시간 trace에 gen_ai. 속성이 포함되어 있는지 확인합니다.
  2. 필터 확인: 모니터의 필터 기준을 검토합니다. 초기 검사 기능을 사용하여 필터가 프로덕션 트래픽과 일치하는지 확인합니다.

  3. 내부 로그 확인: 온라인 모니터는 진단 정보를 Cloud Logging에 기록합니다. 평가가 실패하면 오류 로그가 생성됩니다. 모니터 ID 또는 특정 trace 및 에이전트를 검색하여 로그 탐색기에서 이러한 로그를 찾을 수 있습니다.

    resource.labels.online_evaluator="projects/YOUR_PROJECT_ID/locations/YOUR_REGION/onlineEvaluators/YOUR_MONITOR_ID"
# Or search by trace or agent
labels.trace="YOUR_TRACE_ID"
labels.reasoning_engine_id="YOUR_AGENT_ID"