BigQuery 에이전트 분석 사용
BigQuery 에이전트 분석은 멀티모달 에이전트 상호작용 데이터를 대규모로 캡처, 분석, 시각화할 수 있는 오픈소스 솔루션입니다. BigQuery 에이전트 분석을 사용하면 원시 에이전트 상호작용(요청, 응답, 도구 호출, 오류)을 BigQuery로 직접 스트리밍할 수 있습니다. 이렇게 하면 AI 기반 평가를 실행하고, 상담사 프롬프트를 최적화하고, 장기 기억을 추출하여 향후 상호작용을 개선할 수 있습니다.
BigQuery 에이전트 분석은 에이전트 개발 키트 (ADK) 및 LangGraph(미리보기)에서 지원됩니다.
아키텍처
BigQuery 에이전트 분석을 사용하면 에이전트 활동 데이터를 BigQuery로 스트리밍할 수 있습니다. BigQuery Storage Write API를 사용하는 이 솔루션은 에이전트 실행을 차단하지 않고 높은 처리량과 짧은 지연 시간의 로그 스트리밍을 제공합니다.
데이터 흐름에는 다음 단계가 포함됩니다.
- 캡처 에이전트 개발 키트 (ADK)의 플러그인 또는 LangGraph의 콜백이 상호작용 이벤트를 가로챕니다.
- 스트림. 상호작용 이벤트는 Storage Write API를 통해 BigQuery로 전송됩니다. 표준화된 스키마가 없으면 에이전트가 자동으로 만듭니다.
- 사용 사전 빌드된 대시보드, 데이터 에이전트 또는 SQL 및 고급 BigQuery ML 기능을 사용하여 인사이트를 도출합니다. 디버깅 및 평가를 개선하려면 Python SDK를 사용하면 됩니다. 고급 디버깅 및 에이전트 평가 사용 사례의 경우 BigQuery 에이전트 분석 SDK를 사용할 수도 있습니다.
에이전트 분석의 이점
- 단일 코드 줄로 포괄적인 로깅을 사용 설정하고 스키마 관리를 자동화합니다.
- 객체 테이블을 사용하여 텍스트, 이미지, 동영상, 오디오를 비롯한 멀티모달 데이터를 로깅하고 분석합니다.
- 강력한 사전 정의된 스키마 내에서 토큰 소비 및 지연 시간과 같은 운영 측정항목을 추적합니다.
- BigQuery 생성형 AI 함수와 벡터 검색을 사용하여 최적화 기회를 식별합니다.
- 세분화된 액세스 제어, 데이터 마스킹, 암호화로 에이전트 로그를 보호합니다.
에이전트 로그 데이터 작업 예시
다음은 에이전트 로그 데이터로 작업하는 몇 가지 일반적인 사용 사례와 예입니다.
관측 가능성 및 운영 측정항목
- 사전 빌드된 대시보드를 로드하고 테이블로 보고서를 구성하여 토큰 소비량이 많거나, 오류가 있거나, 세션 길이가 긴 상담사를 찾습니다.
- SQL 사용을 통해 에이전트 흐름별로 비용을 분류하고, 구체화 에이전트와 같은 특정 에이전트가 최종 대답에 기여하는 정도에 비해 불균형한 양의 토큰을 소비하는지 확인할 수 있습니다.
AI.GENERATE함수로 쿼리를 실행하여 AI 기반 근본 원인 분석을 위해 BigQuery 대화형 분석 에이전트를 사용합니다. 예를 들어 '이 대화 로그를 분석하고 실패의 근본 원인을 설명해 줘'와 같은 프롬프트를 입력합니다.
상담사 평가 및 품질 분석
AI.SCORE함수를 사용하여 대화의 순위를 지정하고 시간 경과에 따른 상담사의 순위를 측정합니다.- 벡터 검색을 사용하여 SQL 쿼리를 실행하여 상담사가 사용자 지원에 실패한 대화 클러스터를 식별한 다음 이를 사용자의 원래 의도와 비교합니다. 이렇게 하면 에이전트의 도구 모음이나 기술 자료의 격차를 파악할 수 있습니다.
비즈니스 통계 및 컨텍스트화
agent_events테이블과 다른 비즈니스 테이블 간에 JOIN을 실행하여 상담사 데이터를 맥락화합니다. 예를 들어 AI 에이전트와 상호작용한 고객의 평균 주문 금액 (AOV)을 검색창을 사용한 고객의 평균 주문 금액과 비교하여 표시합니다.
더 많은 예시는 고급 분석 쿼리를 참고하세요.
BigQuery 상담사 분석 사용
워크플로에 BigQuery 에이전트 분석을 통합하려면 프레임워크 관련 문서를 참고하세요.
- ADK BigQuery 분석 플러그인 가이드
- BigQuery 콜백 핸들러 통합(LangChain 및 LangGraph)