Usa las estadísticas del agente de BigQuery

BigQuery Agent Analytics es una solución de código abierto que te permite capturar, analizar y visualizar datos de interacción de agentes multimodales a gran escala. El análisis de agentes de BigQuery te permite transmitir interacciones sin procesar del agente (solicitudes, respuestas, llamadas a herramientas y errores) directamente a BigQuery. Si lo haces, podrás realizar evaluaciones potenciadas por IA, optimizar las instrucciones del agente y extraer memoria a largo plazo para mejorar las interacciones futuras.

Las estadísticas de agentes de BigQuery son compatibles con el Kit de desarrollo de agentes (ADK) y LangGraph (vista previa).

Arquitectura

Los análisis de agentes de BigQuery facilitan la transmisión de datos de actividad de los agentes a BigQuery. Con la API de BigQuery Storage Write, esta solución proporciona transmisión de registros de alta capacidad de procesamiento y baja latencia sin bloquear la ejecución del agente.

El flujo de datos incluye las siguientes etapas:

  1. Capturar. Los complementos del Kit de desarrollo de agentes (ADK) o las devoluciones de llamada en LangGraph interceptan los eventos de interacción.
  2. Transmitir. Los eventos de interacción se envían a BigQuery a través de la API de Storage Write. Si no existe un esquema estandarizado, el agente crea uno automáticamente.
  3. Consume. Obtén estadísticas con paneles prediseñados, un agente de datos o SQL y funciones avanzadas de BigQuery ML. Para mejorar la depuración y la evaluación, puedes usar un SDK de Python. Para la depuración avanzada y los casos de uso para la evaluación de agentes, también puedes usar el SDK de estadísticas de agentes de BigQuery.

Flujo de datos de análisis del agente de BigQuery desde los frameworks de orquestación de agentes hasta BigQuery

Beneficios de las estadísticas de agentes

  • Habilita el registro integral con una sola línea de código y automatiza la administración de esquemas.
  • Registra y analiza datos multimodales, incluidos texto, imágenes, video y audio, con tablas de objetos.
  • Realiza un seguimiento de las métricas operativas, como el consumo de tokens y la latencia, dentro de un esquema sólido y predefinido.
  • Identificar oportunidades de optimización con las funciones de IA generativa y la búsqueda de vectores de BigQuery
  • Protege los registros del agente con controles de acceso detallados, enmascaramiento de datos y encriptación.

Ejemplos de cómo trabajar con datos de registros de agentes

A continuación, se incluyen algunos casos de uso y ejemplos comunes para trabajar con los datos de registro del agente.

Observabilidad y métricas operativas

  • Carga el panel precompilado y configura el informe con tu tabla para encontrar agentes con un alto consumo de tokens, errores o sesiones largas.
  • Usa SQL para desglosar los costos por flujos de agentes y determinar si un agente específico, como un agente de refinamiento, consume una cantidad desproporcionada de tokens en comparación con su contribución a las respuestas finales.
  • Usa el agente de análisis conversacional de BigQuery para realizar análisis de causa raíz potenciados por IA ejecutando consultas con la función AI.GENERATE. Por ejemplo, "Analiza este registro de conversación y explica la causa raíz de la falla".

Evaluación de agentes y análisis de calidad

  • Usa la función AI.SCORE para clasificar las conversaciones y medir la clasificación del agente a lo largo del tiempo.
  • Usa una consulta en SQL con la Búsqueda vectorial para identificar clústeres de conversaciones en los que el agente no pudo ayudar a los usuarios y, luego, compáralos con la intención original del usuario. Esto ayuda a encontrar brechas en el conjunto de herramientas o la base de conocimiento del agente.

Estadísticas y contextualización de la empresa

  • Realiza una operación JOIN entre la tabla agent_events y otras tablas de la empresa para contextualizar los datos del agente. Por ejemplo, puedes mostrar el valor promedio del pedido (AOV) de los clientes que interactuaron con el agente de IA en comparación con los clientes que usaron la barra de búsqueda.

Para obtener más ejemplos, consulta Consultas de análisis avanzadas.

Trabaja con las estadísticas de agentes de BigQuery

Para integrar el análisis de agentes de BigQuery en tu flujo de trabajo, consulta la documentación de tu framework:

¿Qué sigue?