Utiliser les analyses d'agents BigQuery

BigQuery Agent Analytics est une solution Open Source qui vous permet de capturer, d'analyser et de visualiser à grande échelle les données d'interaction multimodales des agents. L'analyse des agents BigQuery vous permet de diffuser en streaming les interactions brutes des agents (requêtes, réponses, appels d'outils et erreurs) directement dans BigQuery. Cela vous permet d'effectuer une évaluation basée sur l'IA, d'optimiser les requêtes des agents et d'extraire la mémoire à long terme pour améliorer les futures interactions.

L'analyse des agents BigQuery est compatible avec Agent Development Kit (ADK) et LangGraph (version bêta).

Architecture

L'analyse des agents BigQuery facilite la diffusion des données d'activité des agents vers BigQuery. En utilisant l'API BigQuery Storage Write, cette solution fournit un flux de journaux à haut débit et à faible latence sans bloquer l'exécution de l'agent.

Le flux de données comprend les étapes suivantes :

  1. Capture. Les plug-ins de l'Agent Development Kit (ADK) ou les rappels de LangGraph interceptent les événements d'interaction.
  2. Stream. Les événements d'interaction sont envoyés à BigQuery via l'API Storage Write. Si aucun schéma standardisé n'existe, l'agent en crée un automatiquement.
  3. Consommer Obtenez des insights à l'aide de tableaux de bord prédéfinis, d'un agent de données ou de fonctionnalités SQL et BigQuery ML avancées. Pour améliorer le débogage et l'évaluation, vous pouvez utiliser un SDK Python. Pour le débogage avancé et les cas d'utilisation pour l'évaluation des agents, vous pouvez également utiliser le SDK d'analyse des agents BigQuery.

Flux de données analytiques de l'agent BigQuery depuis les frameworks d'orchestration d'agents vers BigQuery

Avantages de l'analyse des agents

  • Activez la journalisation complète avec une seule ligne de code et automatisez la gestion des schémas.
  • Consignez et analysez des données multimodales, y compris du texte, des images, des vidéos et de l'audio, à l'aide de tables d'objets.
  • Suivez les métriques opérationnelles telles que la consommation de jetons et la latence dans un schéma robuste et prédéfini.
  • Identifier les opportunités d'optimisation à l'aide des fonctions d'IA générative et de la recherche vectorielle de BigQuery
  • Sécurisez les journaux d'agent grâce à des contrôles d'accès précis, au masquage des données et au chiffrement.

Exemples d'utilisation des données de journaux d'agent

Voici quelques cas d'utilisation et exemples courants pour travailler avec les données de journaux d'agent.

Observabilité et métriques opérationnelles

  • Chargez le tableau de bord prédéfini et configurez le rapport avec votre tableau pour identifier les agents qui consomment beaucoup de jetons, génèrent des erreurs ou ont des sessions longues.
  • Utilisez SQL pour répartir les coûts par flux d'agent et déterminer si un agent spécifique, tel qu'un agent d'affinage, consomme une quantité disproportionnée de jetons par rapport à sa contribution aux réponses finales.
  • Utilisez l'agent Conversational Analytics de BigQuery pour effectuer une analyse des causes premières basée sur l'IA en exécutant des requêtes avec la fonction AI.GENERATE. Par exemple, "Analyse ce journal de conversation et explique la cause racine de l'échec."

Évaluation des agents et analyse de la qualité

  • Utilisez la fonction AI.SCORE pour classer les conversations et mesurer le classement de l'agent au fil du temps.
  • Utilisez une requête SQL avec la recherche vectorielle pour identifier les clusters de conversations dans lesquels l'agent n'a pas réussi à aider les utilisateurs, puis comparez-les à l'intention initiale de l'utilisateur. Cela permet d'identifier les lacunes dans l'ensemble d'outils ou la base de connaissances de l'agent.

Insights et contextualisation pour les entreprises

  • Effectuez une jointure entre la table agent_events et d'autres tables d'entreprise pour contextualiser les données des agents. Par exemple, vous pouvez afficher la valeur moyenne des commandes (AOV) pour les clients qui ont interagi avec l'agent d'IA par rapport à ceux qui ont utilisé la barre de recherche.

Pour obtenir d'autres exemples, consultez Requêtes d'analyse avancées.

Utiliser les données analytiques BigQuery sur les agents

Pour intégrer les données analytiques des agents BigQuery à votre workflow, consultez la documentation de votre framework :

Étapes suivantes