BigQuery-Agentenanalysen verwenden

BigQuery-Agentenanalysen sind eine Open-Source-Lösung, mit der Sie multimodale Daten zur Agenteninteraktion im großen Maßstab erfassen, analysieren und visualisieren können. Mit BigQuery-Agentenanalysen können Sie Rohdaten zu Agenteninteraktionen (Anfragen, Antworten, Toolaufrufe und Fehler) direkt in BigQuery streamen. So können Sie KI-gestützte Auswertungen durchführen, Agentenprompts optimieren und das Langzeitgedächtnis extrahieren, um zukünftige Interaktionen zu verbessern.

BigQuery-Agentenanalysen werden in Agent Development Kit (ADK) und LangGraph (Vorschau) unterstützt.

Architektur

BigQuery-Agentenanalysen erleichtern das Streamen von Daten zur Agentenaktivität in BigQuery. Mit der BigQuery Storage Write API bietet diese Lösung Log-Streaming mit hohem Durchsatz und niedriger Latenz, ohne die Agentenausführung zu blockieren.

Der Datenfluss umfasst die folgenden Phasen:

  1. Erfassung Plug-ins im Agent Development Kit (ADK) oder Callbacks in LangGraph fangen Interaktionsereignisse ab.
  2. Streaming Interaktionsereignisse werden über die Storage Write API an BigQuery gesendet. Wenn kein standardisiertes Schema vorhanden ist, wird automatisch eines vom Agenten erstellt.
  3. Verwendung Sie können Erkenntnisse aus vordefinierten Dashboards, einem Datenagenten oder SQL- und erweiterten BigQuery ML-Funktionen gewinnen. Zur Verbesserung des Debuggings und der Auswertung können Sie ein Python SDK verwenden. Für erweitertes Debugging und Anwendungsfälle zur Agentenbewertung können Sie auch das BigQuery Agentenanalysen-SDK verwenden.

BigQuery-Agentenanalysedatenfluss von Agent-Orchestrierungs-Frameworks zu BigQuery

Vorteile von Agentenanalysen

  • Umfassende Protokollierung mit einer einzigen Codezeile aktivieren und Schemas automatisch verwalten.
  • Multimodale Daten wie Text, Bilder, Videos und Audio mithilfe von Objekttabellen protokollieren und analysieren.
  • Betriebsmesswerte wie Tokenverbrauch und Latenz in einem robusten, vordefinierten Schema verfolgen.
  • Optimierungsmöglichkeiten mit generativen KI-Funktionen und der Vektorsuche von BigQuery ermitteln.
  • Agentenlogs mit detaillierten Zugriffssteuerungen, Datenmaskierung und Verschlüsselung schützen.

Beispiele für die Arbeit mit Agentenlogdaten

Im Folgenden sind einige gängige Anwendungsfälle und Beispiele für die Arbeit mit Agentenlogdaten aufgeführt.

Beobachtbarkeit und Betriebsmesswerte

  • Laden Sie das vordefinierte Dashboard und konfigurieren Sie den Bericht mit Ihrer Tabelle, um Agenten mit hohem Token verbrauch, Fehlern oder langen Sitzungen zu finden.
  • Mit SQL können Sie die Kosten nach Agentenflüssen aufschlüsseln und feststellen, ob ein bestimmter Agent, z. B. ein Verfeinerungsagent, im Vergleich zu seinem Beitrag zu den endgültigen Antworten eine unverhältnismäßig hohe Anzahl von Tokens verbraucht.
  • Verwenden Sie den BigQuery-Agenten für Konversationsanalysen für die KI-gestützte Ursachenanalyse, indem Sie Abfragen mit der AI.GENERATE Funktion ausführen. Beispiel: „Analysiere dieses Konversationslog und erkläre die Ursache des Fehlers.“

Agentenbewertung und Qualitätsanalyse

  • Verwenden Sie die AI.SCORE Funktion um Konversationen zu bewerten und den Rang des Agenten im Zeitverlauf zu messen.
  • Verwenden Sie eine SQL-Abfrage mit Vektorsuche, um Konversationscluster zu identifizieren, in denen der Agent Nutzern nicht helfen konnte, und vergleichen Sie sie dann mit der ursprünglichen Absicht des Nutzers. So können Sie Lücken im Toolset oder in der Wissensdatenbank des Agenten finden.

Geschäftliche Erkenntnisse und Kontextualisierung

  • Führen Sie einen JOIN zwischen der Tabelle agent_events und anderen Geschäftstabellen aus, um Agentendaten zu kontextualisieren. Zeigen Sie beispielsweise den durchschnittlichen Bestellwert für Kunden an, die mit dem KI-Agenten interagiert haben, im Vergleich zu Kunden, die die Suchleiste verwendet haben.

Weitere Beispiele finden Sie unter Erweiterte Analyseabfragen.

Mit BigQuery-Agentenanalysen arbeiten

Informationen zum Einbinden von BigQuery-Agentenanalysen in Ihren Workflow finden Sie in der Dokumentation für Ihr Framework:

Nächste Schritte