Einige oder alle Informationen auf dieser Seite gelten möglicherweise nicht für Cloud de Confiance von S3NS. Weitere Informationen finden Sie unter Unterschiede zu Google Cloud.

Google verwendet KI-Technologie, um Inhalte in Ihre bevorzugte Sprache zu übersetzen. KI-Übersetzungen können Fehler enthalten.

BigQuery Agent Analytics verwenden

BigQuery Agent Analytics ist eine Open-Source-Lösung, mit der Sie multimodale Agenteninteraktionsdaten in großem Umfang erfassen, analysieren und visualisieren können. Dazu werden Rohdaten zu Agenteninteraktionen wie Anfragen, Antworten, Toolaufrufe und Fehler direkt in BigQuery gestreamt. Mit dieser Lösung können Sie KI-basierte Bewertungen durchführen, Agenten-Prompts optimieren und Langzeitgedächtnis extrahieren, um zukünftige Interaktionen zu verbessern. BigQuery Agent Analytics wird im Agent Development Kit (ADK) und in LangGraph (Vorabversion) unterstützt.

Architektur

BigQuery Agent Analytics streamt Aktivitätsdaten von KI-Agenten mithilfe der BigQuery Storage Write API (gRPC) an BigQuery. Diese API bietet Log-Streaming mit hohem Durchsatz und niedriger Latenz, ohne die Ausführung von KI-Agenten zu blockieren.

Der Datenfluss besteht aus folgenden Phasen:

Aufnehmen: Verwenden Sie Plug-ins im Agent Development Kit (ADK) oder Callbacks in LangGraph, um Interaktionsereignisse abzufangen und Agent-Ereignisse zu erfassen.
Stream. Interaktionsereignisse werden über die Storage Write API (gRPC) an BigQuery gesendet. Wenn kein standardisiertes Schema vorhanden ist, erstellt der Agent automatisch eines.
Konsumieren: Protokollierte Agentendaten analysieren und auswerten. Sie können Rohdaten mit SQL abfragen, Messwerte in benutzerdefinierten Dashboards verfolgen oder das BigQuery Agent Analytics SDK verwenden, um komplexe Ausführungstraces von KI-Agenten mit mehreren Interaktionen zu rekonstruieren und zu bewerten.

Diagramm, das zeigt, wie Agent-Aktivitätsdaten von Orchestrierungs-Frameworks zur Analyse in BigQuery fließen.

Vorteile der Agentenanalyse

Aktivieren Sie umfassendes Logging mit einer einzigen Codezeile und automatisieren Sie die Schemaverwaltung.
Multimodale Daten wie Text, Bilder, Videos und Audio mithilfe von Objekttabellen protokollieren und analysieren.
Betriebsmesswerte wie Tokenverbrauch und Latenz in einem robusten, vordefinierten Schema verfolgen.
Mithilfe von generativen KI-Funktionen und der Vektorsuche in BigQuery Optimierungsmöglichkeiten identifizieren
Sichern Sie KI-Agentenprotokolle mit detaillierten Zugriffssteuerungen, Datenmaskierung und Verschlüsselung.

Möglichkeiten zum Erfassen von Agentenprotokolldaten

Wenn Sie die Interaktionstelemetrie Ihres KI-Agenten (Anfragen, Antworten, Toolaufrufe und Fehlerlogs) nativ in BigQuery erfassen möchten, können Sie Ereignisdaten auf verschiedene Arten protokollieren:

Plug-ins für Orchestrierungs-Frameworks: Verwenden Sie Standard-Logging-Plug-ins, die von Ihrem Agenten-Orchestrierungs-Toolkit bereitgestellt werden. Beispielsweise wird der BigQueryAgentAnalyticsPlugin im Agent Development Kit (ADK) in den Agent Runner eingebunden, um Ereignisse automatisch abzufangen, zu serialisieren und zu streamen.
Framework-Callback-Handler: Integrieren Sie Standard-Callbacks in gängige Agent-Umgebungen. Sie können beispielsweise den integrierten BigQuery-Handler in LangGraph und LangChain verwenden, um Traces abzufangen und weiterzuleiten.
Direkte API-Aufnahme: Verwenden Sie für benutzerdefinierte oder proprietäre Frameworks dieCloud de Confiance by S3NS -Clientbibliotheken, um strukturierte Ereignisse mithilfe der Storage Write API (gRPC) direkt in Ihre Ereignistabelle zu streamen.
Daten-KI-Agenten für konversationelle Analysen: Aktivieren Sie das integrierte Gesprächs-Logging, wenn Sie Einstellungen für einen BigQuery-Daten-KI-Agenten in BigQuery Studio oder über die Conversational Analytics API konfigurieren, um Gesprächsereignisse automatisch in eine BigQuery-Zieltabelle zu streamen und Gesprächslogs zu analysieren.

Unabhängig von der Methode verwenden alle Logging-Optionen die BigQuery Storage Write API (gRPC) mit niedriger Latenz und hohem Durchsatz. Diese API bietet einen robusten Streaming-Endpunkt, der Zeilen (mit der PyArrow-Engine) asynchron im Arbeitsspeicher puffert und serialisiert, bevor sie festgeschrieben werden. So wird sichergestellt, dass Aufgaben der Beobachtbarkeitspipeline die Ausführung von Agentenrunden für Nutzer nicht blockieren.

Möglichkeiten zum Analysieren von Agentenprotokolldaten

Wenn Sie die Leistung Ihres KI-Agenten nachvollziehen und optimieren möchten, können Sie Interaktionsprotokolle auf folgende Weise analysieren und auswerten:

Direkte SQL-Abfragen: Sie können benutzerdefinierte Abfragen in BigQuery ausführen, um Messwerte wie Tokenverbrauch und Ausführungslatenz zu berechnen. Sie können auch AI.GENERATE für die automatisierte Ursachenanalyse von Fehlern verwenden oder Joins mit Geschäftstabellen durchführen, um die Auswirkungen auf das Geschäft zu messen.
Interaktive Dashboards: Verbinden Sie Visualisierungstools wie Data Studio mit vordefinierten oder benutzerdefinierten BigQuery-Ansichten, um den Zustand des KI-Agenten, Fehlerraten und Nutzungstrends im Zeitverlauf zu verfolgen. Looker-Kunden können auch eine vordefinierte Dashboard-Vorlage für BigQuery Agent Analytics (Looker Block) aus dem Looker Marketplace verwenden.
Jupyter-Notebooks: Logdaten mit Python-Bibliotheken, Pandas oder BigFrames in interaktiven Umgebungen untersuchen und damit experimentieren.
Python SDK: Programmatisch Abfragen, Rekonstruieren und Prüfen von Ausführungs-Traces von KI-Agenten direkt in Ihrem Anwendungscode oder in automatisierten Bewertungspipelines.

Beispiele für die Arbeit mit Agentenprotokolldaten

Im Folgenden finden Sie gängige Anwendungsfälle und Beispiele für die Arbeit mit Agentenprotokolldaten in BigQuery.

Beobachtbarkeit und Betriebsmesswerte

Fragen Sie Daten ab, um die Kosten nach Agentenabläufen aufzuschlüsseln und festzustellen, ob ein bestimmter Agent, z. B. ein Verfeinerungsagent, im Vergleich zu seinem Beitrag zu den endgültigen Antworten eine unverhältnismäßig große Menge an Tokens verbraucht.
Verwenden Sie den BigQuery-Agenten für konversationelle Analysen für eine KI-gestützte Ursachenanalyse, indem Sie Abfragen mit der Funktion AI.GENERATE ausführen. Beispiel: „Analysiere dieses Unterhaltungsprotokoll und erkläre die Ursache des Fehlers.“

Bewertung von KI-Agenten und Qualitätsanalyse

Mit der Funktion AI.SCORE können Sie Unterhaltungen bewerten und den Rang von Kundenservicemitarbeitern im Zeitverlauf messen.
Identifizieren Sie Unterhaltungscluster, in denen der Agent Nutzern nicht helfen konnte, indem Sie eine SQL-Abfrage mit der Vektorsuche verwenden, und vergleichen Sie sie dann mit dem ursprünglichen Intent des Nutzers. So können Sie Lücken in den Tools oder der Wissensdatenbank des KI-Agenten erkennen.

Geschäftliche Statistiken und Kontextualisierung

Wenn Sie Agentendaten in einen Kontext setzen möchten, führen Sie die Tabelle agent_events mit anderen Geschäftstabellen zusammen . Zeigen Sie beispielsweise den durchschnittlichen Bestellwert für Kunden, die mit dem KI-Agenten interagiert haben, im Vergleich zu Kunden, die die Suchleiste verwendet haben.

Weitere Beispiele finden Sie unter Erweiterte Analyseabfragen.

Jupyter-Notebook für die Arbeit mit Agentenprotokollen verwenden

Mit diesem Colab Jupyter-Beispielnotebook können Sie Agentenprotokolle interaktiv abfragen, visualisieren und auswerten.

BigQuery Agent Analytics SDK verwenden

Das BigQuery Agent Analytics SDK ist eine Open-Source-Python-Bibliothek, die eine Verbrauchs- und Bewertungsebene für die langfristige Beobachtbarkeit von KI-Agenten bietet. Dashboards und Notebooks eignen sich hervorragend für Ad-hoc-Analysen. Mit dem SDK können Sie das Verhalten von KI-Agenten systematisch und im großen Maßstab analysieren und prüfen.

Was Sie mit dem SDK tun können

Mit dem BigQuery Agent Analytics SDK können Sie die folgenden Aufgaben ausführen. Detaillierte Beispiele für die Loganalyse finden Sie im GitHub-Repository für das SDK.

Trace-Rekonstruktion: Polymorphe Ereignisprotokolle werden in kausale Ereignisketten rekonstruiert, um Sitzungen über mehrere Turns hinweg zu debuggen, einschließlich verschachtelter Tool- und LLM-Aufrufe.
Deterministische und semantische Bewertung: Bewerten Sie die Qualität des Agenten anhand regelbasierter Kriterien wie Latenz, Anzahl der Turns und Fehlerraten sowie semantischer Kriterien wie Korrektheit, Stimmung und Halluzination.
Abgleich der Vorgehensweise: Vergleichen Sie die tatsächlichen Ausführungspfade des KI-Agenten mit den erwarteten optimalen Vorgehensweisen, um die Effizienz der Schritte zu prüfen und festzustellen, ob Tools in der richtigen Reihenfolge verwendet wurden.
Verhaltensmonitoring und Abweichungserkennung: Führen Sie statistische Analysen nicht deterministischer Agentenausgaben durch, überwachen Sie die Verteilung von Nutzeranfragen und erkennen Sie Produktionsregressionen oder semantische Abweichungen.
Langfristiger Agentenspeicher: Agenten erhalten sitzungsübergreifenden Kontext, semantischen Abruf von Nutzerprofilen und einen tokenbudgetbewussten episodischen Speicher, der nativ in BigQuery gespeichert wird.

Aktivitäten des KI-Agenten protokollieren und analysieren

Die Einbindung des SDK in Ihre Agenten-Workflows umfasst in der Regel die folgenden Schritte:

Interaktionen protokollieren: Hängen Sie ein Logger-Plug-in (z. B. BigQueryAgentAnalyticsPlugin im ADK) oder einen Callback-Handler in Ihrem Agenten-Orchestrierungs-Framework an. Wenn Nutzer mit Ihrem KI-Agenten interagieren, werden die Logs asynchron über die Storage Write API (gRPC) mit hohem Durchsatz an BigQuery gestreamt.
Client initialisieren: Stellen Sie über das Python SDK eine Verbindung zu Ihrem Log-Dataset her:
```
from google.cloud import bigquery
from bigquery_agent_analytics import Client

client = Client(
    project_id="YOUR_PROJECT_ID",
    dataset_id="YOUR_DATASET_ID",
    table_id="agent_events",
)
```
Das Snippet verwendet die folgenden Komponenten:
- client: die übergeordnete Client-Instanz, die Abfragen programmatisch weiterleitet und aktive Datenbankverbindungen verwaltet.
- project_id: die Cloud de Confiance by S3NS Projekt-ID, die das Ziel-Dataset enthält.
- dataset_id: der Name des BigQuery-Datasets, in dem Logs gespeichert werden.
- table_id: die spezifische Tabelle, in der Telemetrieereignisse gespeichert werden (standardmäßig agent_events).
Sitzungstrace rekonstruieren: Rufen Sie eine bestimmte Unterhaltungssitzung ab, um die genaue Abfolge der Ereignisse zu visualisieren und zu überprüfen:
```
trace = client.get_session_trace(
    session_id="YOUR_SESSION_ID"
)
trace.render()
```
Das Snippet verwendet die folgenden Komponenten:
- trace: Das hydratisierte Trace-Objekt, das den rekonstruierten, kausal verknüpften hierarchischen DAG-Span-Baum aller Nutzer- und Agentenaktionen enthält.
- YOUR_SESSION_ID: die eindeutige ID der Sitzung, die Sie prüfen möchten.
Automatisierte Bewertungen ausführen: Sitzungsverläufe programmatisch bewerten oder auf Regressionen im Vergleich zu einer Golden Test Suite prüfen:
```
from bigquery_agent_analytics import (
    LLMAsJudge,
    TraceFilter,
)

# Run semantic evaluations across target sessions
evaluator = LLMAsJudge.correctness()
filters = TraceFilter(session_ids=["session_1", "session_2"])

report = client.evaluate(evaluator, filters=filters)
print(f"Evaluation Pass Rate: {report.pass_rate:.2%}")
```
Das Snippet verwendet die folgenden Komponenten:
- evaluator: Der semantische (LLMAsJudge) Evaluator, der zum Bewerten von Sitzungen verwendet wird. Sie können auch regelbasierte SystemEvaluator-Prüfungen ausführen oder Evaluatoren zu einer gewichteten GraderPipeline kombinieren.
- filters: die TraceFilter-Instanz, die die session_ids-Liste (oder das Zeitfenster und die Agentenfilter) angibt, für die Batchbewertungen in BigQuery ausgeführt werden sollen.
- report: das resultierende EvaluationReport-Objekt, das die Rohbewertungen der Sitzung, Messwertzusammenfassungen und Feedback des automatischen Bewerters enthält.

BigQuery Agent Analytics in Ihren Workflow einbinden

Informationen zum Einbinden von BigQuery Agent Analytics in Ihren Workflow finden Sie in der Dokumentation zu Ihrem Framework:

Leitfaden zum ADK BigQuery Analytics-Plug-in
BigQuery-Callback-Handler-Integration (LangChain und LangGraph)

Nächste Schritte

Codelab ansehen