Utilizzare l'analisi degli agenti BigQuery

BigQuery agent analytics è una soluzione open source che ti consente di acquisire, analizzare e visualizzare su larga scala i dati di interazione multimodale degli agenti. BigQuery Agent Analytics consente di trasmettere in streaming le interazioni grezze degli agenti (richieste, risposte, chiamate di strumenti ed errori) direttamente in BigQuery. In questo modo puoi eseguire una valutazione basata sull'AI, ottimizzare i prompt dell'agente ed estrarre la memoria a lungo termine per migliorare le interazioni future.

BigQuery Agent Analytics è supportato in Agent Development Kit (ADK) e LangGraph (anteprima).

Architettura

BigQuery agent analytics facilita lo streaming dei dati sull'attività degli agenti in BigQuery. Utilizzando l'API BigQuery Storage Write, questa soluzione fornisce lo streaming di log a velocità effettiva elevata e bassa latenza senza bloccare l'esecuzione dell'agente.

Il flusso di dati include le seguenti fasi:

  1. Acquisisci. I plug-in nell'Agent Development Kit (ADK) o i callback in LangGraph intercettano gli eventi di interazione.
  2. Stream. Gli eventi di interazione vengono inviati a BigQuery tramite l'API Storage Write. Se non esiste uno schema standardizzato, l'agente ne crea uno automaticamente.
  3. Consume. Ottieni informazioni utilizzando dashboard predefinite, un agente dati o SQL e funzionalità avanzate di BigQuery ML. Per migliorare il debug e la valutazione, puoi utilizzare un SDK Python. Per il debug avanzato e i casi d'uso per la valutazione degli agenti, puoi utilizzare anche l'SDK BigQuery agent analytics.

Il flusso di dati di analisi dell'agente BigQuery dai framework di orchestrazione degli agenti a BigQuery

Vantaggi dell'analisi degli agenti

  • Abilita la registrazione completa con una sola riga di codice e automatizza la gestione dello schema.
  • Registra e analizza dati multimodali, tra cui testo, immagini, video e audio, utilizzando le tabelle degli oggetti.
  • Monitora le metriche operative come il consumo di token e la latenza all'interno di uno schema predefinito e solido.
  • Identifica le opportunità di ottimizzazione utilizzando le funzioni di AI generativa e la ricerca vettoriale di BigQuery.
  • Proteggi i log degli agenti con controlli di accesso granulari, mascheramento dei dati e crittografia.

Esempi di utilizzo dei dati dei log degli agenti

Di seguito sono riportati alcuni casi d'uso ed esempi comuni per l'utilizzo dei dati di log dell'agente.

Metriche operative e di osservabilità

  • Carica la dashboard predefinita e configura il report con la tua tabella per trovare gli agenti con un elevato consumo di token, errori o sessioni di lunga durata.
  • Utilizza SQL per analizzare i costi in base ai flussi degli agenti e determinare se un agente specifico, ad esempio un agente di perfezionamento, consuma una quantità sproporzionata di token rispetto al suo contributo alle risposte finali.
  • Utilizza l'agente di analisi conversazionale BigQuery per l'analisi della causa principale basata sull'AI eseguendo query con la funzione AI.GENERATE. Ad esempio, "Analizza questo log della conversazione e spiega la causa principale dell'errore".

Valutazione dell'agente e analisi della qualità

  • Utilizza la funzione AI.SCORE per classificare le conversazioni e misurare la classificazione dell'agente nel tempo.
  • Utilizza una query SQL con Vector Search per identificare i cluster di conversazioni in cui l'agente non è riuscito ad assistere gli utenti e confrontarli con l'intento originale dell'utente. In questo modo, è più facile trovare lacune nel set di strumenti o nella knowledge base dell'agente.

Approfondimenti aziendali e contestualizzazione

  • Esegui un'operazione JOIN tra la tabella agent_events e altre tabelle aziendali per contestualizzare i dati degli agenti. Ad esempio, mostra il valore medio dell'ordine (AOV) per i clienti che hanno interagito con l'agente AI rispetto a quelli che hanno utilizzato la barra di ricerca.

Per altri esempi, consulta Query di analisi avanzata.

Utilizzare BigQuery Agent Analytics

Per integrare l'analisi dell'agente BigQuery nel tuo flusso di lavoro, consulta la documentazione del tuo framework:

Passaggi successivi