Menggunakan analisis agen BigQuery

Analisis agen BigQuery adalah solusi open source yang memungkinkan Anda mengambil, menganalisis, dan memvisualisasikan data interaksi agen multimodal dalam skala besar. Analisis agen BigQuery memungkinkan Anda melakukan streaming interaksi agen mentah (permintaan, respons, panggilan alat, dan error) secara langsung ke BigQuery. Dengan begitu, Anda dapat melakukan evaluasi yang didukung AI, mengoptimalkan perintah agen, dan mengekstrak memori jangka panjang untuk meningkatkan kualitas interaksi di masa mendatang.

Analisis agen BigQuery didukung di Agent Development Kit (ADK) dan LangGraph (Pratinjau).

Arsitektur

Analisis agen BigQuery memfasilitasi streaming data aktivitas agen ke BigQuery. Dengan menggunakan BigQuery Storage Write API, solusi ini menyediakan streaming log dengan throughput tinggi dan latensi rendah tanpa memblokir eksekusi agen.

Alur data mencakup tahap berikut:

  1. Ambil foto. Plugin di Agent Development Kit (ADK) atau callback di LangGraph mencegat peristiwa interaksi.
  2. Streaming. Peristiwa interaksi dikirim ke BigQuery melalui Storage Write API. Jika skema standar tidak ada, agen akan membuatnya secara otomatis.
  3. Konsumsi. Dapatkan insight menggunakan dasbor bawaan, agen data, atau SQL dan fitur BigQuery ML lanjutan. Untuk meningkatkan kualitas proses debug dan evaluasi, Anda dapat menggunakan Python SDK. Untuk kasus penggunaan dan pen-debug-an lanjutan untuk evaluasi agen, Anda juga dapat menggunakan SDK analisis agen BigQuery.

Alur data analisis agen BigQuery dari framework orkestrasi agen ke BigQuery

Manfaat analisis agen

  • Aktifkan logging komprehensif dengan satu baris kode dan otomatiskan pengelolaan skema.
  • Mencatat dan menganalisis data multimodal termasuk teks, gambar, video, dan audio menggunakan tabel objek.
  • Lacak metrik operasional seperti penggunaan token dan latensi dalam skema yang telah ditentukan dan andal.
  • Mengidentifikasi peluang pengoptimalan menggunakan fungsi AI generatif dan penelusuran vektor BigQuery.
  • Amankan log agen dengan kontrol akses terperinci, penyamaran data, dan enkripsi.

Contoh cara menggunakan data log agen

Berikut adalah beberapa kasus penggunaan dan contoh umum untuk menangani data log agen.

Metrik operasional dan kemampuan observasi

  • Muat dasbor bawaan dan konfigurasi laporan dengan tabel Anda untuk menemukan agen dengan konsumsi token tinggi, error, atau durasi sesi yang panjang.
  • Gunakan SQL untuk mengelompokkan biaya menurut alur agen dan menentukan apakah agen tertentu, seperti agen penyempurnaan, menggunakan token dalam jumlah yang tidak proporsional dibandingkan dengan kontribusinya terhadap respons akhir.
  • Gunakan agen analisis percakapan BigQuery untuk analisis penyebab masalah yang didukung AI dengan menjalankan kueri menggunakan fungsi AI.GENERATE. Misalnya, "Analisis log percakapan ini dan jelaskan akar penyebab kegagalan."

Evaluasi agen dan analisis kualitas

  • Gunakan fungsi AI.SCORE untuk memberi peringkat percakapan dan mengukur peringkat agen dari waktu ke waktu.
  • Gunakan kueri SQL dengan Penelusuran Vektor untuk mengidentifikasi kelompok percakapan saat agen gagal membantu pengguna, lalu bandingkan dengan niat awal pengguna. Tindakan ini membantu menemukan kekurangan dalam kumpulan alat atau pusat informasi agen.

Insight dan kontekstualisasi bisnis

  • Lakukan JOIN antara tabel agent_events dan tabel bisnis lainnya untuk memberikan konteks pada data agen. Misalnya, tampilkan nilai pesanan rata-rata (AOV) untuk pelanggan yang berinteraksi dengan agen AI dibandingkan dengan pelanggan yang menggunakan kotak penelusuran.

Untuk contoh lainnya, lihat Kueri analisis lanjutan.

Bekerja dengan analisis agen BigQuery

Untuk mengintegrasikan analisis agen BigQuery ke dalam alur kerja Anda, lihat dokumentasi untuk framework Anda:

Langkah berikutnya