Memecahkan masalah Gemini Live API

Dokumen ini memberikan langkah-langkah pemecahan masalah untuk masalah yang mungkin Anda alami saat menggunakan Gemini Live API.

Koneksi terputus secara tiba-tiba

Jika koneksi sesi Anda tiba-tiba terputus, penyebabnya mungkin karena batas token, timeout koneksi sesi, atau masalah jaringan.

Perilaku

Sesi terputus dengan kode error 1000 atau 1006.

Kemungkinan penyebab

  • Kompresi jendela konteks tidak diaktifkan dan token konteks melebihi batas token konteks sesi (hingga 128 ribu).
  • Tidak ada logika kelanjutan sesi yang diterapkan atau logika kelanjutan tidak diterapkan dengan benar.
  • Koneksi internet tidak stabil.

Alasan dan solusi

  • Token melebihi batas token konteks sesi: Untuk mencegah token melebihi batas token konteks sesi, aktifkan kompresi konteks. Hal ini dapat memengaruhi kualitas percakapan, karena model akan sesekali menghapus bagian awal histori chat.

  • Koneksi sesi berakhir setelah 10 menit: Kelola kelanjutan sesi untuk memungkinkan interaksi yang lebih lama. Untuk mengetahui detail selengkapnya, lihat praktik terbaik untuk melanjutkan sesi.

  • Koneksi internet tidak stabil: Verifikasi kondisi koneksi internet Anda, karena fluktuasi stabilitas dapat menyebabkan masalah konektivitas.

Model gagal memahami pengguna

Jika model tampaknya tidak memahami input Anda, pastikan audio Anda diformat dengan benar dan pertimbangkan kualitas mikrofon dan suara bising di latar belakang Anda.

Perilaku

Model merespons dengan informasi yang tidak relevan, merespons dengan informasi yang salah, atau meminta pengguna untuk mengulang.

Kemungkinan penyebab

  • Format audio input salah.
  • Kualitas mikrofon tidak bagus.
  • Suara bising di latar belakang terlalu tinggi.

Alasan dan solusi

  • Format audio input tidak benar: Verifikasi bahwa audio input menggunakan format PCM 16-bit little-endian dengan frekuensi sampling 16 kHz dan satu saluran mono.

  • Kualitas mikrofon tidak bagus: Uji kualitas mikrofon dengan merekam audio singkat dan memutarnya kembali. Jika kualitas mikrofon tidak bagus, coba gunakan mikrofon dengan kualitas yang lebih baik.

  • Suara bising di latar belakang terlalu tinggi: Uji tingkat suara bising di latar belakang dengan merekam audio singkat dan memutarnya kembali. Jika tingkat suara bising di latar belakang terlalu tinggi, coba pindahkan mikrofon lebih dekat ke pengguna atau gunakan mikrofon dengan peredam bising yang lebih baik.

Model tidak merespons

Jika Anda tidak menerima respons dari model, periksa opsi deteksi aktivitas suara dan koneksi WebSocket Anda.

Perilaku

Tidak ada respons dari model.

Kemungkinan penyebab

  • Setelan VAD tidak disetel dengan benar.
  • Koneksi WebSocket terganggu.

Alasan dan solusi

  • VAD disetel dengan tidak benar: VAD dinonaktifkan oleh pengguna. Dalam kasus ini, model akan terus menunggu ucapan pengguna dan tidak akan merespons pengguna. Pastikan untuk mengirim peristiwa ActivityStart dan ActivityEnd ke model jika VAD dinonaktifkan.

  • Koneksi WebSocket terganggu: Jika koneksi WebSocket terganggu, tidak akan ada komunikasi antara klien dan server. Periksa status koneksi WebSocket dan pastikan koneksi dibuat dengan benar.

Tidak dapat mengganggu model

Jika Anda tidak dapat menghentikan model saat model sedang berbicara, pastikan Anda menangani buffer pemutaran dan streaming audio dengan benar.

Perilaku

Model terus berbicara tanpa gangguan dari pengguna.

Kemungkinan penyebab

  • Gagal mengosongkan buffer pemutaran.
  • Gagal melakukan streaming audio ke Gemini Live API.
  • VAD yang disesuaikan tidak diterapkan dengan benar.

Alasan dan solusi

  • Gagal mengosongkan buffer pemutaran: Klien harus mengosongkan buffer pemutaran segera setelah menerima sinyal interupsi dari model. Jika tidak, model akan terus berbicara.

  • Gagal men-streaming audio ke Gemini Live API: Klien harus men-streaming audio ke Gemini Live API dalam potongan antara 20 ms dan 40 ms untuk meminimalkan latensi. Jika klien gagal men-streaming audio ke Gemini Live API, model tidak akan mengirim sinyal interupsi ke klien.

  • VAD yang disesuaikan tidak diterapkan dengan benar: Jika VAD yang disesuaikan gagal mengenali awal ucapan atau klien gagal mengirim sinyal ActivityStart ke model, model tidak akan mengirim sinyal interupsi ke klien.

Batasan umum

Batasan berikut berlaku untuk Gemini Live API. Setiap item mencakup mitigasi jika tersedia.

Bayar sesuai penggunaan prioritas tidak didukung

Gemini Live API tidak mendukung Bayar sesuai penggunaan prioritas sebagai opsi penggunaan.

Suara dapat berubah untuk satu giliran

Dalam kasus yang jarang terjadi, model merespons dengan suara selain yang Anda tetapkan di kolom voice_name. Perubahan ini terbatas pada satu giliran, dan giliran berikutnya akan menggunakan suara yang dikonfigurasi lagi. Tidak ada perubahan konfigurasi yang diperlukan.

Kecepatan ucapan dapat meningkat selama giliran bicara yang panjang

Saat model menghasilkan respons lisan yang panjang dan tanpa jeda, irama bicaranya dapat berangsur-angsur meningkat. Perilaku ini paling terlihat pada belokan tunggal yang melebihi 60 detik. Untuk menjaga kecepatan tetap stabil, gunakan pendekatan berikut:

  • Segmen output yang panjang: Hindari meminta model untuk membaca blok teks yang panjang dalam satu giliran. Bagi respons yang panjang menjadi beberapa bagian yang masing-masing kurang dari 100 kata, atau kurang dari 50 detik audio lisan.

  • Gunakan pergantian giliran percakapan: Gunakan pola dialog interaktif yang mengembalikan kontrol kepada pengguna di antara segmen.

Model dapat beralih bahasa secara tidak terduga

Jika model menentukan bahwa pengguna berbicara dalam bahasa selain bahasa yang dikonfigurasi, model dapat merespons dalam bahasa tersebut. Untuk mengurangi kemungkinan peralihan yang tidak disengaja, berikan petunjuk bahasa dengan menyetel kolom language_code dan dengan menyatakan bahasa yang diharapkan dalam petunjuk sistem. Untuk mengetahui informasi selengkapnya, lihat Menetapkan bahasa dan suara.

Urutan digit dapat diulang secara tidak konsisten

Saat pengguna mengucapkan urutan digit satu per satu, seperti nomor telepon, nomor kartu kredit, atau nomor rekening, model dapat mengulangi urutan tersebut dengan digit yang salah atau hilang. Untuk mengurangi error ini, tambahkan petunjuk sistem yang mengarahkan model untuk membaca kembali urutan satu digit dalam satu waktu dan meminta pengguna mengulangi urutan secara perlahan jika digit tidak jelas.