Gemini Live API を使用すると、Gemini と音声と動画によるやり取りを低レイテンシかつリアルタイムで行うことができます。音声、動画、テキストの連続ストリームを処理して、人間のような音声による応答を即座に提供します。これにより、ユーザーは自然な会話機能を利用できます。ライブ アバターでは、音声レスポンスと同期する人間のようなアイコンとやり取りするオプションが追加され、ユーザーとのやり取りが改善され、よりパーソナライズされたエクスペリエンスが提供されます。
Agent Studio で Gemini Live API を試す
サンプル ユースケース
Gemini Live API を使用すると、次のようなさまざまな業界向けのリアルタイムの音声エージェントと動画エージェントを構築できます。
ブランドの企業アンバサダー: 企業ウェブ プロパティまたはモバイルアプリに導入されるインタラクティブなブランド担当者。承認された従業員の肖像または企業リリースが実行された有料タレントから生成されます。
e コマースと小売業: パーソナライズされたおすすめを提供するショッピング アシスタントや、お客様の問題を解決するサポート エージェント。
ゲーム: インタラクティブなノンプレーヤー キャラクター（NPC）、ゲーム内ヘルプ アシスタント、ゲーム内コンテンツのリアルタイム翻訳。
次世代インターフェース: ロボット工学、スマート グラス、車両における音声と動画対応のエクスペリエンス。
医療: 施設とケアのロジスティクスを支援するナビゲーション ガイド。
金融サービス: 日常的な銀行業務のリクエストをトリアージする会話エージェント。
教育: パーソナライズされた指導とフィードバックを提供する AI メンターと学習者コンパニオン。
主な機能
Gemini Live API は、堅牢な音声エージェントと動画エージェントを構築するための包括的な機能セットを提供します。
高音質: Gemini Live API は、複数の言語で自然でリアルな音声を提供します。
多言語サポート: 24 の言語で会話できます。
割り込み: ユーザーは、応答性の高いインタラクションのために、いつでもモデルを中断できます。
アフェクティブ ダイアログ: ユーザーの入力表現に合わせて、回答のスタイルとトーンを調整します。
ツールの使用: 関数呼び出しや Google 検索などのツールを統合して、動的なやり取りを実現します。
音声文字変換: ユーザー入力とモデル出力の両方のテキスト文字変換を提供します。会話のサイドチャネルではなく、最終目標としての文字起こしについては、Gemini 3.5 Transcribe をご覧ください。
プロアクティブ音声: モデルが応答するタイミングやコンテキストを制御できます。
技術仕様
次の表に、Gemini Live API の技術仕様の概要を示します。
| カテゴリ | 詳細 |
|---|---|
| 入力モダリティ | 音声（RAW 16 ビット PCM 音声、16kHz、リトル エンディアン）、画像/動画（JPEG 1FPS）、テキスト |
| 出力モダリティ | 音声（RAW 16 ビット PCM 音声、24kHz、リトル エンディアン）、テキスト |
| 動画（ライブアバター） | 動画（mp4） |
| プロトコル | ステートフル WebSocket 接続（WSS） |
サポートされているモデル
次のモデルは Gemini Live API をサポートしています。インタラクションの要件に基づいて適切なモデルを選択してください。
| モデル ID | 可用性 | ユースケース | 主な機能 |
|---|---|---|---|
gemini-3.8-live |
一般提供 | （推奨）低レイテンシの音声エージェント。シームレスな多言語切り替えをサポートします。 |
|
gemini-live-2.5-flash-native-audio |
一般提供 | （推奨）低レイテンシの音声エージェント。シームレスな多言語切り替えと感情的なトーンをサポートします。 |
|
gemini-3.5-transcribe-live-preview |
プレビュー | 音声文字変換のみ。リアルタイムの字幕、音声入力、通話の文字起こし。音声ではなくテキストを返すため、会話は行いません。 |
|
使ってみる
開発環境に一致するガイドを選択してください。
生成 AI SDK のチュートリアル
Gen AI SDK を使用して Gemini Live API に接続し、Python バックエンドでリアルタイムのマルチモーダル アプリケーションを構築します。
WebSocket のチュートリアル
WebSocket を使用して Gemini Live API に接続し、JavaScript フロントエンドと Python バックエンドを使用してリアルタイムのマルチモーダル アプリケーションを構築します。
ADK のチュートリアル
エージェントを作成し、Agent Development Kit（ADK）ストリーミングを使用して音声と動画の通信を有効にします。
パートナーとの統合
パートナーとの統合を希望する場合は、これらのプラットフォームで WebRTC プロトコルを介して Gemini Live API がすでに統合されており、リアルタイムの音声と動画のアプリケーションの開発を効率化できます。
LiveKit と ADK のリファレンス アーキテクチャ
高度なセッション オーケストレーション、ルーティング、マルチエージェント委任を必要とする高度な本番環境グレードの音声アシスタントの場合は、Agent Development Kit（ADK）を介して Gemini Live API で LiveKit（WebRTC）を使用して、低レイテンシの双方向統合を構築できます。
このアーキテクチャでは、最初のお客様とのやり取りを処理し、リクエストを専門のサブエージェントに動的にルーティングするオーケストレーター エージェントをデプロイできます（たとえば、transferAgent オーケストレーションを使用して、コンテキストをフライト予約エージェントまたはホテル予約エージェントに委任します）。
このリファレンス デザインを調べてデプロイするには、GitHub の公式リファレンス コードベース実装をご覧ください。