Gemini 3.5 Live-Übersetzung unterstützt die Sprache-zu-Sprache-Übersetzung mit niedriger Latenz in Echtzeit zwischen über 70 Sprachen mit dem gemini-3.5-live-translate-preview-Modell, das über die Agent Platform verfügbar ist. Wenn Sie die Live API mit Übersetzungseinstellungen konfigurieren, können Sie Audio in einer Sprache streamen und übersetzte Audioausgabe in einer anderen Sprache erhalten. So ist nahtloses Dolmetschen in Echtzeit möglich.
Sehen Sie sich zuerst das Einführungs-Notebook für Gemini 3.5 Live-Übersetzung an.
Übersetzung von Livestreams
Die BidiGenerateContent (Live) API unterhält eine persistente, bidirektionale WebSocket-Verbindung. Sie streamen Rohaudioblöcke an die Sitzung und erhalten in Echtzeit übersetzte Audioblöcke und optionale Transkripte.
import asyncio
from google import genai
from google.genai import types
# Initialize the client for Vertex AI / Agent Platform
client = genai.Client(enterprise=True, project=PROJECT_ID, location=LOCATION)
model = "gemini-3.5-live-translate-preview"
config = types.LiveConnectConfig(
response_modalities=["AUDIO"],
input_audio_transcription=types.AudioTranscriptionConfig(),
output_audio_transcription=types.AudioTranscriptionConfig(),
translation_config=types.TranslationConfig(
target_language_code="pl",
echo_target_language=True,
),
)
async def streaming_translation(audio_stream_generator):
async with client.aio.live.connect(model=model, config=config) as session:
# In a complete implementation, stream audio chunks concurrently:
# async for chunk in audio_stream_generator:
# await session.send_realtime_input(
# audio=types.Blob(data=chunk, mime_type="audio/pcm;rate=16000")
# )
async for response in session.receive():
if response.server_content:
server_content = response.server_content
if server_content.input_transcription:
print(f"Input transcript: {server_content.input_transcription.text}")
if server_content.output_transcription:
print(f"Output transcript: {server_content.output_transcription.text}")
if server_content.model_turn:
for part in server_content.model_turn.parts:
if part.inline_data:
translated_audio_chunk = part.inline_data.data
# Process or stream translated audio (24kHz PCM)
print(f"Received translated audio: {len(translated_audio_chunk)} bytes")
Audiospezifikationen
Audio als rohe, Little-Endian-, 16-Bit-lineare PCM streamen:
Eingabeformat: lineare 16-Bit-PCM mit 16 kHz (Mono, Little Endian).
Ausgabeformat: 16-Bit-lineare PCM mit 24 kHz (Mono, Little Endian).
Größe der Streaming-Blöcke: Blöcke mit einer Dauer von 100 ms werden für ein optimales Gleichgewicht zwischen Durchsatz und Latenz empfohlen.
# Streaming an audio chunk to an active session
await session.send_realtime_input(
audio=types.Blob(
data=pcm_bytes,
mime_type="audio/pcm;rate=16000",
)
)
Konfiguration
Die Live-Übersetzung wird konfiguriert, indem Sie einen TranslationConfig an Ihren LiveConnectConfig anhängen.
Konfigurationsparameter
target_language_code(String): Der BCP-47-Sprachcode für die gewünschte Ausgabesprache (z.B."pl","es","ja"). Der Standardwert ist"en".echo_target_language(boolesch): Steuert das Verhalten, wenn die gesprochene Eingabe bereits in der Zielsprache ist:True: Das Modell reproduziert und wiederholt die Eingabesprache im Ausgabestream.False: Das Modell bleibt stumm, wenn die Eingabe der Zielsprache entspricht. Die Standardeinstellung istFalse.
input_audio_transcription(AudioTranscriptionConfig): Optional. Aktiviert die synchronisierte Texttranskription für die eingehenden Quellaudiodaten.output_audio_transcription(AudioTranscriptionConfig): Optional. Aktiviert die synchronisierte Texttranskription für die ausgehenden übersetzten Audiodaten.
Sprachunterstützung
Die folgenden Sprachen und BCP-47-Sprachcodes werden für Gemini 3.5 Live-Übersetzung unterstützt:
| Sprache | BCP-47-Code | Sprache | BCP-47-Code |
|---|---|---|---|
| Afrikaans | af |
Kasachisch | kk |
| Akan | ak |
Khmer | km |
| Albanisch | sq |
Kinyarwanda | rw |
| Amharisch | am |
Koreanisch | ko |
| Arabisch | ar |
Lao | lo |
| Armenisch | hy |
Lettisch | lv |
| Aserbaidschanisch | az |
Litauisch | lt |
| Baskisch | eu |
Mazedonisch | mk |
| Belarussisch | be |
Malaiisch | ms |
| Bengalisch | bn |
Malayalam | ml |
| Bulgarisch | bg |
Marathi | mr |
| Burmesisch (Myanmar) | my |
Mongolisch | mn |
| Katalanisch | ca |
Nepalesisch | ne |
| Chinesisch (vereinfacht) | zh-Hans |
Norwegisch | no, nb |
| Chinesisch (traditionell) | zh-Hant |
Persisch | fa |
| Kroatisch | hr |
Polnisch | pl |
| Tschechisch | cs |
Portugiesisch (Brasilien) | pt-BR |
| Dänisch | da |
Portugiesisch (Portugal) | pt-PT |
| Niederländisch | nl |
Punjabi | pa |
| Englisch | en |
Rumänisch | ro |
| Estnisch | et |
Russisch | ru |
| Filipino | fil |
Serbisch | sr |
| Finnisch | fi |
Sindhi | sd |
| Französisch | fr |
Singhalesisch | si |
| Galizisch | gl |
Slowakisch | sk |
| Georgisch | ka |
Slowenisch | sl |
| Deutsch | de |
Spanisch | es |
| Griechisch | el |
Sundanesisch | su |
| Gujarati | gu |
Suaheli | sw |
| Hausa | ha |
Schwedisch | sv |
| Hebräisch | he |
Tamil | ta |
| Hindi | hi |
Telugu | te |
| Ungarisch | hu |
Thailändisch | th |
| Isländisch | is |
Türkisch | tr |
| Indonesisch | id |
Ukrainisch | uk |
| Italienisch | it |
Urdu | ur |
| Japanisch | ja |
Usbekisch | uz |
| Javanisch | jv |
Vietnamesisch | vi |
| Kannada | kn |
Zulu | zu |
Best Practices
Konsistente Abtastung beibehalten: Achten Sie darauf, dass die Audioeingabe strikt dem 16-kHz-Mono-PCM-Format entspricht, um Tonhöhenverschiebungen und Audioartefakte zu vermeiden.
Umgang mit akustischen Umgebungen: Das Modell filtert zwar mäßige Umgebungsgeräusche, aber laute Hintergrundgespräche oder sich überschneidende Sprecher können zu Übersetzungsfehlern führen.
Echomodus pro Anwendungsfall bewerten: Setzen Sie echo_target_language=False für einseitige Dolmetscher-Setups, um unnötige Wiederholungen zu vermeiden, wenn Sprecher bereits die Zielsprache verwenden.
| Modell-ID | ['gemini-3.5-live-translate-preview'] |
|
|---|---|---|
| Betriebsarten |
|
|
| Leistungsspektrum |
|
|
| Tools |
|
|
| APIs |
|
|
| Nutzungsoptionen |
|
|
| Unterstützte Regionen |
|
|
| Versionen |
|
|