Répliquer des voix

Vous pouvez reproduire la voix, le ton, le rythme et le timbre d'un locuteur à partir d'un court échantillon audio à l'aide de la fonctionnalité de réplication vocale. Gemini 3.8 Flash TTS (gemini-3.8-flash-tts) et Gemini 3.8 Flash-Lite TTS (gemini-3.8-flash-lite-tts) sont tous deux compatibles avec la réplication vocale.

Pour répliquer une voix, vous envoyez à l'API Voices un enregistrement de référence du locuteur (source_audio) et un enregistrement du même locuteur lisant une déclaration de consentement (consent_audio). Le service vérifie le consentement et renvoie un identifiant pour la voix répliquée. Vous transmettez ensuite cet identifiant dans speechConfig.voiceConfig.voice dans les requêtes generateContent ou streamGenerateContent, sans importer à nouveau l'audio.

Modes de stockage

Lorsque vous créez une voix répliquée, le champ store sélectionne l'un des deux modes de stockage :

• Voix stockée (store: true) : Google stocke la voix répliquée dans votre projet et renvoie un ID de voix (voice_...) dans le champ id. Vous pouvez lister, obtenir et supprimer des voix stockées avec l'API Voices.
• Clé de réplication vocale (store: false) : Google ne stocke pas la voix répliquée. Le service renvoie une clé de réplication vocale chiffrée (voicekey_...) dans le champ key, et votre application stocke la clé. Utilisez ce mode si votre charge de travail nécessite que Google ne conserve pas les profils vocaux.

La génération de voix avec une voix stockée redémarre sa période de conservation d'un an. Ainsi, une voix que vous utilisez régulièrement n'expire pas. Une requête qui utilise une clé de réplication vocale expirée échoue avec une erreur INVALID_ARGUMENT, et une requête qui utilise une voix stockée supprimée ou expirée échoue avec une erreur NOT_FOUND. Pour continuer à utiliser une voix répliquée, recréez-la avant qu'elle n'expire.

Avant de commencer

Suivez les étapes de la section Avant de commencer sur la page Gemini TTS. L'API Voices est disponible dans l'emplacement global via la version d'API v1beta1.

Exigences concernant l'audio et le consentement

Chaque demande de création d'une voix répliquée nécessite deux enregistrements du même locuteur adulte :

• Audio de référence (source_audio) : 10 à 30 secondes de discours clair et naturel du locuteur dont vous souhaitez reproduire la voix. Les échantillons plus longs produisent généralement de meilleurs résultats.

• Audio de consentement (consent_audio) : enregistrement du même locuteur lisant mot à mot la déclaration de consentement dans sa langue. Pour connaître les déclarations, consultez Langues acceptées et déclarations de consentement. En anglais, l'instruction est la suivante :

  "Je suis le propriétaire de cette voix et j'ai accepté la création d'un modèle synthétique de ma voix à l'aide de Cloud de Confiance by S3NS."

Les deux enregistrements doivent être des fichiers WAV au format PCM linéaire little-endian 16 bits, mono, à 24 kHz.

Si l'enregistrement du consentement ne correspond pas à la déclaration de consentement, ou si l'audio ne respecte pas les consignes d'utilisation, la requête create échoue avec une erreur INVALID_ARGUMENT qui décrit le problème.

Créer une voix répliquée stockée

Définissez les champs suivants dans la requête :

• store : true.
• voice.type : VOICE_TYPE_REPLICATED.
• voice.display_name : facultatif. Un nom pour la voix
• voice.replicated.source_audio et voice.replicated.consent_audio : enregistrements de référence et de consentement encodés en base64, chacun avec mime_type défini sur audio/wav.

Ne définissez pas voice.model. Les requêtes qui définissent un modèle avec store: true échouent avec une erreur INVALID_ARGUMENT.

La réponse renvoie l'ID de la voix dans le champ id.

import base64

from google import genai

client = genai.Client(enterprise=True, project="PROJECT_ID", location="global")

with open("SOURCE_AUDIO_PATH", "rb") as f:
    source_b64 = base64.b64encode(f.read()).decode("utf-8")

with open("CONSENT_AUDIO_PATH", "rb") as f:
    consent_b64 = base64.b64encode(f.read()).decode("utf-8")

replicated_voice = client.voices.create(
    store=True,
    voice={
        "type": "VOICE_TYPE_REPLICATED",
        "display_name": "Custom replicated speaker",
        "replicated": {
            "source_audio": {"mime_type": "audio/wav", "data": source_b64},
            "consent_audio": {"mime_type": "audio/wav", "data": consent_b64},
        },
    },
    timeout=60,
)

# The voice ID starts with "voice_".
print(f"Created voice ID: {replicated_voice.id}")

SOURCE_B64=$(base64 -w 0 SOURCE_AUDIO_PATH)
CONSENT_B64=$(base64 -w 0 CONSENT_AUDIO_PATH)

cat > request.json <<EOF
{
  "store": true,
  "voice": {
    "type": "VOICE_TYPE_REPLICATED",
    "displayName": "Custom replicated speaker",
    "replicated": {
      "sourceAudio": {"mimeType": "audio/wav", "data": "${SOURCE_B64}"},
      "consentAudio": {"mimeType": "audio/wav", "data": "${CONSENT_B64}"}
    }
  }
}
EOF

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/voices \
  -d @request.json | jq -r '.id'

Remplacez les éléments suivants :

• PROJECT_ID : ID de votre projet Cloud de Confiance by S3NS .
• SOURCE_AUDIO_PATH : chemin d'accès au fichier WAV de référence.
• CONSENT_AUDIO_PATH : chemin d'accès au fichier WAV de consentement.

Pour lister, obtenir ou supprimer des voix répliquées stockées, utilisez les mêmes méthodes que pour les voix conçues. Pour en savoir plus, consultez Gérer les voix stockées.

Créer une clé de réplication vocale

Définissez les champs suivants dans la requête :

• store : false.
• voice.type : VOICE_TYPE_REPLICATED.
• voice.model : valeur obligatoire. Modèle Gemini 3.8 TTS avec lequel créer la clé, par exemple gemini-3.8-flash-tts. La clé fonctionne avec les deux modèles Gemini 3.8 TTS.
• voice.replicated.source_audio et voice.replicated.consent_audio : enregistrements de référence et de consentement encodés en base64, chacun avec mime_type défini sur audio/wav.

La réponse renvoie la clé de réplication vocale dans le champ key.

import base64

from google import genai

client = genai.Client(enterprise=True, project="PROJECT_ID", location="global")

with open("SOURCE_AUDIO_PATH", "rb") as f:
    source_b64 = base64.b64encode(f.read()).decode("utf-8")

with open("CONSENT_AUDIO_PATH", "rb") as f:
    consent_b64 = base64.b64encode(f.read()).decode("utf-8")

replicated_voice = client.voices.create(
    store=False,
    voice={
        "model": "gemini-3.8-flash-tts",
        "type": "VOICE_TYPE_REPLICATED",
        "replicated": {
            "source_audio": {"mime_type": "audio/wav", "data": source_b64},
            "consent_audio": {"mime_type": "audio/wav", "data": consent_b64},
        },
    },
    timeout=60,
)

# Store the key in your application. It starts with "voicekey_".
voice_key = replicated_voice.key

SOURCE_B64=$(base64 -w 0 SOURCE_AUDIO_PATH)
CONSENT_B64=$(base64 -w 0 CONSENT_AUDIO_PATH)

cat > request.json <<EOF
{
  "store": false,
  "voice": {
    "model": "gemini-3.8-flash-tts",
    "type": "VOICE_TYPE_REPLICATED",
    "replicated": {
      "sourceAudio": {"mimeType": "audio/wav", "data": "${SOURCE_B64}"},
      "consentAudio": {"mimeType": "audio/wav", "data": "${CONSENT_B64}"}
    }
  }
}
EOF

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/voices \
  -d @request.json | jq -r '.key'

Générer un discours avec une voix répliquée

Transmettez l'ID de voix ou la clé de réplication vocale dans speechConfig.voiceConfig.voice :

from google import genai

client = genai.Client(enterprise=True, project="PROJECT_ID", location="global")

response = client.models.generate_content(
    model="gemini-3.8-flash-tts",
    contents=[{
        "role": "user",
        "parts": [{
            "text": "Hello! This audio was generated with a replicated voice.",
            "speech_metadata": {"style": "warm and conversational"},
        }],
    }],
    config={
        "response_modalities": ["AUDIO"],
        "speech_config": {"voice_config": {"voice": "VOICE"}},
    },
)

# The SDK has already decoded the base64 audio, so inline_data.data is a
# complete WAV file by default.
with open("replicated_voice.wav", "wb") as f:
    f.write(response.candidates[0].content.parts[0].inline_data.data)

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-3.8-flash-tts:generateContent \
  -d '{
    "contents": [{
      "role": "user",
      "parts": [{
        "text": "Hello! This audio was generated with a replicated voice.",
        "speechMetadata": {"style": "warm and conversational"}
      }]
    }],
    "generationConfig": {
      "responseModalities": ["AUDIO"],
      "speechConfig": {
        "voiceConfig": {"voice": "VOICE"}
      }
    }
  }' | jq -r '.candidates[0].content.parts[0].inlineData.data' | base64 --decode > replicated_voice.wav

Remplacez VOICE par l'ID de voix (voice_...) ou la clé de réplication vocale (voicekey_...) renvoyée par la méthode create.

Les requêtes de création de voix sont soumises à un quota par projet et par minute. Si vous la dépassez, la méthode create renvoie une erreur RESOURCE_EXHAUSTED. Pour en savoir plus, consultez Quotas et limites du système.

Langues et déclarations de consentement acceptées

L'API Voices vérifie le consentement en comparant la transcription de consent_audio à la déclaration de consentement. Le locuteur doit lire la déclaration dans sa langue mot pour mot :

Bonnes pratiques

• Enregistrez dans un environnement calme : limitez l'écho, le bruit de fond, la musique et les voix qui se chevauchent. La qualité de la sortie dépend de la qualité de source_audio.
• Respectez les conditions d'enregistrement : enregistrez source_audio et consent_audio avec le même micro dans la même pièce pour que la vérification du locuteur réussisse.
• Convertissez au format requis : rééchantillonnez les enregistrements à 24 kHz, mono, PCM WAV 16 bits avant de les encoder.
• Planifier le renouvellement : les clés de réplication vocale sont valides pendant sept jours, et les voix stockées expirent un an après leur dernière utilisation. Conservez les enregistrements de la source et du consentement, ou un processus permettant de les collecter, afin de pouvoir recréer la voix avant son expiration.

Étapes suivantes

• Créez une voix personnalisée à partir d'une description textuelle avec Voice Design.
• Pour en savoir plus sur le style au niveau du tour, les balises intégrées et les dialogues à plusieurs locuteurs, consultez Générer des voix avec Gemini TTS.