Replicar vozes

Você pode reproduzir a voz, o tom, a cadência e o timbre de um falante em uma pequena amostra de áudio usando o recurso de replicação de voz. O Gemini 3.8 Flash TTS (gemini-3.8-flash-tts) e o Gemini 3.8 Flash-Lite TTS (gemini-3.8-flash-lite-tts) oferecem suporte à replicação de voz.

Para replicar uma voz, envie uma gravação de referência do falante (source_audio) e uma gravação da mesma pessoa lendo uma declaração de consentimento (consent_audio) para a API Voices. O serviço verifica o consentimento e retorna um identificador para a voz replicada. Em seguida, transmita esse identificador em speechConfig.voiceConfig.voice nas solicitações generateContent ou streamGenerateContent, sem fazer upload do áudio novamente.

Modos de armazenamento

Ao criar uma voz replicada, o campo store seleciona um de dois modos de armazenamento:

• Voz armazenada (store: true): o Google armazena a voz replicada no seu projeto e retorna um ID de voz (voice_...) no campo id. É possível listar, acessar e excluir vozes armazenadas com a API Voices.
• Chave de replicação de voz (store: false): o Google não armazena a voz replicada. O serviço retorna uma chave de replicação de voz criptografada (voicekey_...) no campo key, e seu aplicativo armazena a chave. Use esse modo se a carga de trabalho exigir que o Google não mantenha perfis de voz.

A geração de fala com uma voz armazenada reinicia o período de armazenamento de um ano. Assim, uma voz que você usa regularmente não expira. Uma solicitação que usa uma chave de replicação de voz expirada falha com um erro INVALID_ARGUMENT, e uma solicitação que usa uma voz armazenada excluída ou expirada falha com um erro NOT_FOUND. Para continuar usando uma voz replicada, crie-a novamente antes que ela expire.

Antes de começar

Conclua as etapas em Antes de começar na página de TTS do Gemini. A API Voices está disponível no local global pela versão v1beta1 da API.

Requisitos de áudio e consentimento

Cada solicitação para criar uma voz replicada precisa de duas gravações do mesmo locutor adulto:

• Áudio de referência (source_audio): 10 a 30 segundos de fala limpa e natural do locutor cuja voz você quer replicar. Amostras mais longas geralmente produzem resultados melhores.

• Áudio de consentimento (consent_audio): uma gravação da mesma pessoa lendo a declaração de consentimento na íntegra no idioma dela. Para conferir as declarações, consulte Idiomas aceitos e declarações de consentimento. Em inglês, a declaração é:

  "Eu sou o proprietário desta voz e consenti a criação de um modelo sintético da minha voz usando o Google Cloud."

As duas gravações precisam ser arquivos WAV com PCM linear little-endian de 16 bits, mono, a 24 kHz.

Se a gravação de consentimento não corresponder à declaração de consentimento ou se o áudio não atender às diretrizes de uso, a solicitação create vai falhar com um erro INVALID_ARGUMENT que descreve o problema.

Criar uma voz replicada armazenada

Defina os seguintes campos na solicitação:

• store: true.
• voice.type: VOICE_TYPE_REPLICATED.
• voice.display_name: opcional. Um nome para a voz.
• voice.replicated.source_audio e voice.replicated.consent_audio: as gravações de referência e consentimento codificadas em base64, cada uma com mime_type definido como audio/wav.

Não defina voice.model. As solicitações que definem um modelo com store: true falham com um erro INVALID_ARGUMENT.

A resposta retorna o ID da voz no campo id.

import base64

from google import genai

client = genai.Client(enterprise=True, project="PROJECT_ID", location="global")

with open("SOURCE_AUDIO_PATH", "rb") as f:
    source_b64 = base64.b64encode(f.read()).decode("utf-8")

with open("CONSENT_AUDIO_PATH", "rb") as f:
    consent_b64 = base64.b64encode(f.read()).decode("utf-8")

replicated_voice = client.voices.create(
    store=True,
    voice={
        "type": "VOICE_TYPE_REPLICATED",
        "display_name": "Custom replicated speaker",
        "replicated": {
            "source_audio": {"mime_type": "audio/wav", "data": source_b64},
            "consent_audio": {"mime_type": "audio/wav", "data": consent_b64},
        },
    },
    timeout=60,
)

# The voice ID starts with "voice_".
print(f"Created voice ID: {replicated_voice.id}")

SOURCE_B64=$(base64 -w 0 SOURCE_AUDIO_PATH)
CONSENT_B64=$(base64 -w 0 CONSENT_AUDIO_PATH)

cat > request.json <<EOF
{
  "store": true,
  "voice": {
    "type": "VOICE_TYPE_REPLICATED",
    "displayName": "Custom replicated speaker",
    "replicated": {
      "sourceAudio": {"mimeType": "audio/wav", "data": "${SOURCE_B64}"},
      "consentAudio": {"mimeType": "audio/wav", "data": "${CONSENT_B64}"}
    }
  }
}
EOF

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/voices \
  -d @request.json | jq -r '.id'

Substitua:

• PROJECT_ID: o ID do projeto do Cloud de Confiance by S3NS .
• SOURCE_AUDIO_PATH: o caminho para o arquivo WAV de referência.
• CONSENT_AUDIO_PATH: o caminho para o arquivo WAV de consentimento.

Para listar, receber ou excluir vozes replicadas armazenadas, use os mesmos métodos das vozes projetadas. Para mais detalhes, consulte Gerenciar vozes armazenadas.

Criar uma chave de replicação de voz

Defina os seguintes campos na solicitação:

• store: false.
• voice.type: VOICE_TYPE_REPLICATED.
• voice.model: obrigatório. O modelo de TTS do Gemini 3.8 para criar a chave, por exemplo, gemini-3.8-flash-tts. A chave funciona com os dois modelos de TTS do Gemini 3.8.
• voice.replicated.source_audio e voice.replicated.consent_audio: as gravações de referência e consentimento codificadas em base64, cada uma com mime_type definido como audio/wav.

A resposta retorna a chave de replicação de voz no campo key.

import base64

from google import genai

client = genai.Client(enterprise=True, project="PROJECT_ID", location="global")

with open("SOURCE_AUDIO_PATH", "rb") as f:
    source_b64 = base64.b64encode(f.read()).decode("utf-8")

with open("CONSENT_AUDIO_PATH", "rb") as f:
    consent_b64 = base64.b64encode(f.read()).decode("utf-8")

replicated_voice = client.voices.create(
    store=False,
    voice={
        "model": "gemini-3.8-flash-tts",
        "type": "VOICE_TYPE_REPLICATED",
        "replicated": {
            "source_audio": {"mime_type": "audio/wav", "data": source_b64},
            "consent_audio": {"mime_type": "audio/wav", "data": consent_b64},
        },
    },
    timeout=60,
)

# Store the key in your application. It starts with "voicekey_".
voice_key = replicated_voice.key

SOURCE_B64=$(base64 -w 0 SOURCE_AUDIO_PATH)
CONSENT_B64=$(base64 -w 0 CONSENT_AUDIO_PATH)

cat > request.json <<EOF
{
  "store": false,
  "voice": {
    "model": "gemini-3.8-flash-tts",
    "type": "VOICE_TYPE_REPLICATED",
    "replicated": {
      "sourceAudio": {"mimeType": "audio/wav", "data": "${SOURCE_B64}"},
      "consentAudio": {"mimeType": "audio/wav", "data": "${CONSENT_B64}"}
    }
  }
}
EOF

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/voices \
  -d @request.json | jq -r '.key'

Gerar fala com uma voz replicada

Transmita o ID de voz ou a chave de replicação de voz em speechConfig.voiceConfig.voice:

from google import genai

client = genai.Client(enterprise=True, project="PROJECT_ID", location="global")

response = client.models.generate_content(
    model="gemini-3.8-flash-tts",
    contents=[{
        "role": "user",
        "parts": [{
            "text": "Hello! This audio was generated with a replicated voice.",
            "speech_metadata": {"style": "warm and conversational"},
        }],
    }],
    config={
        "response_modalities": ["AUDIO"],
        "speech_config": {"voice_config": {"voice": "VOICE"}},
    },
)

# The SDK has already decoded the base64 audio, so inline_data.data is a
# complete WAV file by default.
with open("replicated_voice.wav", "wb") as f:
    f.write(response.candidates[0].content.parts[0].inline_data.data)

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-3.8-flash-tts:generateContent \
  -d '{
    "contents": [{
      "role": "user",
      "parts": [{
        "text": "Hello! This audio was generated with a replicated voice.",
        "speechMetadata": {"style": "warm and conversational"}
      }]
    }],
    "generationConfig": {
      "responseModalities": ["AUDIO"],
      "speechConfig": {
        "voiceConfig": {"voice": "VOICE"}
      }
    }
  }' | jq -r '.candidates[0].content.parts[0].inlineData.data' | base64 --decode > replicated_voice.wav

Substitua VOICE pelo ID de voz (voice_...) ou pela chave de replicação de voz (voicekey_...) retornada pelo método create.

As solicitações de criação de voz estão sujeitas a uma cota por projeto e por minuto. Se você exceder esse limite, o método create vai retornar um erro RESOURCE_EXHAUSTED. Para mais informações, consulte Cotas e limites do sistema.

Idiomas e declarações de consentimento aceitos

A API Voices verifica o consentimento comparando a transcrição de consent_audio com a declaração de consentimento. O locutor precisa ler a declaração na íntegra no idioma dele:

Práticas recomendadas

• Grave em um ambiente silencioso: minimize o eco, o ruído de fundo, a música e as vozes sobrepostas. A qualidade da saída depende da qualidade de source_audio.
• Corresponda às condições de gravação: grave source_audio e consent_audio com o mesmo microfone na mesma sala para que a verificação de voz seja bem-sucedida.
• Converta para o formato necessário: faça uma nova amostragem das gravações para 24 kHz, mono, PCM WAV de 16 bits antes de codificá-las.
• Planeje a renovação: as chaves de replicação de voz são válidas por sete dias, e as vozes armazenadas expiram um ano após o último uso. Mantenha as gravações de origem e consentimento ou um processo para coletá-las. Assim, você pode criar a voz novamente antes que ela expire.

A seguir

• Crie uma voz personalizada com base em uma descrição de texto usando o Design de voz.
• Saiba mais sobre estilização no nível do turno, tags inline e diálogo com vários locutores em Gerar fala com o Gemini TTS.