Créer une voix personnalisée avec le remixage vocal

Vous pouvez créer une voix personnalisée en modifiant une voix existante à l'aide de la fonctionnalité de remixage de voix. Au lieu de décrire une voix de zéro, vous choisissez une voix de base et décrivez les modifications à apporter, comme un âge, une hauteur, une énergie, un timbre ou un accent différents. L'API Voices stocke le résultat en tant que nouvelle voix dans votre projet et renvoie un ID voice_... réutilisable que vous transmettez dans les requêtes de génération de voix.

Vous pouvez remixer les voix suivantes :

Les voix remixées fonctionnent avec Gemini 3.8 Flash TTS (gemini-3.8-flash-tts) et Gemini 3.8 Flash-Lite TTS (gemini-3.8-flash-lite-tts).

Fonctionnement du remixage de la voix

Le remixage de voix utilise la même méthode create de l'API Voices que la conception de voix, avec le champ voice.prompted.base_voice ajouté :

  1. Choisissez une voix de base et décrivez les modifications : appelez la méthode create de l'API Voices avec voice.type défini sur VOICE_TYPE_PROMPTED, store défini sur true, voice.prompted.base_voice défini sur le nom ou l'ID d'une voix existante, et voice.prompted.input défini sur une description des modifications.
  2. Recevoir un nouvel ID de voix et un échantillon : l'API Voices applique vos modifications à la voix de base, stocke le résultat en tant que nouvelle voix dans votre projet et renvoie son ID (par exemple, voice_abc123...) dans le champ id et un échantillon de la voix dans le champ sample_audio. La voix de base ne change pas.
  3. Générer à nouveau un discours ou un remix : transmettez le nouvel ID de voix dans speechConfig.voiceConfig.voice lorsque vous appelez generateContent ou streamGenerateContent. Pour affiner davantage la voix, transmettez le nouvel ID de voix en tant que base_voice d'une autre requête create.

Avant de commencer

  1. Installez la Google Cloud CLI.

  2. Configurez la gcloud CLI afin d'utiliser votre identité fédérée.

    Pour en savoir plus, consultez Se connecter à la gcloud CLI avec votre identité fédérée.

  3. Pour initialiser la gcloud CLI, exécutez la commande suivante :

    gcloud init
  4. Créez ou sélectionnez un projet Cloud de Confiance .

    Rôles requis pour sélectionner ou créer un projet

    • Sélectionner un projet : la sélection d'un projet ne nécessite pas de rôle IAM spécifique. Vous pouvez sélectionner n'importe quel projet pour lequel un rôle vous a été attribué.
    • Créer un projet : pour créer un projet, vous devez disposer du rôle Créateur de projet (roles/resourcemanager.projectCreator), qui contient l'autorisation resourcemanager.projects.create. Découvrez comment attribuer des rôles.
    • Créez un projet Cloud de Confiance  :

      gcloud projects create PROJECT_ID

      Remplacez PROJECT_ID par le nom du projet Cloud de Confiance que vous créez.

    • Sélectionnez le projet Cloud de Confiance que vous avez créé :

      gcloud config set project PROJECT_ID

      Remplacez PROJECT_ID par le nom de votre projet Cloud de Confiance .

  5. Si vous utilisez un projet existant pour ce guide, vérifiez que vous disposez des autorisations nécessaires pour suivre les instructions. Si vous avez créé un projet, vous disposez déjà des autorisations requises.

  6. Vérifiez que la facturation est activée pour votre projet Cloud de Confiance .

  7. Activez l'API Agent Platform si ce n'est pas déjà fait :

    Rôles requis pour activer les API

    Pour activer des API, vous devez disposer de l'autorisation serviceusage.services.enable. Si vous avez créé le projet, vous disposez probablement déjà de cette autorisation via le rôle Propriétaire (roles/owner). Sinon, vous pouvez l'obtenir via le rôle Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin). Découvrez comment attribuer des rôles.

    gcloud services enable aiplatform.googleapis.com
  8. Créez des identifiants d'authentification locaux pour votre compte utilisateur :

    gcloud auth application-default login

    Si une erreur d'authentification est renvoyée, vérifiez que vous vous êtes connecté à la gcloud CLI avec votre identité fédérée.

Pour utiliser les exemples Python, installez la version 2.33.0 ou ultérieure du SDK Google Gen AI :

pip install --upgrade "google-genai>=2.33.0"

L'API Voices est disponible dans l'emplacement global via la version v1beta1 de l'API.

Rôles requis

Pour obtenir les autorisations nécessaires pour remixer des voix et générer des énoncés vocaux avec celles-ci, demandez à votre administrateur de vous accorder les rôles IAM suivants sur votre projet Cloud de Confiance by S3NS  :

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Créer une voix remixée

Définissez les champs suivants dans la requête :

  • store : doit être défini sur true. Les voix remixées sont toujours stockées dans votre projet. Les requêtes qui définissent base_voice avec store: false échouent avec une erreur INVALID_ARGUMENT.
  • voice.type : VOICE_TYPE_PROMPTED.
  • voice.prompted.base_voice : voix à remixer. Utilisez le nom d'une voix prédéfinie (par exemple, Puck), l'ID d'une voix de la bibliothèque de voix étendue ou l'ID voice_... d'une voix conçue ou remixée. Si la voix n'existe pas, la requête échoue avec une erreur NOT_FOUND.
  • voice.prompted.input : description en langage naturel des modifications à apporter à la voix de base.
  • voice.display_name, voice.gender, voice.language_code : métadonnées facultatives pour la nouvelle voix.

Ne définissez pas voice.model. Les requêtes qui définissent un modèle avec store: true échouent avec une erreur INVALID_ARGUMENT.

Le remixage d'une voix peut prendre plusieurs secondes. L'exemple Python définit le délai avant expiration de la requête sur 60 secondes.

La réponse contient les champs suivants :

  • id : ID de la nouvelle voix.
  • prompted.base_voice : voix de base que vous avez remixée.
  • sample_audio : échantillon de la nouvelle voix. Le champ data contient l'audio encodé en base64, et le champ mime_type indique son encodage. Par défaut, l'échantillon est un fichier WAV complet (audio/wav) avec un en-tête RIFF : PCM 16 bits, 24 kHz, mono. Certaines voix peuvent renvoyer un PCM 16 bits sans en-tête (audio/l16; rate=24000; channels=1) à la place. Vérifiez donc mime_type avant d'enregistrer l'audio.
  • usage : nombre de jetons utilisés par la requête. Pour en savoir plus, reportez-vous à la page Tarifs.

Les exemples suivants remixent la voix prédéfinie Puck :

Python

Installer

pip install --upgrade google-genai

Pour en savoir plus, consultez la documentation de référence du SDK.

Définissez des variables d'environnement pour utiliser le SDK Google Gen AI avec Vertex AI :

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_ENTERPRISE=True

import base64
import wave

from google import genai

client = genai.Client(enterprise=True, project="PROJECT_ID", location="global")

voice = client.voices.create(
    store=True,
    voice={
        "type": "VOICE_TYPE_PROMPTED",
        "display_name": "Older British Puck",
        "prompted": {
            "base_voice": "Puck",
            "input": (
                "Make the voice sound slightly older and more grounded, with a"
                " warm British accent and measured audiobook narration pacing."
            ),
        },
    },
    timeout=60,
)

print(f"Created voice ID: {voice.id}")

# Save the voice sample. The SDK returns sample_audio.data as a base64
# string. By default, it's a complete WAV file (audio/wav). For
# compatibility, add a WAV header if the sample is raw 16-bit PCM
# (audio/l16).
sample = base64.b64decode(voice.sample_audio.data)
if voice.sample_audio.mime_type.lower().startswith("audio/l16"):
    with wave.open("remixed_voice_sample.wav", "wb") as wf:
        wf.setnchannels(1)
        wf.setsampwidth(2)
        wf.setframerate(24000)
        wf.writeframes(sample)
else:
    with open("remixed_voice_sample.wav", "wb") as f:
        f.write(sample)

REST

Avant d'utiliser les données de requête, effectuez les remplacements suivants :

  • PROJECT_ID : ID de votre projet Cloud de Confiance by S3NS .

Méthode HTTP et URL :

POST https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/voices

Corps JSON de la requête :

{
  "store": true,
  "voice": {
    "type": "VOICE_TYPE_PROMPTED",
    "displayName": "Older British Puck",
    "prompted": {
      "baseVoice": "Puck",
      "input": "Make the voice sound slightly older and more grounded, with a warm British accent and measured audiobook narration pacing."
    }
  }
}

Pour envoyer votre requête, choisissez l'une des options suivantes :

curl

Enregistrez le corps de la requête dans un fichier nommé request.json, puis exécutez la commande suivante :

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/voices"

PowerShell

Enregistrez le corps de la requête dans un fichier nommé request.json, puis exécutez la commande suivante :

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/voices" | Select-Object -Expand Content

Vous devriez recevoir une réponse JSON semblable à la suivante. Le champ sample_audio.data est tronqué.

{
  "id": "voice_7bd85ebf-761b-4969-8544-4ec60f06d124",
  "prompted": {
    "base_voice": "Puck"
  },
  "usage": {
    "total_tokens": 578,
    "total_input_tokens": 297,
    "input_tokens_by_modality": [
      {"modality": "text", "tokens": 38},
      {"modality": "audio", "tokens": 259}
    ],
    "total_output_tokens": 281,
    "output_tokens_by_modality": [
      {"modality": "audio", "tokens": 281}
    ]
  },
  "sample_audio": {
    "mime_type": "audio/wav",
    "data": "UklGRpTwAwBXQVZF..."
  }
}

Par défaut, sample_audio.mime_type est défini sur audio/wav, et sample_audio.data contient un fichier WAV complet encodé en base64. Si mime_type est défini sur audio/l16, les données décodées sont des données audio PCM 16 bits sans en-tête à 24 kHz, mono, et nécessitent un en-tête WAV pour que la plupart des lecteurs puissent les ouvrir.

Générer un discours avec une voix remixée

Transmettez l'ID de la voix dans speechConfig.voiceConfig.voice, de la même manière que vous transmettez une voix conçue :

Python

Installer

pip install --upgrade google-genai

Pour en savoir plus, consultez la documentation de référence du SDK.

Définissez des variables d'environnement pour utiliser le SDK Google Gen AI avec Vertex AI :

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_ENTERPRISE=True

from google import genai

client = genai.Client(enterprise=True, project="PROJECT_ID", location="global")

response = client.models.generate_content(
    model="gemini-3.8-flash-tts",
    contents=[{
        "role": "user",
        "parts": [{
            "text": "Chapter One. The fog rolled quietly across the harbor at dawn.",
            "speech_metadata": {"style": "calm and reflective"},
        }],
    }],
    config={
        "response_modalities": ["AUDIO"],
        "speech_config": {"voice_config": {"voice": "VOICE_ID"}},
    },
)

# The SDK has already decoded the base64 audio, so inline_data.data is a
# complete WAV file by default.
with open("remixed_voice.wav", "wb") as f:
    f.write(response.candidates[0].content.parts[0].inline_data.data)

REST

Avant d'utiliser les données de requête, effectuez les remplacements suivants :

  • PROJECT_ID : ID de votre projet Cloud de Confiance by S3NS .
  • VOICE_ID : ID de voix renvoyé par la méthode create de l'API Voices.

Méthode HTTP et URL :

POST https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-3.8-flash-tts:generateContent

Corps JSON de la requête :

{
  "contents": [{
    "role": "user",
    "parts": [{
      "text": "Chapter One. The fog rolled quietly across the harbor at dawn.",
      "speechMetadata": {"style": "calm and reflective"}
    }]
  }],
  "generationConfig": {
    "responseModalities": ["AUDIO"],
    "speechConfig": {
      "voiceConfig": {"voice": "VOICE_ID"}
    }
  }
}

Pour envoyer votre requête, choisissez l'une des options suivantes :

curl

Enregistrez le corps de la requête dans un fichier nommé request.json, puis exécutez la commande suivante :

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-3.8-flash-tts:generateContent"

PowerShell

Enregistrez le corps de la requête dans un fichier nommé request.json, puis exécutez la commande suivante :

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-3.8-flash-tts:generateContent" | Select-Object -Expand Content

La réponse contient l'audio sous la forme d'un fichier WAV complet encodé en base64 dans candidates[0].content.parts[0].inlineData.data. Le champ data est tronqué.

{
  "candidates": [
    {
      "content": {
        "role": "model",
        "parts": [
          {
            "inlineData": {
              "mimeType": "audio/wav",
              "data": "UklGRhRlBABXQVZF..."
            }
          }
        ]
      },
      "finishReason": "STOP"
    }
  ]
}

Dans l'exemple Python, remplacez PROJECT_ID par l'ID de votre projet Cloud de Confiance by S3NSet VOICE_ID par l'ID de voix renvoyé par la méthode create.

Affiner une voix étape par étape

Chaque voix remixée est une voix voice_... stockée. Vous pouvez donc l'utiliser comme voix de base d'un autre remix. Ce workflow par étapes vous permet de modifier une ou deux caractéristiques à la fois et d'écouter chaque résultat avant d'effectuer la modification suivante. Vous pouvez également commencer à partir d'une voix conçue.

Les exemples suivants remixent une voix conçue ou remixée existante :

Python

Installer

pip install --upgrade google-genai

Pour en savoir plus, consultez la documentation de référence du SDK.

Définissez des variables d'environnement pour utiliser le SDK Google Gen AI avec Vertex AI :

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_ENTERPRISE=True

from google import genai

client = genai.Client(enterprise=True, project="PROJECT_ID", location="global")

voice = client.voices.create(
    store=True,
    voice={
        "type": "VOICE_TYPE_PROMPTED",
        "prompted": {
            "base_voice": "BASE_VOICE_ID",
            "input": (
                "Keep the same speaker identity and accent, but make the"
                " delivery calmer, softer, and slightly lower in pitch."
            ),
        },
    },
    timeout=60,
)

print(f"Created voice ID: {voice.id}")
print(f"Remixed from: {voice.prompted.base_voice}")

REST

Avant d'utiliser les données de requête, effectuez les remplacements suivants :

  • PROJECT_ID : ID de votre projet Cloud de Confiance by S3NS .
  • BASE_VOICE_ID : ID voice_... d'une voix conçue ou remixée dans votre projet.

Méthode HTTP et URL :

POST https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/voices

Corps JSON de la requête :

{
  "store": true,
  "voice": {
    "type": "VOICE_TYPE_PROMPTED",
    "prompted": {
      "baseVoice": "BASE_VOICE_ID",
      "input": "Keep the same speaker identity and accent, but make the delivery calmer, softer, and slightly lower in pitch."
    }
  }
}

Pour envoyer votre requête, choisissez l'une des options suivantes :

curl

Enregistrez le corps de la requête dans un fichier nommé request.json, puis exécutez la commande suivante :

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/voices"

PowerShell

Enregistrez le corps de la requête dans un fichier nommé request.json, puis exécutez la commande suivante :

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/voices" | Select-Object -Expand Content

Vous devriez recevoir une réponse JSON semblable à la suivante. Le champ sample_audio.data est tronqué.

{
  "id": "voice_f70c942e-7d78-427d-8466-cae3cb9b0371",
  "prompted": {
    "base_voice": "voice_7bd85ebf-761b-4969-8544-4ec60f06d124"
  },
  "sample_audio": {
    "mime_type": "audio/wav",
    "data": "UklGRhT4AgBXQVZF..."
  }
}

Dans l'exemple Python, remplacez BASE_VOICE_ID par l'ID voice_... d'une voix conçue ou remixée dans votre projet.

Gérer les voix remixées

Les voix remixées sont stockées dans votre projet avec le type VOICE_TYPE_PROMPTED, le même type que les voix conçues. Pour lister, obtenir ou supprimer des voix remixées, utilisez les mêmes méthodes que pour les voix conçues. Pour en savoir plus, consultez Gérer les voix stockées.

Une voix remixée est indépendante de sa voix de base :

  • Le remixage ne modifie jamais la voix de base.
  • La suppression de la voix de base n'a aucune incidence sur les voix remixées à partir de celle-ci.

Limites

  • Les voix stockées expirent un an après leur dernière utilisation. La génération de voix de synthèse avec une voix ou l'utilisation de cette voix comme base_voice d'un remix redémarre cette période. Supprimez les voix dont vous n'avez plus besoin.
  • Les requêtes de remix sont comptabilisées dans le même quota de création de voix par projet et par minute que la conception et la réplication vocales. Si vous le dépassez, la méthode create renvoie une erreur RESOURCE_EXHAUSTED. Patientez, puis réessayez. Pour en savoir plus, consultez Quotas et limites du système.

Tarifs

Le remixage d'une voix est facturé aux tarifs de Gemini 3.8 Flash TTS pour les jetons suivants :

  • Jetons de saisie de texte pour la description dans voice.prompted.input.
  • Jetons d'entrée audio pour l'audio de la voix de base.
  • Jetons de sortie audio pour l'échantillon vocal généré par l'API Voices.

Le champ usage de la réponse create indique chaque nombre. Par exemple, le remix de l'exemple de création utilise environ 40 jetons d'entrée de texte, environ 260 jetons d'entrée audio et environ 280 jetons de sortie audio.

Les méthodes get, list et delete ne sont pas facturées. Les discours que vous générez avec une voix remixée sont facturés aux tarifs du modèle que vous appelez.

Pour connaître les tarifs des jetons, consultez Tarifs de Gemini Enterprise.

Bonnes pratiques concernant les prompts

  • Ne décrivez que les modifications : le modèle conserve le son de la voix de base. Ne décrivez donc que les caractéristiques à modifier, telles que l'âge, le timbre, la hauteur, le rythme ou l'énergie. Ne répétez pas la description complète de la voix.
  • Indiquez explicitement une nouvelle langue ou un nouvel accent : un remix conserve la langue et l'accent régional de la voix de base, sauf si voice.prompted.input en demande un autre.
  • Modifiez un ou deux traits par étape : lorsque vous affinez une voix sur plusieurs remix, modifiez un petit ensemble de traits dans chaque requête et écoutez le sample_audio avant d'effectuer la modification suivante.
  • Utiliser le remixage pour les caractéristiques permanentes et speech_metadata.style pour chaque tour : utilisez le remixage vocal pour modifier les caractéristiques de base d'une voix, comme l'âge, l'accent, la hauteur ou la personnalité. Utilisez des valeurs speech_metadata.style courtes, telles que "whispered urgently" ou "excited", pour diriger la diffusion des tours individuels.

Le tableau suivant présente des exemples de demandes de remix :

Objectif base_voice prompted.input
Modifier l'âge et le timbre Puck Make the voice sound 20 years older with a deeper, slightly gravelly baritone timbre while keeping the friendly warmth.
Changer d'accent régional Kore Change the accent to Australian English while preserving the clear, confident studio delivery.
Adapter à un domaine Une voix conçue (voice_...) Adapt this voice for late-night meditation narration: lower the vocal projection, slow the pacing, and soften the tone.
Augmenter l'énergie Une voix remixée (voice_...) Increase vocal energy and projection so the speaker sounds like an upbeat live event announcer.

Étapes suivantes