音声リミックスでカスタム音声を作成する

音声リミックス機能を使用して既存の音声を編集することで、新しいカスタム音声を作成できます。音声をゼロから記述するのではなく、ベース音声を選択し、年齢、ピッチ、エネルギー、音色、アクセントなどの変更を記述します。Voices API は、結果をプロジェクトに新しい音声として保存し、音声生成リクエストで渡す再利用可能な voice_... ID を返します。

次の音声をリミックスできます。

リミックスされた音声は、Gemini 3.8 Flash TTS(gemini-3.8-flash-tts)と Gemini 3.8 Flash-Lite TTS(gemini-3.8-flash-lite-tts)の両方で使用できます。

音声リミックスの仕組み

音声リミックスでは、音声デザインと同じ Voices API の create メソッドを使用しますが、voice.prompted.base_voice フィールドが追加されています。

  1. ベース音声を選択して変更を記述する: voice.type を VOICE_TYPE_PROMPTED に、store を true に、voice.prompted.base_voice を既存の音声の名前または ID に、voice.prompted.input を変更の説明に設定して、Voices API の create メソッドを呼び出します。
  2. 新しい音声 ID とサンプルを受け取る: Voices API は、ベース音声に変更を適用し、その結果を新しい音声としてプロジェクトに保存します。また、id フィールドに ID(例: voice_abc123...)、sample_audio フィールドに音声のサンプルを返します。ベース音声は変更されません。
  3. 音声を生成するか、再度リミックスする: generateContent または streamGenerateContent を呼び出すときに、speechConfig.voiceConfig.voice で新しい音声 ID を渡します。音声をさらに調整するには、新しい音声 ID を別の create リクエストの base_voice として渡します。

始める前に

  1. Google Cloud CLI をインストールします。

  2. フェデレーション ID(連携 ID)を使用するように gcloud CLI を構成します。

    詳細については、フェデレーション ID を使用して gcloud CLI にログインするをご覧ください。

  3. gcloud CLI を初期化するには、次のコマンドを実行します。

    gcloud init
  4. Cloud de Confiance プロジェクトを作成または選択します。

    プロジェクトの選択または作成に必要なロール

    • プロジェクトを選択する: プロジェクトを選択する際に、特定の IAM ロールは必要ありません。ロールが付与されているプロジェクトを選択できます。
    • プロジェクトを作成する: プロジェクトを作成するには、resourcemanager.projects.create 権限を含むプロジェクト作成者ロール(roles/resourcemanager.projectCreator)が必要です。詳しくは、ロールを付与する方法をご覧ください。
    • Cloud de Confiance プロジェクトを作成します。

      gcloud projects create PROJECT_ID

      PROJECT_ID は、作成する Cloud de Confiance プロジェクトの名前に置き換えます。

    • 作成した Cloud de Confiance プロジェクトを選択します。

      gcloud config set project PROJECT_ID

      PROJECT_ID は、 Cloud de Confiance プロジェクト名に置き換えます。

  5. このガイドで既存のプロジェクトを使用する場合は、このガイドを完了するために必要な権限があることを確認します。新しいプロジェクトを作成した場合は、必要な権限がすでに付与されています。

  6. Cloud de Confiance プロジェクトで課金が有効になっていることを確認します。

  7. Agent Platform API が有効になっていない場合は、有効にします。

    API を有効にするために必要なロール

    API を有効にするには、serviceusage.services.enable 権限が必要です。プロジェクトを作成した場合は、オーナーロール(roles/owner)を介してこの権限がすでに付与されている可能性があります。それ以外の場合は、Service Usage 管理者ロール(roles/serviceusage.serviceUsageAdmin)を介してこの権限を取得できます。ロールを付与する方法を確認する。

    gcloud services enable aiplatform.googleapis.com
  8. ユーザー アカウントのローカル認証情報を作成します。

    gcloud auth application-default login

    認証エラーが返された場合は、フェデレーション ID を使用して gcloud CLI にログインしていることを確認します。

Python サンプルを使用するには、バージョン 2.33.0 以降の Google Gen AI SDK をインストールします。

pip install --upgrade "google-genai>=2.33.0"

Voices API は、v1beta1 API バージョンを介して global ロケーションで使用できます。

必要なロール

音声をリミックスして音声を生成するために必要な権限を取得するには、 Cloud de Confiance by S3NS プロジェクトに対する次の IAM ロールを付与するよう管理者に依頼してください。

ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

リミックス音声を作成する

リクエストで次のフィールドを設定します。

  • store: true にする必要があります。リミックスされた音声は常にプロジェクトに保存されます。store: false を使用して base_voice を設定するリクエストは、INVALID_ARGUMENT エラーで失敗します。
  • voice.type: VOICE_TYPE_PROMPTED
  • voice.prompted.base_voice: リミックスする音声。事前構築済みの音声(Puck など)には音声名、拡張音声ライブラリの音声には音声 ID、設計またはリミックスされた音声には voice_... ID を使用します。音声が存在しない場合、リクエストは NOT_FOUND エラーで失敗します。
  • voice.prompted.input: ベース音声に加える変更の自然言語による説明。
  • voice.display_namevoice.gendervoice.language_code

voice.model を設定しないでください。store: true と一緒にモデルを設定するリクエストは、INVALID_ARGUMENT エラーで失敗します。

音声のリミックスには数秒かかることがあります。Python のサンプルでは、リクエストのタイムアウトを 60 秒に設定しています。

レスポンスには、次のフィールドが含まれます。

  • id: 新しい音声の ID。
  • prompted.base_voice: リミックスしたベース音声。
  • sample_audio: 新しい音声のサンプル。data フィールドには base64 でエンコードされた音声が格納され、mime_type フィールドにはそのエンコードの名前が格納されます。デフォルトでは、サンプルは RIFF ヘッダーを含む完全な WAV ファイル(audio/wav)です。16 ビット PCM、24 kHz、モノラルです。一部の音声では、ヘッダーレスの 16 ビット PCM(audio/l16; rate=24000; channels=1)が返されることがあります。音声を保存する前に mime_type を確認してください。
  • usage: リクエストで使用されたトークンの数。詳細については、料金をご覧ください。

次のサンプルでは、事前構築済みの Puck 音声をリミックスしています。

Python

インストール

pip install --upgrade google-genai

詳しくは、SDK リファレンス ドキュメントをご覧ください。

Vertex AI で Google Gen AI SDK を使用するための環境変数を設定します。

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_ENTERPRISE=True

import base64
import wave

from google import genai

client = genai.Client(enterprise=True, project="PROJECT_ID", location="global")

voice = client.voices.create(
    store=True,
    voice={
        "type": "VOICE_TYPE_PROMPTED",
        "display_name": "Older British Puck",
        "prompted": {
            "base_voice": "Puck",
            "input": (
                "Make the voice sound slightly older and more grounded, with a"
                " warm British accent and measured audiobook narration pacing."
            ),
        },
    },
    timeout=60,
)

print(f"Created voice ID: {voice.id}")

# Save the voice sample. The SDK returns sample_audio.data as a base64
# string. By default, it's a complete WAV file (audio/wav). For
# compatibility, add a WAV header if the sample is raw 16-bit PCM
# (audio/l16).
sample = base64.b64decode(voice.sample_audio.data)
if voice.sample_audio.mime_type.lower().startswith("audio/l16"):
    with wave.open("remixed_voice_sample.wav", "wb") as wf:
        wf.setnchannels(1)
        wf.setsampwidth(2)
        wf.setframerate(24000)
        wf.writeframes(sample)
else:
    with open("remixed_voice_sample.wav", "wb") as f:
        f.write(sample)

REST

リクエストのデータを使用する前に、次のように置き換えます。

  • PROJECT_ID: 実際の Cloud de Confiance by S3NS プロジェクト ID。

HTTP メソッドと URL:

POST https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/voices

リクエストの本文(JSON):

{
  "store": true,
  "voice": {
    "type": "VOICE_TYPE_PROMPTED",
    "displayName": "Older British Puck",
    "prompted": {
      "baseVoice": "Puck",
      "input": "Make the voice sound slightly older and more grounded, with a warm British accent and measured audiobook narration pacing."
    }
  }
}

リクエストを送信するには、次のいずれかのオプションを選択します。

curl

リクエスト本文を request.json という名前のファイルに保存して、次のコマンドを実行します。

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/voices"

PowerShell

リクエスト本文を request.json という名前のファイルに保存して、次のコマンドを実行します。

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/voices" | Select-Object -Expand Content

次のような JSON レスポンスが返されます。sample_audio.data フィールドは切り捨てられます。

{
  "id": "voice_7bd85ebf-761b-4969-8544-4ec60f06d124",
  "prompted": {
    "base_voice": "Puck"
  },
  "usage": {
    "total_tokens": 578,
    "total_input_tokens": 297,
    "input_tokens_by_modality": [
      {"modality": "text", "tokens": 38},
      {"modality": "audio", "tokens": 259}
    ],
    "total_output_tokens": 281,
    "output_tokens_by_modality": [
      {"modality": "audio", "tokens": 281}
    ]
  },
  "sample_audio": {
    "mime_type": "audio/wav",
    "data": "UklGRpTwAwBXQVZF..."
  }
}

デフォルトでは、sample_audio.mime_type は audio/wav で、sample_audio.data には base64 でエンコードされた完全な WAV ファイルが格納されます。mime_type が audio/l16 の場合、デコードされたデータはヘッダーなしの 16 ビット PCM 音声(24 kHz、モノラル)であり、ほとんどのプレーヤーで開くには WAV ヘッダーが必要です。

リミックスされた音声で音声を生成する

設計された音声を渡す場合と同じように、speechConfig.voiceConfig.voice で音声 ID を渡します。

Python

インストール

pip install --upgrade google-genai

詳しくは、SDK リファレンス ドキュメントをご覧ください。

Vertex AI で Google Gen AI SDK を使用するための環境変数を設定します。

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_ENTERPRISE=True

from google import genai

client = genai.Client(enterprise=True, project="PROJECT_ID", location="global")

response = client.models.generate_content(
    model="gemini-3.8-flash-tts",
    contents=[{
        "role": "user",
        "parts": [{
            "text": "Chapter One. The fog rolled quietly across the harbor at dawn.",
            "speech_metadata": {"style": "calm and reflective"},
        }],
    }],
    config={
        "response_modalities": ["AUDIO"],
        "speech_config": {"voice_config": {"voice": "VOICE_ID"}},
    },
)

# The SDK has already decoded the base64 audio, so inline_data.data is a
# complete WAV file by default.
with open("remixed_voice.wav", "wb") as f:
    f.write(response.candidates[0].content.parts[0].inline_data.data)

REST

リクエストのデータを使用する前に、次のように置き換えます。

  • PROJECT_ID: 実際の Cloud de Confiance by S3NS プロジェクト ID。
  • VOICE_ID: Voices API の create メソッドから返された音声 ID。

HTTP メソッドと URL:

POST https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-3.8-flash-tts:generateContent

リクエストの本文(JSON):

{
  "contents": [{
    "role": "user",
    "parts": [{
      "text": "Chapter One. The fog rolled quietly across the harbor at dawn.",
      "speechMetadata": {"style": "calm and reflective"}
    }]
  }],
  "generationConfig": {
    "responseModalities": ["AUDIO"],
    "speechConfig": {
      "voiceConfig": {"voice": "VOICE_ID"}
    }
  }
}

リクエストを送信するには、次のいずれかのオプションを選択します。

curl

リクエスト本文を request.json という名前のファイルに保存して、次のコマンドを実行します。

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-3.8-flash-tts:generateContent"

PowerShell

リクエスト本文を request.json という名前のファイルに保存して、次のコマンドを実行します。

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-3.8-flash-tts:generateContent" | Select-Object -Expand Content

レスポンスには、base64 でエンコードされた完全な WAV ファイルとして音声が candidates[0].content.parts[0].inlineData.data に含まれています。data フィールドは切り捨てられます。

{
  "candidates": [
    {
      "content": {
        "role": "model",
        "parts": [
          {
            "inlineData": {
              "mimeType": "audio/wav",
              "data": "UklGRhRlBABXQVZF..."
            }
          }
        ]
      },
      "finishReason": "STOP"
    }
  ]
}

Python サンプルで、PROJECT_ID を Cloud de Confiance by S3NSプロジェクト ID に、VOICE_ID を create メソッドから返された音声 ID に置き換えます。

音声を段階的に調整する

リミックスされた各音声は保存された voice_... 音声であるため、別のリミックスのベース音声として使用できます。このステップバイステップのワークフローでは、一度に 1 つまたは 2 つの特性を変更し、各結果を聴いてから次の変更を行うことができます。デザイン済みの音声から始めることもできます。

次のサンプルは、既存の設計済み音声またはリミックス済み音声をリミックスします。

Python

インストール

pip install --upgrade google-genai

詳しくは、SDK リファレンス ドキュメントをご覧ください。

Vertex AI で Google Gen AI SDK を使用するための環境変数を設定します。

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_ENTERPRISE=True

from google import genai

client = genai.Client(enterprise=True, project="PROJECT_ID", location="global")

voice = client.voices.create(
    store=True,
    voice={
        "type": "VOICE_TYPE_PROMPTED",
        "prompted": {
            "base_voice": "BASE_VOICE_ID",
            "input": (
                "Keep the same speaker identity and accent, but make the"
                " delivery calmer, softer, and slightly lower in pitch."
            ),
        },
    },
    timeout=60,
)

print(f"Created voice ID: {voice.id}")
print(f"Remixed from: {voice.prompted.base_voice}")

REST

リクエストのデータを使用する前に、次のように置き換えます。

  • PROJECT_ID: 実際の Cloud de Confiance by S3NS プロジェクト ID。
  • BASE_VOICE_ID: プロジェクトで設計またはリミックスされた音声の voice_... ID。

HTTP メソッドと URL:

POST https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/voices

リクエストの本文(JSON):

{
  "store": true,
  "voice": {
    "type": "VOICE_TYPE_PROMPTED",
    "prompted": {
      "baseVoice": "BASE_VOICE_ID",
      "input": "Keep the same speaker identity and accent, but make the delivery calmer, softer, and slightly lower in pitch."
    }
  }
}

リクエストを送信するには、次のいずれかのオプションを選択します。

curl

リクエスト本文を request.json という名前のファイルに保存して、次のコマンドを実行します。

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/voices"

PowerShell

リクエスト本文を request.json という名前のファイルに保存して、次のコマンドを実行します。

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/voices" | Select-Object -Expand Content

次のような JSON レスポンスが返されます。sample_audio.data フィールドは切り捨てられます。

{
  "id": "voice_f70c942e-7d78-427d-8466-cae3cb9b0371",
  "prompted": {
    "base_voice": "voice_7bd85ebf-761b-4969-8544-4ec60f06d124"
  },
  "sample_audio": {
    "mime_type": "audio/wav",
    "data": "UklGRhT4AgBXQVZF..."
  }
}

Python サンプルで、BASE_VOICE_ID をプロジェクトで設計またはリミックスされた音声の voice_... ID に置き換えます。

リミックスされた音声を管理する

リミックスされた音声は、設計された音声と同じタイプ VOICE_TYPE_PROMPTED でプロジェクトに保存されます。リミックスされた音声を一覧表示、取得、削除するには、設計された音声と同じ方法を使用します。詳しくは、保存された音声を管理するをご覧ください。

リミックスされた音声は、ベース音声とは独立しています。

  • リミックスによってベース音声が変更されることはありません。
  • ベース音声を削除しても、その音声からリミックスされた音声には影響しません。

上限

  • 保存された音声は、最後に使用されてから 1 年後に有効期限が切れます。音声で音声を生成するか、リミックスの base_voice として使用すると、この期間が再開されます。不要になった音声を削除します。
  • リミックス リクエストは、音声デザインやボイス レプリケーションと同じ、プロジェクトごと、1 分あたりの音声作成割り当てにカウントされます。この上限を超えると、create メソッドは RESOURCE_EXHAUSTED エラーを返します。しばらく待ってから、もう一度お試しください。詳細については、割り当てとシステムの上限をご覧ください。

料金

音声のリミックスには、次のトークンに対して Gemini 3.8 Flash TTS の料金が適用されます。

  • voice.prompted.input の説明のテキスト入力トークン。
  • ベース音声の音声入力トークン。
  • Voices API が生成する音声サンプルの音声出力トークン。

create レスポンスの usage フィールドに、各カウントが報告されます。たとえば、作成サンプルのリミックスでは、約 40 個のテキスト入力トークン、約 260 個の音声入力トークン、約 280 個の音声出力トークンが使用されます。

get、list、delete の各メソッドは課金されません。リミックスされた音声で生成された音声には、呼び出すモデルの料金が適用されます。

トークンレートについては、Gemini Enterprise の料金をご覧ください。

プロンプトのベスト プラクティス

  • 変更のみを説明する: モデルはベース音声の音を保持するため、年齢、音色、ピッチ、ペース、エネルギーなど、変更する特性のみを説明します。音声の詳しい説明は繰り返さないでください。
  • 新しい言語またはアクセントを明示的に指定する: リミックスでは、voice.prompted.input が別の言語またはアクセントをリクエストしない限り、ベース音声の言語と地域アクセントが保持されます。
  • ステップごとに 1 つまたは 2 つの特性を変更する: 複数のリミックスで音声を調整する場合は、リクエストごとに少数の特性を変更し、次の変更を行う前に sample_audio を聴きます。
  • 永続的な特性にはリミックスを使用し、ターンごとに speech_metadata.style を使用する: 音声リミックスを使用して、年齢、アクセント、ピッチ、ペルソナなど、音声のベースラインを変更します。"whispered urgently" や "excited" などの短い speech_metadata.style 値を使用して、個々のターンの配信を指示します。

次の表に、リミックス リクエストの例を示します。

目標 base_voice prompted.input
年齢と音色を変更する Puck Make the voice sound 20 years older with a deeper, slightly gravelly baritone timbre while keeping the friendly warmth.
地域のアクセントを変更する Kore Change the accent to Australian English while preserving the clear, confident studio delivery.
ドメインに適応する デザインされた音声(voice_...) Adapt this voice for late-night meditation narration: lower the vocal projection, slow the pacing, and soften the tone.
エネルギーを増やす リミックスされた音声(voice_...) Increase vocal energy and projection so the speaker sounds like an upbeat live event announcer.

次のステップ