Membuat suara kustom dengan remixing suara

Anda dapat membuat suara kustom baru dengan mengedit suara yang ada menggunakan fitur remix suara. Daripada mendeskripsikan suara dari awal, Anda memilih suara dasar dan mendeskripsikan perubahan yang akan dilakukan, seperti usia, nada, energi, timbre, atau aksen yang berbeda. Voices API menyimpan hasilnya sebagai suara baru di project Anda dan menampilkan ID voice_... yang dapat digunakan kembali yang Anda teruskan dalam permintaan pembuatan ucapan.

Anda dapat me-remix suara berikut:

Suara remix berfungsi dengan Gemini 3.8 Flash TTS (gemini-3.8-flash-tts) dan Gemini 3.8 Flash-Lite TTS (gemini-3.8-flash-lite-tts).

Cara kerja remix suara

Remix suara menggunakan metode create Voices API yang sama dengan desain suara, dengan kolom voice.prompted.base_voice ditambahkan:

  1. Pilih suara dasar dan deskripsikan perubahannya: Panggil metode create Voices API dengan voice.type ditetapkan ke VOICE_TYPE_PROMPTED, store ditetapkan ke true, voice.prompted.base_voice ditetapkan ke nama atau ID suara yang ada, dan voice.prompted.input ditetapkan ke deskripsi perubahan.
  2. Menerima ID suara baru dan sampel: Voices API menerapkan perubahan Anda pada suara dasar, menyimpan hasilnya sebagai suara baru di project Anda, dan menampilkan ID-nya (misalnya, voice_abc123...) di kolom id dan sampel suara di kolom sample_audio. Suara dasar tidak berubah.
  3. Buat ucapan atau remix lagi: Teruskan ID suara baru di speechConfig.voiceConfig.voice saat Anda memanggil generateContent atau streamGenerateContent. Untuk menyempurnakan suara lebih lanjut, teruskan ID suara baru sebagai base_voice dari permintaan create lainnya.

Sebelum memulai

  1. Instal Google Cloud CLI.

  2. Konfigurasi gcloud CLI agar menggunakan identitas gabungan Anda.

    Untuk mengetahui informasi selengkapnya, lihat Login ke gcloud CLI dengan identitas gabungan Anda.

  3. Untuk melakukan inisialisasi gcloud CLI, jalankan perintah berikut:

    gcloud init
  4. Buat atau pilih project Cloud de Confiance .

    Peran yang diperlukan untuk memilih atau membuat project

    • Memilih project: Memilih project tidak memerlukan peran IAM tertentu—Anda dapat memilih project apa pun yang perannya telah diberikan kepada Anda.
    • Membuat project: Untuk membuat project, Anda memerlukan peran Project Creator (roles/resourcemanager.projectCreator), yang berisi izin resourcemanager.projects.create. Pelajari cara memberikan peran.
    • Buat project Cloud de Confiance :

      gcloud projects create PROJECT_ID

      Ganti PROJECT_ID dengan nama untuk Cloud de Confiance project yang Anda buat.

    • Pilih project Cloud de Confiance yang Anda buat:

      gcloud config set project PROJECT_ID

      Ganti PROJECT_ID dengan nama project Cloud de Confiance Anda.

  5. Jika Anda menggunakan project yang sudah ada untuk panduan ini, pastikan Anda memiliki izin yang diperlukan untuk menyelesaikan panduan ini. Jika berhasil membuat project baru, berarti Anda sudah memiliki izin yang diperlukan.

  6. Pastikan penagihan diaktifkan untuk project Cloud de Confiance Anda.

  7. Aktifkan Agent Platform API, jika belum diaktifkan:

    Peran yang diperlukan untuk mengaktifkan API

    Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.

    gcloud services enable aiplatform.googleapis.com
  8. Buat kredensial autentikasi lokal untuk akun pengguna Anda:

    gcloud auth application-default login

    Jika error autentikasi ditampilkan, pastikan Anda telah login ke gcloud CLI dengan identitas gabungan Anda.

Untuk menggunakan contoh Python, instal Google Gen AI SDK versi 2.33.0 atau yang lebih baru:

pip install --upgrade "google-genai>=2.33.0"

Voices API tersedia di lokasi global melalui versi API v1beta1.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk me-remix suara dan membuat ucapan dengan suara tersebut, minta administrator untuk memberi Anda peran IAM berikut pada project Cloud de Confiance by S3NS Anda:

  • Membuat, mencantumkan, mendapatkan, dan menghapus suara, serta membuat ucapan: Agent Platform User (roles/aiplatform.user)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Membuat suara remix

Tetapkan kolom berikut dalam permintaan:

  • store: Harus true. Suara yang di-remix selalu disimpan di project Anda. Permintaan yang menetapkan base_voice dengan store: false akan gagal dengan error INVALID_ARGUMENT.
  • voice.type: VOICE_TYPE_PROMPTED.
  • voice.prompted.base_voice: Suara yang akan di-remix. Gunakan nama suara untuk suara bawaan (misalnya, Puck), ID suara untuk suara Extended Voice Library, atau ID voice_... untuk suara yang didesain atau di-remix. Jika suara tidak ada, permintaan akan gagal dengan error NOT_FOUND.
  • voice.prompted.input: Deskripsi natural language tentang perubahan yang akan dilakukan pada suara dasar.
  • voice.display_name, voice.gender, voice.language_code: Metadata opsional untuk suara baru.

Jangan setel voice.model. Permintaan yang menetapkan model bersama dengan store: true akan gagal dengan error INVALID_ARGUMENT.

Me-remix suara dapat memerlukan waktu beberapa detik. Contoh Python menetapkan waktu tunggu permintaan ke 60 detik.

Respons berisi kolom berikut:

  • id: ID suara baru.
  • prompted.base_voice: Suara dasar yang Anda remix.
  • sample_audio: Contoh suara baru. Kolom data menyimpan audio berenkode base64, dan kolom mime_type memberi nama encoding-nya. Secara default, sampelnya adalah file WAV lengkap (audio/wav) dengan header RIFF: PCM 16-bit, 24 kHz, mono. Beberapa suara dapat menampilkan PCM 16-bit tanpa header (audio/l16; rate=24000; channels=1), jadi periksa mime_type sebelum Anda menyimpan audio.
  • usage: Jumlah token yang digunakan permintaan. Untuk mengetahui informasi selengkapnya, lihat Harga.

Contoh berikut me-remix suara Puck bawaan:

Python

Instal

pip install --upgrade google-genai

Untuk mempelajari lebih lanjut, lihat dokumentasi referensi SDK.

Tetapkan variabel lingkungan untuk menggunakan Google Gen AI SDK dengan Vertex AI:

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_ENTERPRISE=True

import base64
import wave

from google import genai

client = genai.Client(enterprise=True, project="PROJECT_ID", location="global")

voice = client.voices.create(
    store=True,
    voice={
        "type": "VOICE_TYPE_PROMPTED",
        "display_name": "Older British Puck",
        "prompted": {
            "base_voice": "Puck",
            "input": (
                "Make the voice sound slightly older and more grounded, with a"
                " warm British accent and measured audiobook narration pacing."
            ),
        },
    },
    timeout=60,
)

print(f"Created voice ID: {voice.id}")

# Save the voice sample. The SDK returns sample_audio.data as a base64
# string. By default, it's a complete WAV file (audio/wav). For
# compatibility, add a WAV header if the sample is raw 16-bit PCM
# (audio/l16).
sample = base64.b64decode(voice.sample_audio.data)
if voice.sample_audio.mime_type.lower().startswith("audio/l16"):
    with wave.open("remixed_voice_sample.wav", "wb") as wf:
        wf.setnchannels(1)
        wf.setsampwidth(2)
        wf.setframerate(24000)
        wf.writeframes(sample)
else:
    with open("remixed_voice_sample.wav", "wb") as f:
        f.write(sample)

REST

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • PROJECT_ID: Project ID Cloud de Confiance by S3NS Anda.

Metode HTTP dan URL:

POST https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/voices

Meminta isi JSON:

{
  "store": true,
  "voice": {
    "type": "VOICE_TYPE_PROMPTED",
    "displayName": "Older British Puck",
    "prompted": {
      "baseVoice": "Puck",
      "input": "Make the voice sound slightly older and more grounded, with a warm British accent and measured audiobook narration pacing."
    }
  }
}

Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

curl

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/voices"

PowerShell

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/voices" | Select-Object -Expand Content

Anda akan menerima respons JSON yang mirip dengan berikut ini. Kolom sample_audio.data terpotong.

{
  "id": "voice_7bd85ebf-761b-4969-8544-4ec60f06d124",
  "prompted": {
    "base_voice": "Puck"
  },
  "usage": {
    "total_tokens": 578,
    "total_input_tokens": 297,
    "input_tokens_by_modality": [
      {"modality": "text", "tokens": 38},
      {"modality": "audio", "tokens": 259}
    ],
    "total_output_tokens": 281,
    "output_tokens_by_modality": [
      {"modality": "audio", "tokens": 281}
    ]
  },
  "sample_audio": {
    "mime_type": "audio/wav",
    "data": "UklGRpTwAwBXQVZF..."
  }
}

Secara default, sample_audio.mime_type adalah audio/wav, dan sample_audio.data menyimpan file WAV lengkap berenkode base64. Jika mime_type adalah audio/l16, data yang didekode adalah audio PCM 16-bit tanpa header pada 24 kHz, mono, dan memerlukan header WAV sebelum sebagian besar pemutar dapat membukanya.

Membuat ucapan dengan suara yang di-remix

Teruskan ID suara di speechConfig.voiceConfig.voice, dengan cara yang sama seperti Anda meneruskan suara yang didesain:

Python

Instal

pip install --upgrade google-genai

Untuk mempelajari lebih lanjut, lihat dokumentasi referensi SDK.

Tetapkan variabel lingkungan untuk menggunakan Google Gen AI SDK dengan Vertex AI:

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_ENTERPRISE=True

from google import genai

client = genai.Client(enterprise=True, project="PROJECT_ID", location="global")

response = client.models.generate_content(
    model="gemini-3.8-flash-tts",
    contents=[{
        "role": "user",
        "parts": [{
            "text": "Chapter One. The fog rolled quietly across the harbor at dawn.",
            "speech_metadata": {"style": "calm and reflective"},
        }],
    }],
    config={
        "response_modalities": ["AUDIO"],
        "speech_config": {"voice_config": {"voice": "VOICE_ID"}},
    },
)

# The SDK has already decoded the base64 audio, so inline_data.data is a
# complete WAV file by default.
with open("remixed_voice.wav", "wb") as f:
    f.write(response.candidates[0].content.parts[0].inline_data.data)

REST

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • PROJECT_ID: Project ID Cloud de Confiance by S3NS Anda.
  • VOICE_ID: ID suara yang ditampilkan oleh metode create Voices API.

Metode HTTP dan URL:

POST https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-3.8-flash-tts:generateContent

Meminta isi JSON:

{
  "contents": [{
    "role": "user",
    "parts": [{
      "text": "Chapter One. The fog rolled quietly across the harbor at dawn.",
      "speechMetadata": {"style": "calm and reflective"}
    }]
  }],
  "generationConfig": {
    "responseModalities": ["AUDIO"],
    "speechConfig": {
      "voiceConfig": {"voice": "VOICE_ID"}
    }
  }
}

Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

curl

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-3.8-flash-tts:generateContent"

PowerShell

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-3.8-flash-tts:generateContent" | Select-Object -Expand Content

Respons berisi audio sebagai file WAV lengkap berenkode base64 di candidates[0].content.parts[0].inlineData.data. Kolom data terpotong.

{
  "candidates": [
    {
      "content": {
        "role": "model",
        "parts": [
          {
            "inlineData": {
              "mimeType": "audio/wav",
              "data": "UklGRhRlBABXQVZF..."
            }
          }
        ]
      },
      "finishReason": "STOP"
    }
  ]
}

Dalam contoh Python, ganti PROJECT_ID dengan project ID Cloud de Confiance by S3NS Anda dan VOICE_ID dengan ID suara yang ditampilkan oleh metode create.

Menyempurnakan suara langkah demi langkah

Setiap suara yang di-remix adalah suara voice_... yang disimpan, sehingga Anda dapat menggunakannya sebagai suara dasar remix lain. Alur kerja langkah demi langkah ini memungkinkan Anda mengubah satu atau dua karakteristik sekaligus dan mendengarkan setiap hasilnya sebelum melakukan perubahan berikutnya. Anda juga dapat memulai dari suara yang telah didesain.

Contoh berikut me-remix suara yang sudah didesain atau di-remix:

Python

Instal

pip install --upgrade google-genai

Untuk mempelajari lebih lanjut, lihat dokumentasi referensi SDK.

Tetapkan variabel lingkungan untuk menggunakan Google Gen AI SDK dengan Vertex AI:

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_ENTERPRISE=True

from google import genai

client = genai.Client(enterprise=True, project="PROJECT_ID", location="global")

voice = client.voices.create(
    store=True,
    voice={
        "type": "VOICE_TYPE_PROMPTED",
        "prompted": {
            "base_voice": "BASE_VOICE_ID",
            "input": (
                "Keep the same speaker identity and accent, but make the"
                " delivery calmer, softer, and slightly lower in pitch."
            ),
        },
    },
    timeout=60,
)

print(f"Created voice ID: {voice.id}")
print(f"Remixed from: {voice.prompted.base_voice}")

REST

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • PROJECT_ID: Project ID Cloud de Confiance by S3NS Anda.
  • BASE_VOICE_ID: ID voice_... suara yang didesain atau di-remix dalam project Anda.

Metode HTTP dan URL:

POST https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/voices

Meminta isi JSON:

{
  "store": true,
  "voice": {
    "type": "VOICE_TYPE_PROMPTED",
    "prompted": {
      "baseVoice": "BASE_VOICE_ID",
      "input": "Keep the same speaker identity and accent, but make the delivery calmer, softer, and slightly lower in pitch."
    }
  }
}

Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

curl

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/voices"

PowerShell

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/voices" | Select-Object -Expand Content

Anda akan menerima respons JSON yang mirip dengan berikut ini. Kolom sample_audio.data terpotong.

{
  "id": "voice_f70c942e-7d78-427d-8466-cae3cb9b0371",
  "prompted": {
    "base_voice": "voice_7bd85ebf-761b-4969-8544-4ec60f06d124"
  },
  "sample_audio": {
    "mime_type": "audio/wav",
    "data": "UklGRhT4AgBXQVZF..."
  }
}

Dalam contoh Python, ganti BASE_VOICE_ID dengan ID voice_... suara yang didesain atau di-remix dalam project Anda.

Mengelola suara yang di-remix

Suara yang di-remix disimpan dalam project Anda dengan jenis VOICE_TYPE_PROMPTED, jenis yang sama dengan suara yang didesain. Untuk mencantumkan, mendapatkan, atau menghapus suara remix, gunakan metode yang sama seperti untuk suara yang didesain. Untuk mengetahui detailnya, lihat Mengelola suara yang disimpan.

Suara yang di-remix tidak bergantung pada suara dasarnya:

  • Remix tidak pernah mengubah suara dasar.
  • Menghapus suara dasar tidak akan memengaruhi suara yang di-remix dari suara tersebut.

Batas

  • Masa berlaku suara yang disimpan akan berakhir satu tahun setelah terakhir kali digunakan. Membuat ucapan dengan suara, atau menggunakannya sebagai base_voice remix, akan memulai ulang periode ini. Hapus suara yang tidak lagi Anda perlukan.
  • Permintaan remix dihitung dalam kuota pembuatan suara per project per menit yang sama dengan desain suara dan replikasi suara. Jika Anda melampauinya, metode create akan menampilkan error RESOURCE_EXHAUSTED. Tunggu dan coba lagi. Untuk mengetahui informasi selengkapnya, lihat Kuota dan batas sistem.

Harga

Remix suara ditagih dengan tarif Gemini 3.8 Flash TTS untuk token berikut:

  • Token input teks untuk deskripsi dalam voice.prompted.input.
  • Token input audio untuk audio suara dasar.
  • Token output audio untuk sampel suara yang dihasilkan Voices API.

Kolom usage dalam respons create melaporkan setiap jumlah. Misalnya, remix dalam contoh pembuatan menggunakan sekitar 40 token input teks, sekitar 260 token input audio, dan sekitar 280 token output audio.

Metode get, list, dan delete tidak akan ditagih. Ucapan yang Anda buat dengan suara remix akan ditagih sesuai tarif model yang Anda panggil.

Untuk mengetahui tarif token, lihat Harga Gemini Enterprise.

Praktik terbaik dalam memberikan perintah

  • Deskripsikan perubahan saja: Model akan mempertahankan suara dasar, jadi deskripsikan hanya karakteristik yang akan diubah, seperti usia, timbre, nada, kecepatan, atau energi. Jangan mengulangi deskripsi lengkap suara.
  • Menyatakan bahasa atau aksen baru secara eksplisit: Remix mempertahankan bahasa dan aksen regional suara dasar, kecuali jika voice.prompted.input meminta bahasa atau aksen yang berbeda.
  • Ubah satu atau dua karakteristik per langkah: Saat Anda menyempurnakan suara melalui beberapa remix, ubah sekumpulan kecil karakteristik di setiap permintaan, dan dengarkan sample_audio sebelum Anda membuat perubahan berikutnya.
  • Gunakan remixing untuk karakteristik permanen dan speech_metadata.style untuk setiap giliran: Gunakan voice remixing untuk mengubah karakteristik dasar suara, seperti usia, aksen, nada, atau persona. Gunakan nilai speech_metadata.style yang singkat, seperti "whispered urgently" atau "excited", untuk mengarahkan pengiriman giliran individu.

Tabel berikut menunjukkan contoh permintaan remix:

Sasaran base_voice prompted.input
Mengubah usia dan timbre Puck Make the voice sound 20 years older with a deeper, slightly gravelly baritone timbre while keeping the friendly warmth.
Mengubah aksen regional Kore Change the accent to Australian English while preserving the clear, confident studio delivery.
Beradaptasi dengan domain Suara yang didesain (voice_...) Adapt this voice for late-night meditation narration: lower the vocal projection, slow the pacing, and soften the tone.
Meningkatkan energi Suara remix (voice_...) Increase vocal energy and projection so the speaker sounds like an upbeat live event announcer.

Langkah berikutnya