שכפול קולות

אתם יכולים לשחזר את הקול, הטון, הקצב והגוון של הדובר מדגימת אודיו קצרה באמצעות התכונה רפליקציה של קולות. גם Gemini 3.8 Flash TTS (gemini-3.8-flash-tts) וגם Gemini 3.8 Flash-Lite TTS (gemini-3.8-flash-lite-tts) תומכים ברפליקציה של קולות.

כדי לשכפל קול, שולחים ל-Voices API הקלטה לדוגמה של הדובר (source_audio) והקלטה של אותו דובר מקריא הצהרת הסכמה (consent_audio). השירות מאמת את ההסכמה ומחזיר מזהה לקול המשוכפל. לאחר מכן, מעבירים את המזהה הזה ב-speechConfig.voiceConfig.voice בבקשות generateContent או streamGenerateContent, בלי להעלות שוב את האודיו.

מצבי אחסון

כשיוצרים קול משוכפל, השדה store בוחר אחד משני מצבי אחסון:

• קול מאוחסן (store: true): Google מאחסנת את הקול המשוכפל בפרויקט ומחזירה מזהה קול (voice_...) בשדה id. אתם יכולים להציג, לקבל ולמחוק קולות שמורים באמצעות Voices API.
• מפתח רפליקציה של קולות (store: false): Google לא שומרת את הקול המשוכפל. השירות מחזיר מפתח מוצפן של רפליקציה של קולות (voicekey_...) בשדה key, והאפליקציה שומרת את המפתח. השתמשו במצב הזה אם עומס העבודה שלכם דורש ש-Google לא תשמור פרופילי קול.

כשיוצרים דיבור באמצעות קול שמור, תקופת השמירה שלו מתחילה מחדש, כך שקול שאתם משתמשים בו באופן קבוע לא נמחק. בקשה שמשתמשת במפתח שפג תוקפו לרפליקציה של קולות תיכשל עם השגיאה INVALID_ARGUMENT, ובקשה שמשתמשת בקול שמור שנמחק או שפג תוקפו תיכשל עם השגיאה NOT_FOUND. כדי להמשיך להשתמש בקול משוכפל, צריך ליצור אותו מחדש לפני שהוא יפוג.

לפני שמתחילים

מבצעים את השלבים שמפורטים בקטע לפני שמתחילים בדף של Gemini TTS. ‫Voices API זמין במיקום global דרך גרסת ה-API‏ v1beta1.

הדרישות לקבלת הסכמה ואודיו

כל בקשה ליצירת קול משוכפל צריכה לכלול שתי הקלטות של אותו דובר מבוגר:

• אודיו לדוגמה (source_audio): 10 עד 30 שניות של דיבור ברור וטבעי של הדובר שאת הקול שלו רוצים לשכפל. ככל שהדגימה ארוכה יותר, התוצאות בדרך כלל טובות יותר.

• אודיו של הסכמה (consent_audio): הקלטה של אותו דובר שמקריא מילה במילה את הצהרת ההסכמה בשפה שלו. כאן מפורטות השפות הנתמכות והצהרות ההסכמה. באנגלית, ההצהרה היא:

  "אני הבעלים של הקול הזה והסכמתי ליצירת מודל סינתטי של הקול שלי באמצעות Cloud de Confiance by S3NS".

שתי ההקלטות צריכות להיות קובצי WAV עם PCM לינארי Little-endian של 16 ביט, מונו, בתדר 24kHz.

אם הקלטת ההסכמה לא תואמת להצהרת ההסכמה, או אם האודיו לא עומד בהנחיות השימוש, הבקשה של create תיכשל ותופיע שגיאת INVALID_ARGUMENT שמתארת את הבעיה.

יצירת קול משוכפל שמור

מגדירים את השדות הבאים בבקשה:

• store: true.
• voice.type: VOICE_TYPE_REPLICATED.
• ‫voice.display_name: אופציונלי. שם לקול.
• ‫voice.replicated.source_audio ו-voice.replicated.consent_audio: הקלטות ההסכמה וההתייחסות בקידוד base64, כשבכל אחת מהן mime_type מוגדר ל-audio/wav.

אל תגדירו את voice.model. בקשות שמגדירות מודל יחד עם store: true נכשלות ומוצגת השגיאה INVALID_ARGUMENT.

התגובה מחזירה את מזהה הקול בשדה id.

import base64

from google import genai

client = genai.Client(enterprise=True, project="PROJECT_ID", location="global")

with open("SOURCE_AUDIO_PATH", "rb") as f:
    source_b64 = base64.b64encode(f.read()).decode("utf-8")

with open("CONSENT_AUDIO_PATH", "rb") as f:
    consent_b64 = base64.b64encode(f.read()).decode("utf-8")

replicated_voice = client.voices.create(
    store=True,
    voice={
        "type": "VOICE_TYPE_REPLICATED",
        "display_name": "Custom replicated speaker",
        "replicated": {
            "source_audio": {"mime_type": "audio/wav", "data": source_b64},
            "consent_audio": {"mime_type": "audio/wav", "data": consent_b64},
        },
    },
    timeout=60,
)

# The voice ID starts with "voice_".
print(f"Created voice ID: {replicated_voice.id}")

SOURCE_B64=$(base64 -w 0 SOURCE_AUDIO_PATH)
CONSENT_B64=$(base64 -w 0 CONSENT_AUDIO_PATH)

cat > request.json <<EOF
{
  "store": true,
  "voice": {
    "type": "VOICE_TYPE_REPLICATED",
    "displayName": "Custom replicated speaker",
    "replicated": {
      "sourceAudio": {"mimeType": "audio/wav", "data": "${SOURCE_B64}"},
      "consentAudio": {"mimeType": "audio/wav", "data": "${CONSENT_B64}"}
    }
  }
}
EOF

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/voices \
  -d @request.json | jq -r '.id'

מחליפים את מה שכתוב בשדות הבאים:

• ‫PROJECT_ID: מזהה הפרויקט ב- Cloud de Confiance by S3NS .
• ‫SOURCE_AUDIO_PATH: הנתיב לקובץ ה-WAV של קובץ העזר.
• ‫CONSENT_AUDIO_PATH: הנתיב לקובץ ה-WAV של ההסכמה.

כדי להציג, לקבל או למחוק קולות משוכפלים ששמורים, משתמשים באותן שיטות כמו לקולות מעוצבים. פרטים נוספים זמינים במאמר ניהול הקולות השמורים.

יצירת מפתח לרפליקציה של קולות

מגדירים את השדות הבאים בבקשה:

• store: false.
• voice.type: VOICE_TYPE_REPLICATED.
• ‫voice.model: שדה חובה. מודל Gemini 3.8 TTS שבאמצעותו יוצרים את המפתח, לדוגמה gemini-3.8-flash-tts. המפתח פועל עם שני המודלים של Gemini 3.8 TTS.
• ‫voice.replicated.source_audio ו-voice.replicated.consent_audio: הקלטות ההסכמה וההתייחסות בקידוד base64, כשכל אחת מהן מוגדרת עם mime_type בתור audio/wav.

התשובה מחזירה את מפתח הרפליקציה של הקול בשדה key.

import base64

from google import genai

client = genai.Client(enterprise=True, project="PROJECT_ID", location="global")

with open("SOURCE_AUDIO_PATH", "rb") as f:
    source_b64 = base64.b64encode(f.read()).decode("utf-8")

with open("CONSENT_AUDIO_PATH", "rb") as f:
    consent_b64 = base64.b64encode(f.read()).decode("utf-8")

replicated_voice = client.voices.create(
    store=False,
    voice={
        "model": "gemini-3.8-flash-tts",
        "type": "VOICE_TYPE_REPLICATED",
        "replicated": {
            "source_audio": {"mime_type": "audio/wav", "data": source_b64},
            "consent_audio": {"mime_type": "audio/wav", "data": consent_b64},
        },
    },
    timeout=60,
)

# Store the key in your application. It starts with "voicekey_".
voice_key = replicated_voice.key

SOURCE_B64=$(base64 -w 0 SOURCE_AUDIO_PATH)
CONSENT_B64=$(base64 -w 0 CONSENT_AUDIO_PATH)

cat > request.json <<EOF
{
  "store": false,
  "voice": {
    "model": "gemini-3.8-flash-tts",
    "type": "VOICE_TYPE_REPLICATED",
    "replicated": {
      "sourceAudio": {"mimeType": "audio/wav", "data": "${SOURCE_B64}"},
      "consentAudio": {"mimeType": "audio/wav", "data": "${CONSENT_B64}"}
    }
  }
}
EOF

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/voices \
  -d @request.json | jq -r '.key'

יצירת דיבור באמצעות קול משוכפל

מעבירים את מזהה הקול או את מפתח הרפליקציה של הקול ב-speechConfig.voiceConfig.voice:

from google import genai

client = genai.Client(enterprise=True, project="PROJECT_ID", location="global")

response = client.models.generate_content(
    model="gemini-3.8-flash-tts",
    contents=[{
        "role": "user",
        "parts": [{
            "text": "Hello! This audio was generated with a replicated voice.",
            "speech_metadata": {"style": "warm and conversational"},
        }],
    }],
    config={
        "response_modalities": ["AUDIO"],
        "speech_config": {"voice_config": {"voice": "VOICE"}},
    },
)

# The SDK has already decoded the base64 audio, so inline_data.data is a
# complete WAV file by default.
with open("replicated_voice.wav", "wb") as f:
    f.write(response.candidates[0].content.parts[0].inline_data.data)

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-3.8-flash-tts:generateContent \
  -d '{
    "contents": [{
      "role": "user",
      "parts": [{
        "text": "Hello! This audio was generated with a replicated voice.",
        "speechMetadata": {"style": "warm and conversational"}
      }]
    }],
    "generationConfig": {
      "responseModalities": ["AUDIO"],
      "speechConfig": {
        "voiceConfig": {"voice": "VOICE"}
      }
    }
  }' | jq -r '.candidates[0].content.parts[0].inlineData.data' | base64 --decode > replicated_voice.wav

מחליפים את VOICE במזהה הקול (voice_...) או במפתח הרפליקציה של הקול (voicekey_...) שהשיטה create החזירה.

בקשות ליצירת קול כפופות למכסה לכל פרויקט, לדקה. אם חורגים מהמגבלה, השיטה create מחזירה את השגיאה RESOURCE_EXHAUSTED. מידע נוסף זמין במאמר מכסות ומגבלות מערכת.

שפות נתמכות והצהרות הסכמה

‫Voices API מאמת את ההסכמה על ידי התאמה בין התמליל של consent_audio לבין הצהרת ההסכמה. הדובר צריך להקריא את ההצהרה בשפה שלו מילה במילה:

שיטות מומלצות

• הקליטו בסביבה שקטה: נסו להפחית את ההד, רעשי הרקע, המוזיקה וקולות חופפים. איכות הפלט תלויה באיכות של source_audio.
• תנאי הקלטה זהים: כדי שאימות הדובר יצליח, צריך להקליט את source_audio ו-consent_audio עם אותו מיקרופון באותו חדר.
• המרת ההקלטות לפורמט הנדרש: לפני הקידוד, צריך לדגום מחדש את ההקלטות ל-24kHz, מונו, 16-bit PCM WAV.
• תכנון החידוש: המפתחות לרפליקציה של קולות תקפים למשך שבעה ימים, והתוקף של הקולות המאוחסנים פג שנה אחרי השימוש האחרון בהם. שמרו את הקלטות המקור וההסכמה, או תהליך לאיסוף שלהן, כדי שתוכלו ליצור את הקול שוב לפני שתוקף ההסכמה יפוג.

המאמרים הבאים

• ליצור קול בהתאמה אישית מתיאור טקסט באמצעות עיצוב קול.
• במאמר יצירת דיבור באמצעות Gemini TTS מוסבר על עיצוב ברמת התור, תגים בתוך השורה ודיאלוג עם כמה דוברים.