Eleven v4

Eleven v4 is ons nieuwste en meest geavanceerde Text to Speech-model, en het eerste in een nieuwe generatie modellen. Vergeleken met Eleven v3 verbetert het de outputkwaliteit, stemnauwkeurigheid, consistentie, emotie, voordracht, audiotags en taalondersteuning.

Over het algemeen is Eleven v4 een duidelijke verbetering ten opzichte van Eleven v3 en levert het in vrijwel alle gevallen betere resultaten. We raden sterk aan om over te stappen op v4 en het met je eigen stemmen en content te testen, zodat je zelf het verschil kunt horen. Hoewel enkele uitzonderlijke gevallen mogelijk beter bij iets anders passen, is v4 voor de meeste gebruikers de betere keuze.

Zie Prompting Eleven v4 voor tags, interpunctie en prompts voor dialogen.

Stemklonen

De nauwkeurigheid van stemklonen gaat met Eleven v4 flink vooruit. Gekloonde stemmen leggen de kenmerken van de bronstem — klankkleur, ritme en voordracht — getrouwer vast dan met enig eerder model.

Instant Voice Clones (IVC’s) zijn in Eleven v4 nauwkeuriger dan ooit. Ze leggen de bepalende kenmerken van een bronstem getrouwer vast, waardoor je sneller een overtuigende kloon kunt maken op basis van een kort audiofragment.

Professional Voice Clones (PVC’s) worden volledig ondersteund in Eleven v4. Ze bouwen voort op dezelfde verbeteringen in stemnauwkeurigheid en bieden een getrouwere reproductie van de bronstem voor workflows die het hoogste niveau van consistentie en controle vereisen.

Door deze aanzienlijke sprong in nauwkeurigheid kan Eleven v4 wezenlijk anders klinken dan Eleven v3. Eleven v3 legde de basis voor Eleven v4, met veel nadruk op voordracht en nauwkeurigheid, terwijl Eleven v4 voortbouwt op die basis met aanzienlijk verbeterde stemnauwkeurigheid. Daardoor is Eleven v4 ontworpen om de bronstem getrouwer vast te leggen, al vind je misschien nog steeds dat een stem in Eleven v3 beter klonk. Nauwkeurigheid en persoonlijke voorkeur zijn niet altijd hetzelfde, dus we raden aan beide versies met je eigen content te vergelijken om de beste keuze voor je use case te maken.

Omdat Eleven v4 de kenmerken van de bronstem, waaronder het accent, de voordracht, het volume en andere onderscheidende eigenschappen, getrouwer reproduceert, is de kwaliteit van de bronopname belangrijker dan ooit. Duidelijke, schone trainingsaudio helpt Eleven v4 de stem nauwkeurig vast te leggen zonder ongewenste geluiden of kenmerken toe te voegen. Achtergrondgeluid, vervorming of andere opnameproblemen kunnen het resultaat beïnvloeden.

We experimenteren nog steeds met Eleven v4 om te begrijpen hoe je het het beste gebruikt. Tot nu toe lijkt het veel beter in het vastleggen van genuanceerde audio, vooral wanneer er veel trainingsaudio is, zoals bij Professional Voice Clones. Onze richtlijnen voor het gebruik van gevarieerde trainingsdata kunnen veranderen terwijl we blijven testen hoe je het model aanstuurt met een veelzijdigere dataset. Voorlopig raden we aan om je trainingsaudio bij één spreekstijl te houden, die Eleven v4 beter zou moeten vastleggen dan eerdere modellen.

Omgang met natuurlijke accenten

Dit is een van de grootste veranderingen in Eleven v4 vergeleken met de oudere modellen, en het is de moeite waard om dit goed te begrijpen.

Wanneer de taal die je genereert overeenkomt met de taal van je referentiestem, blijft het oorspronkelijke accent precies zoals voorheen behouden.

Wanneer de taal die je genereert verschilt van de taal van de referentiestem, genereert Eleven v4 vloeiende, natuurlijk klinkende spraak in de doeltaal — in plaats van het accent van de referentiestem uit de oorspronkelijke taal over te nemen.

In de praktijk: als je een stem kloont van een Koreaanse spreker en Engels genereert, produceert Eleven v4 natuurlijk, vloeiend Engels in plaats van Engels met een Koreaans accent. Daardoor is elke stem bruikbaar in alle ondersteunde talen, wat vooral nuttig is voor nasynchronisatie, meertalige content en spraakagenten die gebruikers in verschillende talen met één stem moeten bedienen.

Als je workflow ervan afhankelijk is dat een stem zijn natuurlijke accent in andere talen behoudt, test dit gedrag dan rechtstreeks met Eleven v4 voordat je migreert — het is een bewuste verandering in de werking van generatie tussen talen, geen bug.

Deze nieuwe functionaliteit wordt echter nog steeds verfijnd en we onderzoeken manieren om er een schakelaar van te maken in plaats van deze altijd in te schakelen. Dat is nog een onderzoeksproject, dus we hebben op dit moment geen planning of verdere informatie hierover.

Modelvarianten

Eleven v4 is beschikbaar in twee varianten, zodat je voor je use case de juiste balans tussen kwaliteit en snelheid kunt kiezen:

• Eleven v4 (eleven_v4) — ons model met de hoogste kwaliteit, ideaal voor contentcreatie, luisterboeken, voice-overs voor personages en elke use case waarbij kwaliteit de hoogste prioriteit heeft.
• Eleven v4 Turbo (eleven_v4_turbo) — extreem hoge kwaliteit met behoud van indrukwekkend lage latentie, speciaal ontwikkeld voor realtime-use cases zoals conversatieagenten en interactieve spraakervaringen.

Beide varianten gebruiken twee steminstellingen: Stability en Similarity.

Stability bepaalt hoe consistent de voordracht blijft tussen generaties. Lagere waarden zorgen voor een expressievere, gevarieerdere voordracht; hogere waarden houden de uitvoering dichter bij een vaste basislijn.

Similarity bepaalt hoe nauw de output de referentiestem volgt. Hogere waarden zorgen voor een sterkere overeenkomst met de referentie, wat ten koste kan gaan van enige natuurlijkheid.

Wanneer je spraak genereert met een Professional Voice Clone in Eleven v4, verschijnt een extra slider voor Clone Strength. Clone Strength bepaalt hoe nauw de output de trainingsopnamen van de kloon volgt. Bij lagere waarden wordt de stem iets gladder gemaakt en krijgt de voordracht meer flexibiliteit in de uitvoering, wat vaak in het algemeen beter klinkt terwijl het nog steeds als de oorspronkelijke stem klinkt. Bij hogere waarden blijft de output dichter bij de trainingsopnamen met minder gladstrijken, waardoor de voordracht en uitvoering van de oorspronkelijke stem nauwkeuriger worden nagebootst. Hogere waarden kunnen vooral nuttig zijn voor stemmen met onderscheidende eigenschappen of unieke accenten. Begin voor de meeste stemmen bij 0%.

Sliders voor Style en Speed zijn niet beschikbaar in Eleven v4, en SSML wordt niet ondersteund.

Audiotags (bijv. [whispering], [shouting], [laughing]) geven je nauwkeurige controle over de voordracht, en Eleven v4 gaat er genuanceerder mee om dan eerdere modellen. Ze zijn nog niet perfect, en we blijven verbeteren hoe betrouwbaar het model taginstructies opvolgt — dit is een gebied waarin we actief blijven investeren, en het wordt steeds beter.

Voorbeelden

Nauwkeurigheid van stemklonen

Elk voorbeeld begint met een preview uit de Voice Library. Vervolgens namen we een tekst en genereerden die met een Instant Voice Clone van die stem in zowel Eleven v3 als Eleven v4.

Dit is geen perfecte vergelijking. Eleven v4 werkt ook met Professional Voice Clones, waarmee de overeenkomst nog beter kan worden. Om de vergelijking eerlijker te houden, gebruikten we echter Instant Voice Clones voor zowel Eleven v3 als Eleven v4.

Deze voorbeelden laten zien hoeveel van de oorspronkelijke stem het model oppikt. Het is belangrijk om te weten dat dit ook EQ, kwaliteit, volume en andere kleine details en imperfecties in de audio omvat, zoals plofklanken, harde sisklanken en volumeschommelingen.

Luister naar de preview, dan naar Eleven v3 en vervolgens naar Eleven v4.

Stem NfUrCNRReUL9RXS9upG1.

"Brother... I must cross the sea, though I'd rather stay beside you. If the gods will it, we'll see each other again. Until then, when the sun sinks beyond the waves, know that I'll be looking toward home."
He clasped my forearm beneath the pale morning sky. I held on a moment longer, then watched him turn toward the waiting ship.

Stem HBDoL4wkcalemIO0nUAu.

"When I was young, I thought the mountain stood because it was strong. Then winter came, and the mountain wore its crown of snow without complaint. Spring followed, and it let every stream run free.
"So remember, traveler: strength is not always holding fast. Sometimes it is knowing what to carry, and what the season asks you to release."

Stemacteren

Dit zijn generaties van Eleven v4. De audiotags in de tekst sturen de voordracht aan.

Stem EkK5I93UQWFDigLMpZcX.

[casual] "You're looking for work, eh? Hmm, I might have something for you. Just outside the valley, there's a group of wild horned boars I need you to take care of - nasty little beasts. The village would be grateful if you could get that done, and I'll make it worth your while."
------------
[annoyed] [under his breath] "Oh, you again... [sigh] Did you take care of that little problem I mentioned earlier? No, not yet? All right, off you go. I don't have time to chitchat. I'm busy standing here... handing out quests."
------------
[ecstatic] "You did it, you crazy bastard! [dismissive] Not that I didn't have any faith in you, but you wouldn't be the first one to fail. Yes, yes, I know. One of them might have been a little bigger than the others. But hey, you survived. You got it done. You helped the village."

Stem t7VaN65ClS2VrEUwk1nR.

[quietly curious] "Hmm… that mark. I haven't seen one like it in years. Where did you get it? Oh, you gonna make me guess? [giggle]"
------------
[measured] "No need to explain, if you'd rather not. This town has a way of leaving its mark on people. [soft chuckle] Usually not quite so literally."
------------
[lower, thoughtful] "Keep it covered when you can. There are still a few who remember what it means, and they may not ask as politely as I have."

Luisterboek

Dit is een vertelling van Eleven v4. De tags bepalen het tempo en de toon van de scène.

Stem KHRvDizAHFVPzoSehNY6.

[Quiet, measured narration] The moonlit training court lay beneath the keep, its stone walls silvered with frost. Beyond the battlements, a dragon's distant call rolled over the mountains.
Sir Alden lifted his blunted practice sword. "Ready?"
Bram, his broad shoulders wrapped in a travel-worn cloak, studied the wooden shield strapped to his arm. "I've faced worse odds."
[Pause, dry amusement] "You lost to a turnip cart yesterday," Sir Alden said.
"It was a very determined cart," Bran muttered
[Gradually building energy] They circled across the frost-dusted stones. One step. Another. Alden watched Bram's hands; Bram watched the faint blue glow gathering along Alden's blade. The air between them prickled with harmless magic.
[Quick, light, playful pace] Bram charged. Alden slipped aside. Clack! Wood met steel. Bram turned, his cloak flaring, and swung wide. Alden ducked beneath it. Bram's boot skidded on the frost; he windmilled, caught himself, and bowed as if he'd meant to do that all along.
"Magnificent," Alden said.
"I was giving you time to admire the cloak," Bran retorted.

Het model blijft zich ontwikkelen

Eleven v4 is actief en continu in ontwikkeling. Terwijl we het model na de lancering blijven trainen en verbeteren, kan het gedrag in de loop van de tijd veranderen naarmate de kwaliteit verbetert. We raden aan je use case regelmatig opnieuw te testen terwijl het model zich ontwikkelt, en we delen belangrijke updates zodra ze worden uitgerold.

Veelgestelde vragen