Eleven v4

Eleven v4 ist unser neuestes und fortschrittlichstes Text to Speech-Modell und das erste einer neuen Modellgeneration. Gegenüber Eleven v3 verbessert es Ausgabequalität, Stimmgenauigkeit, Konsistenz, Emotionen, Vortragsweise, Audiotags und Sprachabdeckung.

Generell ist Eleven v4 ein klares Upgrade gegenüber Eleven v3 und liefert in fast allen Fällen bessere Ergebnisse. Wir empfehlen dringend, zu v4 zu wechseln und es mit Ihren eigenen Stimmen und Inhalten zu testen, um den Unterschied selbst zu erleben. Während einige Sonderfälle möglicherweise besser zu einer anderen Lösung passen, ist v4 für die meisten Nutzer die bessere Wahl.

Informationen zu Tags, Zeichensetzung und Dialog-Prompting finden Sie unter Prompting Eleven v4.

KI-Stimme klonen

Die Genauigkeit beim Klonen von Stimmen macht mit Eleven v4 einen großen Sprung nach vorn. Geklonte Stimmen erfassen die Merkmale der Ausgangsstimme — Klangfarbe, Rhythmus und Vortragsweise — originalgetreuer als mit jedem früheren Modell.

Instant Voice Clones (IVCs) sind in Eleven v4 genauer als je zuvor. Sie erfassen die prägenden Merkmale einer Ausgangsstimme originalgetreuer und erleichtern es so, aus einer kurzen Audioaufnahme schnell einen überzeugenden Klon zu erstellen.

Professional Voice Clones (PVCs) werden in Eleven v4 vollständig unterstützt. Sie nutzen dieselben Fortschritte bei der Stimmgenauigkeit und bieten eine originalgetreuere Wiedergabe der Ausgangsstimme für Workflows, die maximale Konsistenz und Kontrolle erfordern.

Aufgrund dieses deutlichen Genauigkeitssprungs kann Eleven v4 erheblich anders klingen als Eleven v3. Eleven v3 schuf die Grundlage für Eleven v4, mit starkem Fokus auf Vortragsweise und Genauigkeit. Eleven v4 baut darauf mit deutlich verbesserter Stimmgenauigkeit auf. Dadurch ist Eleven v4 darauf ausgelegt, die Ausgangsstimme originalgetreuer zu erfassen, auch wenn Ihnen möglicherweise der Klang einer Stimme in Eleven v3 besser gefällt. Genauigkeit und persönliche Präferenz sind nicht immer dasselbe. Deshalb empfehlen wir, beide Versionen mit Ihren eigenen Inhalten zu vergleichen, um die beste Lösung für Ihren Anwendungsfall zu wählen.

Da Eleven v4 die Merkmale der Ausgangsstimme — einschließlich Akzent, Vortragsweise, Lautstärke und anderer charakteristischer Eigenschaften — originalgetreuer wiedergibt, ist die Qualität der Ausgangsaufnahme wichtiger denn je. Klare, saubere Trainingsaufnahmen helfen Eleven v4, die Stimme präzise zu erfassen, ohne unerwünschte Geräusche oder Merkmale einzuführen. Hintergrundgeräusche, Verzerrungen oder andere Aufnahmeprobleme können das Ergebnis beeinflussen.

Wir experimentieren weiterhin mit Eleven v4, um zu verstehen, wie es sich am besten einsetzen lässt. Bisher scheint es viel besser darin zu sein, nuancierte Audiodaten zu erfassen, insbesondere bei umfangreichem Trainingsmaterial wie bei Professional Voice Clones. Unsere Empfehlungen für vielfältige Trainingsdaten können sich ändern, während wir weiter testen, wie sich das Modell mit einem vielseitigeren Datensatz steuern lässt. Vorerst empfehlen wir, bei einem einheitlichen Sprechstil in Ihren Trainingsaufnahmen zu bleiben, den Eleven v4 besser erfassen sollte als frühere Modelle.

Umgang mit nativen Akzenten

Dies ist eine der größten Änderungen von Eleven v4 gegenüber allen älteren Modellen und sollte klar verstanden werden.

Wenn die von Ihnen generierte Sprache mit der Sprache Ihrer Referenzstimme übereinstimmt, bleibt der ursprüngliche Akzent genau wie bisher erhalten.

Wenn die von Ihnen generierte Sprache von der Sprache der Referenzstimme abweicht, erzeugt Eleven v4 flüssige, natürlich klingende Sprache in der Zielsprache — statt den Akzent der Referenzstimme aus ihrer ursprünglichen Sprache zu übernehmen.

In der Praxis: Wenn Sie eine Stimme eines koreanischen Sprechers klonen und Englisch generieren, erzeugt Eleven v4 natürliches, flüssiges Englisch statt Englisch mit koreanischem Akzent. Dadurch ist jede Stimme in allen unterstützten Sprachen nutzbar. Das ist besonders hilfreich für Synchronisationen, mehrsprachige Inhalte und Sprachagenten, die Nutzer mit einer einzelnen Stimme in verschiedenen Sprachen bedienen müssen.

Wenn Ihr Workflow darauf angewiesen ist, dass eine Stimme ihren nativen Akzent in andere Sprachen übernimmt, testen Sie dieses Verhalten direkt mit Eleven v4, bevor Sie migrieren — es handelt sich um eine bewusste Änderung der sprachübergreifenden Generierung, nicht um einen Fehler.

Diese neue Funktion wird jedoch noch weiter optimiert. Wir prüfen Möglichkeiten, sie optional statt dauerhaft aktiviert anzubieten. Das ist weiterhin ein Forschungsprojekt. Daher haben wir derzeit keinen Zeitplan und keine weiteren Informationen dazu.

Modellvarianten

Eleven v4 ist in zwei Varianten verfügbar, damit Sie das richtige Gleichgewicht aus Qualität und Geschwindigkeit für Ihren Anwendungsfall wählen können:

• Eleven v4 (eleven_v4) — unser Modell mit der höchsten Qualität, ideal für Content-Erstellung, Hörbücher, Charakter-Voiceovers und jeden Anwendungsfall, bei dem Qualität oberste Priorität hat.
• Eleven v4 Turbo (eleven_v4_turbo) — extrem hohe Qualität bei beeindruckend niedriger Latenz, speziell für Echtzeitanwendungen wie konversationelle Agenten und interaktive Spracherlebnisse entwickelt.

Beide Varianten verwenden zwei Stimmeinstellungen: Stabilität und Ähnlichkeit.

Stabilität steuert, wie konsistent die Vortragsweise über mehrere Generierungen hinweg bleibt. Niedrigere Werte ermöglichen eine ausdrucksstärkere, abwechslungsreichere Vortragsweise. Höhere Werte halten die Performance näher an einer festen Basislinie.

Ähnlichkeit steuert, wie genau die Ausgabe der Referenzstimme folgt. Höhere Werte sorgen für eine stärkere Orientierung an der Referenz, was die Natürlichkeit etwas beeinträchtigen kann.

Wenn Sie mit einem Professional Voice Clone in Eleven v4 Sprache generieren, erscheint ein zusätzlicher Regler für Klonstärke. Die Klonstärke steuert, wie genau die Ausgabe den Trainingsaufnahmen des Klons folgt. Bei niedrigeren Werten wird die Stimme leicht geglättet und die Vortragsweise wird flexibler, was insgesamt oft besser klingt und dennoch wie die ursprüngliche Stimme wirkt. Bei höheren Werten bleibt die Ausgabe mit weniger Glättung näher an den Trainingsaufnahmen und ahmt Vortragsweise und Performance der ursprünglichen Stimme genauer nach. Höhere Werte können besonders für Stimmen mit ausgeprägten Merkmalen oder einzigartigen Akzenten nützlich sein. Beginnen Sie für die meisten Stimmen bei 0 %.

Regler für Stil und Geschwindigkeit sind in Eleven v4 nicht verfügbar, und SSML wird nicht unterstützt.

Audiotags (z. B. [whispering], [shouting], [laughing]) ermöglichen Ihnen eine präzise Steuerung der Vortragsweise. Eleven v4 verarbeitet sie mit einer Nuancierung, die über frühere Modelle hinausgeht. Sie sind noch nicht perfekt, und wir verbessern weiterhin, wie zuverlässig das Modell Tag-Anweisungen befolgt — dies ist ein aktiver Bereich fortlaufender Investitionen und wird kontinuierlich besser.

Beispiele

Genauigkeit beim Klonen von Stimmen

Jedes Beispiel beginnt mit einer Vorschau aus der Stimmbibliothek. Anschließend haben wir Text mit einem Instant Voice Clone dieser Stimme sowohl in Eleven v3 als auch in Eleven v4 generiert.

Dies ist kein perfekter Vergleich. Eleven v4 funktioniert auch mit Professional Voice Clones, die die Übereinstimmung noch weiter verbessern können. Um den Vergleich fairer zu halten, haben wir jedoch für Eleven v3 und Eleven v4 jeweils Instant Voice Clones verwendet.

Diese Beispiele zeigen, wie viel der ursprünglichen Stimme das Modell erfasst. Wichtig ist, dass dies auch EQ, Qualität, Lautstärke sowie alle anderen kleinen Details und Unvollkommenheiten im Audio umfasst, etwa Plosive, harte Zischlaute und Lautstärkeschwankungen.

Hören Sie zuerst die Vorschau, dann Eleven v3 und anschließend Eleven v4.

Stimme NfUrCNRReUL9RXS9upG1.

"Brother... I must cross the sea, though I'd rather stay beside you. If the gods will it, we'll see each other again. Until then, when the sun sinks beyond the waves, know that I'll be looking toward home."
He clasped my forearm beneath the pale morning sky. I held on a moment longer, then watched him turn toward the waiting ship.

Stimme HBDoL4wkcalemIO0nUAu.

"When I was young, I thought the mountain stood because it was strong. Then winter came, and the mountain wore its crown of snow without complaint. Spring followed, and it let every stream run free.
"So remember, traveler: strength is not always holding fast. Sometimes it is knowing what to carry, and what the season asks you to release."

Voice Acting

Dies sind Generierungen mit Eleven v4. Die Audiotags im Text steuern die Vortragsweise.

Stimme EkK5I93UQWFDigLMpZcX.

[casual] "You're looking for work, eh? Hmm, I might have something for you. Just outside the valley, there's a group of wild horned boars I need you to take care of - nasty little beasts. The village would be grateful if you could get that done, and I'll make it worth your while."
------------
[annoyed] [under his breath] "Oh, you again... [sigh] Did you take care of that little problem I mentioned earlier? No, not yet? All right, off you go. I don't have time to chitchat. I'm busy standing here... handing out quests."
------------
[ecstatic] "You did it, you crazy bastard! [dismissive] Not that I didn't have any faith in you, but you wouldn't be the first one to fail. Yes, yes, I know. One of them might have been a little bigger than the others. But hey, you survived. You got it done. You helped the village."

Stimme t7VaN65ClS2VrEUwk1nR.

[quietly curious] "Hmm… that mark. I haven't seen one like it in years. Where did you get it? Oh, you gonna make me guess? [giggle]"
------------
[measured] "No need to explain, if you'd rather not. This town has a way of leaving its mark on people. [soft chuckle] Usually not quite so literally."
------------
[lower, thoughtful] "Keep it covered when you can. There are still a few who remember what it means, and they may not ask as politely as I have."

Hörbuch

Dies ist eine Eleven v4-Erzählung. Die Tags legen Tempo und Ton der Szene fest.

Stimme KHRvDizAHFVPzoSehNY6.

[Quiet, measured narration] The moonlit training court lay beneath the keep, its stone walls silvered with frost. Beyond the battlements, a dragon's distant call rolled over the mountains.
Sir Alden lifted his blunted practice sword. "Ready?"
Bram, his broad shoulders wrapped in a travel-worn cloak, studied the wooden shield strapped to his arm. "I've faced worse odds."
[Pause, dry amusement] "You lost to a turnip cart yesterday," Sir Alden said.
"It was a very determined cart," Bran muttered
[Gradually building energy] They circled across the frost-dusted stones. One step. Another. Alden watched Bram's hands; Bram watched the faint blue glow gathering along Alden's blade. The air between them prickled with harmless magic.
[Quick, light, playful pace] Bram charged. Alden slipped aside. Clack! Wood met steel. Bram turned, his cloak flaring, and swung wide. Alden ducked beneath it. Bram's boot skidded on the frost; he windmilled, caught himself, and bowed as if he'd meant to do that all along.
"Magnificent," Alden said.
"I was giving you time to admire the cloak," Bran retorted.

Das Modell wird sich weiterentwickeln

Eleven v4 wird aktiv und kontinuierlich weiterentwickelt. Da wir das Modell nach der Veröffentlichung weiter trainieren und verbessern, kann sich sein Verhalten mit steigender Qualität im Laufe der Zeit verändern. Wir empfehlen, Ihren Anwendungsfall regelmäßig erneut zu testen, während sich das Modell weiterentwickelt. Wichtige Updates teilen wir mit Ihnen, sobald sie verfügbar sind.

FAQ