Zur Navigation springen
Funktionen

Text to Dialogue

Erfahren Sie, wie Sie mit ElevenLabs immersive, natürlich klingende Dialoge erstellen.

Überblick

Die ElevenLabs API für Text to Dialogue erstellt mit Eleven v4 und Eleven v3 natürlich klingende, ausdrucksstarke Dialoge aus Text. Wir empfehlen Eleven v4. Beliebte Anwendungsfälle:

  • Stimmige Gespräche für Videospiele generieren
  • Immersive Dialoge für Podcasts und andere Audioinhalte erstellen
  • Hörbücher mit ausdrucksstarker Erzählung zum Leben erwecken

Möglicherweise sind mehrere Generierungen erforderlich, um die gewünschten Ergebnisse zu erzielen. Wenn Sie Text to Dialogue in Ihre Anwendung integrieren, sollten Sie mehrere Generierungen erstellen und Nutzern die Auswahl der besten ermöglichen.

Um das Gespräch in eine Szene wie ein Telefongespräch, ein Café oder eine große Halle zu versetzen, übergeben Sie audio_effects mit Ihrer Anfrage. Dieselben Filtervoreinstellungen, Umgebungen und Hintergrundgeräusche wie bei Text to Speech-Audioeffekten gelten für den gesamten Dialog. Dialogeffekte sind nur über die API verfügbar.

Hören Sie sich ein Beispiel an:

Entwickler

Erfahren Sie, wie Sie Text to Dialogue in Ihre Anwendung integrieren.

Prompting-Leitfaden

Erfahren Sie, wie Sie ausdrucksstarke Dialoge mit Audio-Tags prompten.

API-Referenz

Vollständige API-Referenz für den Text to Dialogue-Endpunkt.

Stimmoptionen

ElevenLabs bietet über mehrere Erstellungsmethoden Tausende Stimmen. Eleven v4 unterstützt über 90 Sprachen, Eleven v3 über 70 Sprachen.

Erfahren Sie mehr über unsere Stimmoptionen.

Prompting

Die Modelle interpretieren den emotionalen Kontext direkt aus der Texteingabe. Das Hinzufügen beschreibender Texte wie „sagte sie aufgeregt“ oder die Verwendung von Ausrufezeichen beeinflusst die Emotion der Sprache. Stimmeinstellungen wie Stabilität und Ähnlichkeit helfen, die Konsistenz zu steuern, während die zugrunde liegende Emotion aus textlichen Hinweisen stammt.

Lesen Sie den Prompting-Leitfaden für weitere Details.

Emotionale Sprechweisen mit Audio-Tags

Diese Funktion befindet sich noch in aktiver Entwicklung. Die tatsächlichen Ergebnisse können abweichen.

Eleven v4 und Eleven v3 ermöglichen die Verwendung nichtsprachlicher Audioereignisse, um die Sprechweise des Dialogs zu beeinflussen. Dazu werden die Audioereignisse in eckigen Klammern in die Texteingabe eingefügt.

In Text to Dialogue hat jeder Dialogzug seinen eigenen Text und seine eigene Stimme. Fügen Sie Audio-Tags in den Text des Zugs ein, den sie beeinflussen sollen. Die voice_id wählt weiterhin die Sprecherstimme für diesen Zug aus, während die Tags die Sprechweise steuern.

Ein Sprecher kann beispielsweise eine Stimme verwenden, während der Text mit [giggling] beginnt, und der nächste Sprecher kann eine andere Stimme verwenden, während sein Text mit [whispering] beginnt. Ein API-Beispiel, das Tags mit voice_id kombiniert, finden Sie im Text to Dialogue-Schnellstart.

Audio-Tags sind Anweisungen in natürlicher Sprache, kein Enum-Parameter. Setzen Sie die Anweisung in eckige Klammern und platzieren Sie sie im Text an der Stelle, an der sich die Sprechweise ändern soll. Die folgenden Beispiele sind nicht vollständig; weitere Hinweise zu effektiven Tags finden Sie im Prompting-Leitfaden.

Audio-Tags haben einige verschiedene Formen:

Emotionen und Sprechweise

Zum Beispiel [sad], [laughing] und [whispering]

Audioereignisse

Zum Beispiel [leaves rustling], [gentle footsteps] und [applause].

Allgemeine Anweisung

Zum Beispiel [football], [wrestling match] und [auctioneer].

Einige Beispiele:

"[giggling] That's really funny!"
"[groaning] That was awful."
"Well, [sigh] I'm not sure what to say."

Sie können auch Satzzeichen verwenden, um den Verlauf eines Dialogs anzuzeigen, etwa Unterbrechungen:

"[cautiously] Hello, is this seat-"
"[jumping in] Free? [cheerfully] Yes it is."

Auslassungspunkte können verwendet werden, um ausklingende Sätze anzuzeigen:

"[indecisive] Hi, can I get uhhh..."
"[quizzically] The usual?"
"[elated] Yes! [laughs] I'm so glad you knew!"

Das Standard-Antwortformat ist mp3, aber auch andere Formate wie pcm und ulaw sind verfügbar.

  • MP3
    • Abtastraten: 22,05 kHz – 44,1 kHz
    • Bitraten: 32 kbps – 192 kbps
    • 22,05 kHz bei 32 kbps
    • 44,1 kHz bei 32 kbps, 64 kbps, 96 kbps, 128 kbps, 192 kbps
  • PCM (S16LE)
    • Abtastraten: 16 kHz – 44,1 kHz
    • Bitraten: 8 kHz, 16 kHz, 22,05 kHz, 24 kHz, 44,1 kHz, 48 kHz
    • 16-Bit-Tiefe
  • μ-law
    • Abtastrate: 8 kHz
    • Optimiert für Telefonieanwendungen
  • A-law
    • Abtastrate: 8 kHz
    • Optimiert für Telefonieanwendungen
  • Opus
    • Abtastrate: 48 kHz
    • Bitraten: 32 kbps – 192 kbps

Audiooptionen mit höherer Qualität sind nur in kostenpflichtigen Tarifen verfügbar. Details finden Sie auf unserer Preisseite .

Unterstützte Sprachen

Eleven v4 unterstützt über 90 Sprachen. Eleven v3 unterstützt über 70 Sprachen. Die vollständigen Listen finden Sie unter Eleven v4 und Eleven v3.

FAQ

Text to Dialogue ist für die Modelle Eleven v4 und Eleven v3 verfügbar.

Ja. Sie behalten das Eigentum an allen Audiodateien, die Sie generieren. Kommerzielle Nutzungsrechte sind jedoch nur mit kostenpflichtigen Tarifen verfügbar. Mit einem kostenpflichtigen Abonnement können Sie generierte Audiodateien kommerziell nutzen und die Ausgaben monetarisieren, wenn Sie die IP-Rechte an den Eingabeinhalten besitzen.

Mit einer kostenlosen Neugenerierung können Sie denselben Text-to-Speech-Inhalt ohne zusätzliche Kosten neu generieren, unter folgenden Bedingungen:

  • Nur im ElevenLabs-Dashboard verfügbar.
  • Sie können jeden Inhalt bis zu zweimal kostenlos neu generieren.
  • Der Inhalt muss exakt derselbe sein wie bei der vorherigen Generierung. Änderungen am Text, an Stimmeinstellungen oder anderen Parametern erfordern eine neue, kostenpflichtige Generierung.

Kostenlose Neugenerierungen sind nützlich, wenn die Audioausgabe leicht verzerrt ist. Nach den internen Benchmarks von ElevenLabs beheben Neugenerierungen etwa die Hälfte der Qualitätsprobleme. Die verbleibenden Probleme sind meist auf schlechte Trainingsdaten zurückzuführen.

Die Anzahl der Sprecher in einem Dialog ist nicht begrenzt.

Die Modelle sind nicht deterministisch. Verwenden Sie für mehr Konsistenz den optionalen Parameter seed , wobei dennoch geringfügige Unterschiede auftreten können.

Halten Sie die Gesamtlänge aller inputs[].text-Werte für eine zuverlässige Generierung bei höchstens 2.000 Zeichen pro Anfrage. Teilen Sie längere Texte in Abschnitte auf und fügen Sie die resultierenden Audiodateien in Ihrer Anwendung zusammen.

Wichtige Fakten

  • Modelle: Verfügbar mit Eleven v4 und Eleven v3
  • Sprecher: Keine Begrenzung der Sprecheranzahl pro Dialog
  • Anfragegröße: Halten Sie die Gesamtlänge aller inputs[].text-Werte bei höchstens 2.000 Zeichen pro Anfrage
  • Determinismus: Die Ausgabe ist nicht deterministisch — verwenden Sie den Parameter seed für konsistentere Ergebnisse
  • Kostenlose Neugenerierungen: Bis zu 2 kostenlose Neugenerierungen pro Generierung (gleicher Inhalt, gleiche Parameter, nur im Dashboard)
  • Eigentum: Sie behalten das Eigentum an generierten Audiodateien; die kommerzielle Nutzung erfordert einen kostenpflichtigen Tarif