Text to Dialogue
Overzicht
De Text to Dialogue-API van ElevenLabs maakt met Eleven v4 en Eleven v3 natuurlijk klinkende, expressieve dialogen van tekst. We raden Eleven v4 aan. Populaire toepassingen zijn onder meer:
- Perfecte gesprekken genereren voor videogames
- Meeslepende dialogen maken voor podcasts en andere audiocontent
- Luisterboeken tot leven brengen met expressieve vertelling
Mogelijk zijn meerdere generaties nodig om het gewenste resultaat te bereiken. Wanneer je Text to Dialogue in je applicatie integreert, kun je meerdere generaties maken en de gebruiker de beste laten kiezen.
Geef de conversatie een scène mee, zoals een telefoongesprek, een café of een grote hal, door audio_effects met je request mee te sturen. Dezelfde filterpresets, omgevingen en achtergrondgeluiden als bij Text to Speech-audio-effecten zijn van toepassing op de hele dialoog. Dialoogeffecten zijn alleen beschikbaar via de API.
Luister naar een voorbeeld:
Stemopties
ElevenLabs biedt via verschillende creatiemethoden duizenden stemmen. Eleven v4 ondersteunt meer dan 90 talen en Eleven v3 ondersteunt meer dan 70 talen.
- Stembibliotheek met meer dan 10.000 stemmen die door de community zijn gedeeld
- Professioneel stemklonen voor replica’s met de hoogste kwaliteit
- Direct stemklonen om snel een stem te repliceren
- Stemontwerp om aangepaste stemmen te genereren op basis van tekstbeschrijvingen
Lees meer over onze stemopties.
Prompting
De modellen interpreteren de emotionele context rechtstreeks uit de tekstinvoer. Zo beïnvloeden beschrijvende teksten als “zei ze opgewonden” of uitroeptekens de emotie in de spraak. Steminstellingen zoals Stability en Similarity helpen de consistentie te regelen, terwijl de onderliggende emotie voortkomt uit tekstuele signalen.
Lees de promptinggids voor meer informatie.
Emotionele voordracht met audiotags
Met Eleven v4 en Eleven v3 kun je niet-spraak-audiogebeurtenissen gebruiken om de voordracht van de dialoog te beïnvloeden. Dit doe je door de audiogebeurtenissen tussen vierkante haken in de tekstinvoer te plaatsen.
In Text to Dialogue heeft elke dialoogbeurt een eigen tekst en stem. Voeg audiotags toe in de tekst van de beurt waarop ze van invloed moeten zijn. De voice_id selecteert nog steeds de stem van de spreker voor die beurt, terwijl de tags de voordracht sturen.
Een spreker kan bijvoorbeeld één stem gebruiken terwijl de tekst begint met [giggling], en de volgende spreker kan een andere stem gebruiken terwijl de tekst begint met [whispering]. Zie voor een API-voorbeeld waarin tags met voice_id worden gecombineerd de Text to Dialogue-quickstart.
Audiotags zijn instructies in natuurlijke taal, geen enum-parameter. Plaats de instructie tussen vierkante haken op de plek in de tekst waar de voordracht moet veranderen. De onderstaande voorbeelden zijn niet volledig; raadpleeg de promptinggids voor meer richtlijnen over effectieve tags.
Audiotags hebben een paar verschillende vormen:
Emoties en voordracht
Bijvoorbeeld [sad], [laughing] en [whispering]
Audiogebeurtenissen
Bijvoorbeeld [leaves rustling], [gentle footsteps] en [applause].
Algemene aanwijzingen
Bijvoorbeeld [football], [wrestling match] en [auctioneer].
Enkele voorbeelden:
Je kunt ook interpunctie gebruiken om het verloop van de dialoog aan te geven, zoals onderbrekingen:
Je kunt beletseltekens gebruiken om onafgemaakte zinnen aan te geven:
Ondersteunde uitvoerformaten
De standaard response-indeling is mp3, maar er zijn ook andere indelingen beschikbaar, zoals pcm en ulaw.
- MP3
- Samplefrequenties: 22.05kHz - 44.1kHz
- Bitrates: 32kbps - 192kbps
- 22.05kHz @ 32kbps
- 44.1kHz @ 32kbps, 64kbps, 96kbps, 128kbps, 192kbps
- PCM (S16LE)
- Samplefrequenties: 16kHz - 44.1kHz
- Bitrates: 8kHz, 16kHz, 22.05kHz, 24kHz, 44.1kHz, 48kHz
- 16-bits diepte
- μ-law
- Samplefrequentie van 8kHz
- Geoptimaliseerd voor telefonietoepassingen
- A-law
- Samplefrequentie van 8kHz
- Geoptimaliseerd voor telefonietoepassingen
- Opus
- Samplefrequentie: 48kHz
- Bitrates: 32kbps - 192kbps
Audio-opties van hogere kwaliteit zijn alleen beschikbaar in betaalde abonnementen. Bekijk onze prijspagina voor meer informatie.
Ondersteunde talen
Eleven v4 ondersteunt meer dan 90 talen. Eleven v3 ondersteunt meer dan 70 talen. Bekijk Eleven v4 en Eleven v3 voor de volledige lijsten.
Veelgestelde vragen
Welke modellen kan ik gebruiken?
Text to Dialogue is beschikbaar voor de modellen Eleven v4 en Eleven v3.
Ben ik eigenaar van de audio-uitvoer?
Ja. Je behoudt het eigendom van alle audio die je genereert. Commerciële gebruiksrechten zijn echter alleen beschikbaar met betaalde abonnementen. Met een betaald abonnement mag je gegenereerde audio voor commerciële doeleinden gebruiken en inkomsten genereren met de uitvoer als je de intellectuele-eigendomsrechten op de invoercontent bezit.
Wanneer kom ik in aanmerking voor een gratis regeneratie?
Met een gratis regeneratie kun je dezelfde text-to-speechcontent zonder extra kosten opnieuw genereren, onder de volgende voorwaarden:
- Alleen beschikbaar in het ElevenLabs-dashboard.
- Je kunt elk stuk content maximaal 2 keer gratis opnieuw genereren.
- De content moet exact hetzelfde zijn als bij de vorige generatie. Bij wijzigingen in de tekst, steminstellingen of andere parameters is een nieuwe, betaalde generatie nodig.
Gratis regeneraties zijn nuttig als er een lichte vervorming in de audio-uitvoer zit. Volgens de interne benchmarks van ElevenLabs lossen regeneraties ongeveer de helft van de kwaliteitsproblemen op; de resterende problemen worden meestal veroorzaakt door slechte trainingsdata.
Hoeveel sprekers kan mijn dialoog hebben?
Er is geen limiet aan het aantal sprekers in een dialoog.
Waarom is mijn uitvoer soms inconsistent?
De modellen zijn niet-deterministisch. Gebruik voor consistentie de optionele seed- parameter, al kunnen er nog steeds subtiele verschillen optreden.
Wat is de beste aanpak voor grote tekstconversies?
Houd de totale lengte van alle waarden van inputs[].text per request op of onder 2.000 tekens voor betrouwbare generatie. Splits langere tekst op in delen en voeg de resulterende audio samen in je applicatie.
Belangrijke feiten
- Modellen: Beschikbaar met Eleven v4 en Eleven v3
- Sprekers: Geen limiet aan het aantal sprekers per dialoog
- Requestgrootte: Houd de totale lengte van alle waarden van
inputs[].textper request op of onder 2.000 tekens - Determinisme: De uitvoer is niet-deterministisch — gebruik de parameter
seedvoor consistentere resultaten - Gratis regeneraties: Maximaal 2 gratis regeneraties per generatie (dezelfde content, dezelfde parameters, alleen dashboard)
- Eigendom: Je behoudt het eigendom van gegenereerde audio; commercieel gebruik vereist een betaald abonnement