Expressieve modus

Overzicht

Met de expressieve modus kunnen agenten spraak leveren die intentie, emotie en nadruk weerspiegelt. Ze passen zich in realtime aan aan hoe gebruikers klinken en wat ze zeggen. De modus is gebaseerd op twee verbeteringen op systeemniveau in de conversatiestack:

1. Eleven v4 Turbo — het meest emotioneel intelligente, contextbewuste Text to Speech-model dat beschikbaar is in ElevenAgents.
2. Een nieuw systeem voor beurtwisseling — nauwkeuriger getimede reacties met minder onderbrekingen.

De expressieve modus wordt automatisch ingeschakeld wanneer je Eleven v4 Turbo selecteert als TTS-model van je agent.

Eleven v4 Turbo

Eleven v4 Turbo is de realtimevariant van Eleven v4, met een mediane inferentielatentie van ~100 ms, geoptimaliseerd voor live dialogen waarin sprekers elkaar afwisselen. Het behoudt de gesprekscontext tussen beurten en past de manier van spreken aan de toon en intentie van elke uitwisseling aan.

• Contextbewuste spraak: Agenten passen hun toon aan op basis van de gesprekscontext — ze reageren rustiger wanneer een gebruiker bezorgd klinkt, of directer wanneer duidelijkheid belangrijk is.
• Expliciete controle over emotie: Stuur de manier van spreken met regels in de system prompt, van precieze triggers tot bredere scenario’s, zodat deze aansluit bij je merkstem en compliancevereisten.
• Ondersteuning voor meer dan 90 talen: Uitgebreid van ~32 talen in Flash-modellen.
• Expressieve tags: De LLM kan tags zoals [laughs], [whispers] of [sighs] uitvoeren om specifieke momenten in de spraak te sturen.

Systeem voor beurtwisseling

Het nieuwe systeem voor beurtwisseling gebruikt realtime signalen van Scribe v2 Realtime — waaronder emotionele signalen en spraakpatronen — om te bepalen wanneer een agent moet spreken, pauzeren of wachten. Hierdoor reageren agenten natuurlijker, vooral in emotioneel beladen situaties.

“Ja” kan bijvoorbeeld een volledige bevestiging zijn of een inleiding om verder te spreken. Door naast het transcript ook te analyseren hoe het werd gezegd (spraakaanwijzingen zoals prosodie), timet het systeem de reactie van de agent natuurlijker.

Je kunt het gedrag bij beurtwisseling verder afstemmen met de instelling beurtgedrevenheid.

Configuratie

Expressieve modus inschakelen

Voorbeelden van system prompts

Stuur de emotionele expressie van je agent met instructies in natuurlijke taal in de system prompt. Het model interpreteert deze contextueel, dus expliciete tags zijn niet voor elke situatie nodig.

Brede richtlijnen

You are a customer support agent. When a user sounds frustrated or upset, respond
in a calm, reassuring tone. When delivering good news, allow your tone to reflect
genuine warmth. Maintain a professional but approachable delivery throughout.

Specifieke triggers

You are a conversational AI agent with expressive speech capabilities.
Tone guidelines:
- When a user expresses frustration, use a calm and empathetic tone
- When explaining technical steps, use a clear and measured pace
- When a user shares good news, respond with warmth and enthusiasm
- When handling complaints, remain composed and solution-oriented

Expressieve tags gebruiken

Naast contextbewuste spraak kan de LLM expliciete tags uitvoeren om specifieke momenten te sturen. Veelgebruikte tags zijn:

• [laughs] — Voegt gelach toe aan de spraak
• [whispers] — Verlaagt het volume om te fluisteren
• [sighs] — Voegt een zuchtende klank toe
• [slow] — Vertraagt de spreeksnelheid
• [excited] — Voegt enthousiasme toe aan de manier van spreken

Elke tag beïnvloedt ongeveer de volgende 4-5 gesproken woorden, waarna de normale manier van spreken terugkeert.

You can also use expressive tags in your responses for precise control:
- [laughs] for moments of humor
- [whispers] for confidential or intimate moments
- [sighs] for resignation or relief
- [slow] when emphasizing important information
Example: "That's great to hear! [laughs] I'm glad we could sort that out for you."

Best practices

Beperkingen

Veelgestelde vragen

Gerelateerde functies