Eleven v4
Nuestro modelo de Texto a Voz más reciente y avanzado.
Eleven v4 es nuestro modelo de Texto a Voz más reciente y avanzado, y el primero de una nueva generación de modelos. Mejora la calidad del resultado, la precisión de la voz, la consistencia, la emoción, la entonación, las etiquetas de audio y la cobertura de idiomas respecto a Eleven v3.
En general, Eleven v4 supone una mejora respecto a Eleven v3 y ofrece mejores resultados en casi todos los casos. Te recomendamos encarecidamente cambiar a v4 y probarlo con tus propias voces y contenido para comprobar la diferencia. Aunque algunos casos concretos pueden requerir otra opción, para la mayoría de usuarios v4 será la mejor elección.
Para obtener información sobre etiquetas, puntuación y prompts de diálogo, consulta Cómo crear prompts para Eleven v4.
Clonación de voz
La precisión de la clonación de voz da un gran salto con Eleven v4. Las voces clonadas capturan las características de la voz de origen —timbre, cadencia y entonación— con más fidelidad que cualquier modelo anterior.
Las Clonaciones de Voz Instantáneas (IVC) son más precisas que nunca en Eleven v4. Capturan con mayor fidelidad las características definitorias de una voz de origen, lo que facilita crear rápidamente un clon convincente a partir de una muestra de audio corta.
La Clonación de Voz Instantánea ha recibido una mejora significativa en Eleven v4 y ofrece una precisión general notablemente mayor. Si aún no la has probado, este es un buen momento para hacerlo con tu propio audio.
Las Clonaciones de Voz Profesionales (PVC) son totalmente compatibles con Eleven v4. Se benefician de los mismos avances en precisión de voz y ofrecen una reproducción más fiel de la voz de origen para flujos de trabajo que requieren el máximo nivel de consistencia y control.
Debido a este importante salto en precisión, Eleven v4 puede sonar considerablemente diferente de Eleven v3. Eleven v3 sentó las bases de Eleven v4, con un fuerte énfasis en la entonación y la precisión, mientras que Eleven v4 se apoya en esas bases con una precisión de voz notablemente mejorada. Como resultado, Eleven v4 está diseñado para capturar la voz de origen con mayor fidelidad, aunque puede que sigas prefiriendo cómo sonaba una voz en Eleven v3. La precisión y las preferencias personales no siempre coinciden, así que te recomendamos comparar ambas versiones con tu propio contenido para elegir la que mejor se adapte a tu caso de uso.
Dado que Eleven v4 reproduce con mayor fidelidad las características de la voz de origen, incluidos su acento, entonación, volumen y otras cualidades distintivas, la calidad de la grabación de origen importa más que nunca. Un audio de entrenamiento claro y limpio ayuda a Eleven v4 a capturar la voz con precisión, sin introducir sonidos o características no deseados. El ruido de fondo, la distorsión u otros problemas de grabación pueden afectar al resultado.
Seguimos experimentando con Eleven v4 para entender cuál es la mejor forma de usarlo. Hasta ahora, parece mucho mejor capturando matices de audio, especialmente cuando hay mucho audio de entrenamiento, como ocurre con las Clonaciones de Voz Profesionales. Nuestras recomendaciones sobre el uso de datos de entrenamiento variados pueden cambiar a medida que seguimos probando cómo controlar el modelo con un conjunto de datos más versátil. Por ahora, te recomendamos mantener un único estilo de habla en tu audio de entrenamiento, que Eleven v4 debería capturar mejor que los modelos anteriores.
Gestión de acentos nativos
Este es uno de los mayores cambios de Eleven v4 respecto a cualquiera de los modelos anteriores, y conviene entenderlo bien.
Cuando el idioma que generas coincide con el idioma de tu voz de referencia, el acento original se conserva exactamente igual que antes.
Cuando el idioma que generas es diferente al de la voz de referencia, Eleven v4 genera habla fluida y natural en el idioma de destino, en lugar de trasladar el acento de la voz de referencia desde su idioma original.
En la práctica: si clonas la voz de una persona coreana y generas inglés, Eleven v4 producirá un inglés natural y fluido en lugar de inglés hablado con acento coreano. Esto permite usar cualquier voz en todos los idiomas compatibles, y resulta especialmente útil para doblaje, contenido multilingüe y agentes de voz que necesitan atender a usuarios en distintos idiomas con una sola voz.
Si tu flujo de trabajo depende de que una voz mantenga su acento nativo en otros idiomas, prueba este comportamiento directamente con Eleven v4 antes de migrar: es un cambio deliberado en el funcionamiento de la generación entre idiomas, no un error.
Sin embargo, esta nueva funcionalidad sigue ajustándose, y estamos explorando formas de convertirla en una opción en lugar de mantenerla siempre activada. Sigue siendo un proyecto de investigación, por lo que de momento no tenemos un calendario ni más información al respecto.
Variantes del modelo
Eleven v4 está disponible en dos variantes, para que puedas elegir el equilibrio adecuado entre calidad y velocidad según tu caso de uso:
- Eleven v4 (
eleven_v4) — nuestro modelo de máxima calidad, ideal para creación de contenido, audiolibros, locuciones de personajes y cualquier caso de uso en el que la calidad sea la máxima prioridad. - Eleven v4 Turbo (
eleven_v4_turbo) — calidad extremadamente alta con una latencia impresionantemente baja, diseñado específicamente para casos de uso en tiempo real, como agentes conversacionales y experiencias de voz interactivas.
Ambas variantes usan dos ajustes de voz: Estabilidad y Similitud.
La estabilidad controla la consistencia de la entonación entre generaciones. Los valores más bajos permiten una entonación más expresiva y variada; los valores más altos mantienen la interpretación más próxima a una referencia fija.
La similitud controla en qué medida el resultado se ajusta a la voz de referencia. Los valores más altos imponen una mayor fidelidad a la referencia, lo que puede reducir ligeramente la naturalidad.
Al generar voz con una Clonación de Voz Profesional en Eleven v4, aparece un control adicional de Fuerza del clon. La fuerza del clon controla en qué medida el resultado sigue las grabaciones de entrenamiento del clon. Con valores bajos, la voz se suaviza ligeramente y la entonación gana flexibilidad interpretativa, lo que a menudo ofrece un mejor resultado general sin dejar de sonar como la voz original. Con valores altos, el resultado se mantiene más próximo a las grabaciones de entrenamiento y se suaviza menos, imitando más fielmente la entonación y la interpretación de la voz original. Los valores altos pueden ser especialmente útiles para voces con rasgos distintivos o acentos únicos. Para la mayoría de voces, empieza en el 0 %.
Los controles de Estilo y Velocidad no están disponibles en Eleven v4, y SSML no es compatible.
Las etiquetas de audio (por ejemplo, [whispering], [shouting], [laughing]) te permiten dirigir la entonación con un control preciso, y Eleven v4 las gestiona con un nivel de matiz superior al de modelos anteriores. Aún no son perfectas, y seguimos iterando y mejorando la fiabilidad con la que el modelo sigue las instrucciones de las etiquetas: es un área de inversión activa y continua, y seguirá mejorando.
Ejemplos
Estos ejemplos son en bruto. No se ha aplicado un posprocesado intensivo: sin ecualización, compresión, normalización, eliminación de sibilancias, eliminación de oclusivas ni procesos similares. Si escuchas problemas recurrentes, como clipping, oclusivas, ecualización irregular o saltos de volumen, es muy probable que estén en los datos de entrenamiento de esa voz. El modelo Eleven v4 simplemente los ha capturado, ya que es muy preciso, incluso al capturar defectos. Hemos dejado el audio intacto para que puedas escuchar lo que produjo el modelo.
Precisión de la clonación de voz
Cada ejemplo comienza con una previsualización de la Biblioteca de voces. Después, tomamos un texto y lo generamos usando una Clonación de Voz Instantánea de esa voz tanto en Eleven v3 como en Eleven v4.
No es una comparación perfecta. Eleven v4 también funciona con Clonaciones de Voz Profesionales, que pueden llevar la coincidencia aún más lejos. Sin embargo, para mantener una comparación más justa, usamos Clonaciones de Voz Instantáneas tanto para Eleven v3 como para Eleven v4.
Estos ejemplos muestran cuánto de la voz original capta el modelo. Es importante tener en cuenta que esto también incluye la ecualización, la calidad, el volumen y otros detalles e imperfecciones menores del audio, como oclusivas, sibilancias ásperas y fluctuaciones de volumen.
Escucha la previsualización, después Eleven v3 y, por último, Eleven v4.
Voz NfUrCNRReUL9RXS9upG1.
Voz HBDoL4wkcalemIO0nUAu.
Interpretación de voz
Estas son generaciones de Eleven v4. Las etiquetas de audio del texto dirigen la entonación.
Voz EkK5I93UQWFDigLMpZcX.
Voz t7VaN65ClS2VrEUwk1nR.
Audiolibro
Esta es una narración de Eleven v4. Las etiquetas determinan el ritmo y el tono de la escena.
Voz KHRvDizAHFVPzoSehNY6.
El modelo seguirá evolucionando
Eleven v4 está en desarrollo activo y continuo. A medida que sigamos entrenando y mejorando el modelo tras su lanzamiento, su comportamiento puede cambiar con el tiempo a medida que mejore la calidad. Te recomendamos volver a probar tu caso de uso periódicamente a medida que el modelo evolucione, y compartiremos actualizaciones importantes conforme se publiquen.
Preguntas frecuentes
¿Qué idiomas admite Eleven v4?
Eleven v4 admite afrikáans, amárico, árabe, armenio, asamés, asturiano, azerí, bielorruso, bengalí, bosnio, búlgaro, birmano, cantonés, catalán, cebuano, croata, checo, danés, neerlandés, inglés, estonio, filipino, finés, francés, fula (pulaar), gallego, georgiano, alemán, griego, guyaratí, hausa, hebreo, hindi, húngaro, islandés, indonesio, italiano, japonés, canarés, kazajo, coreano, kirguís, lao, lingala, lituano, luganda, luxemburgués, macedonio, malayo, malayalam, maltés, chino mandarín, maorí, maratí, mongol, nepalí, noruego bokmål, occitano, odia, pastún, persa, polaco, portugués (Brasil), panyabí, rumano, ruso, serbio, shona, sindhi, eslovaco, esloveno, somalí, kurdo soraní, español (LatAm), suajili, sueco, tayiko, tamil, telugu, tailandés, turco, ucraniano, urdu, uzbeko, vietnamita, galés y wólof.
Algunos idiomas se gestionan con más fluidez que otros, pero en general Eleven v4 gestiona muy bien la gran mayoría de ellos.
¿Una voz clonada conservará su acento?
Cuando la voz de referencia y el habla generada están en el mismo idioma, se conserva el acento de la voz. Por ejemplo, si clonas a alguien que habla inglés con un acento inglés concreto y generas habla en inglés, ese acento se conservará.
¿Puedo hacer que una voz hable otro idioma con su acento original?
De forma predeterminada, cuando el idioma generado difiere del idioma de la voz de referencia, Eleven v4 busca generar habla fluida y natural en el idioma de destino en lugar de trasladar el acento de referencia. Puedes intentar usar etiquetas de audio para orientar un acento o estilo de entonación, pero los resultados pueden variar, así que prueba tu voz y caso de uso concretos.
¿Un clon de Eleven v4 sonará como su versión de Eleven v3?
En general, Eleven v4 reproduce las características de la voz de origen con mucha más precisión que Eleven v3, incluido su timbre, cadencia, entonación y otros manierismos. Como resultado, un clon de Eleven v4 generalmente sonará más parecido a la voz de origen y puede sonar bastante diferente de su versión de Eleven v3.
¿Necesito entrenar Eleven v4?
Eleven v4 funciona tanto con Clonación de Voz Instantánea como con Clonación de Voz Profesional.
Con la Clonación de Voz Instantánea, creas una voz sin un paso de entrenamiento independiente. Sube una muestra corta, normalmente de uno a dos minutos, y en cuestión de segundos tendrás una voz que podrás usar.
La Clonación de Voz Profesional funciona igual que en los modelos anteriores. Entrena un modelo específico con un conjunto más amplio de grabaciones.
Si ya tienes una Clonación de Voz Profesional y quieres entrenarla en Eleven v4, abre Mis voces, busca la voz en la lista y coloca el cursor sobre ella. Verás los modelos disponibles para esa voz. Haz clic en el botón más junto a Eleven v4 para iniciar el ajuste fino.
¿Debería usar Diseño de voz con Eleven v4?
Las voces de Diseño de voz funcionan con Eleven v4, pero puede que no sean tan interpretativas ni suenen tan bien como con modelos anteriores.