Eleven v4

Eleven v4 हमारा नवीनतम और सबसे उन्नत टेक्स्ट टू स्पीच मॉडल है, और नई पीढ़ी के मॉडलों में पहला है। Eleven v3 की तुलना में यह आउटपुट क्वालिटी, वॉइस सटीकता, एकरूपता, भाव, डिलीवरी, ऑडियो टैग और भाषा कवरेज को बेहतर बनाता है।

आम तौर पर, Eleven v4, Eleven v3 की तुलना में एक स्पष्ट अपग्रेड है और लगभग हर स्थिति में बेहतर नतीजे देता है। हम दृढ़ता से सलाह देते हैं कि आप v4 पर स्विच करें और अंतर खुद देखने के लिए अपनी वॉइस और कंटेंट के साथ इसे टेस्ट करें। हालांकि कुछ विशेष मामलों में कोई दूसरा विकल्प बेहतर हो सकता है, लेकिन ज़्यादातर यूज़र्स के लिए v4 बेहतर विकल्प होगा।

टैग, विराम चिह्न और डायलॉग प्रॉम्प्टिंग के लिए, Prompting Eleven v4 देखें।

वॉइस क्लोनिंग

Eleven v4 के साथ वॉइस क्लोनिंग की सटीकता में बड़ा सुधार हुआ है। क्लोन की गई वॉइस, सोर्स वॉइस की विशेषताओं — टिंबर, लय और डिलीवरी — को पिछले किसी भी मॉडल की तुलना में ज़्यादा सटीकता से कैप्चर करती हैं।

Eleven v4 में इंस्टेंट वॉइस क्लोन्स (IVCs) पहले से कहीं ज़्यादा सटीक हैं। वे सोर्स वॉइस की परिभाषित विशेषताओं को ज़्यादा विश्वसनीय रूप से कैप्चर करते हैं, जिससे छोटे ऑडियो सैंपल से जल्दी एक भरोसेमंद क्लोन बनाना आसान हो जाता है।

प्रोफेशनल वॉइस क्लोन्स (PVCs) Eleven v4 में पूरी तरह समर्थित हैं। वे वॉइस सटीकता में हुई इन्हीं प्रगतियों पर आधारित हैं और उन वर्कफ़्लो के लिए सोर्स वॉइस का अधिक विश्वसनीय पुनरुत्पादन देते हैं, जिनमें सबसे ज़्यादा एकरूपता और नियंत्रण चाहिए।

सटीकता में इस बड़े सुधार के कारण Eleven v4, Eleven v3 से काफ़ी अलग सुनाई दे सकता है। Eleven v3 ने डिलीवरी और सटीकता पर खास ज़ोर देते हुए Eleven v4 की नींव रखी, जबकि Eleven v4 उसी नींव पर बेहतर वॉइस सटीकता के साथ आगे बढ़ता है। नतीजतन, Eleven v4 को सोर्स वॉइस को ज़्यादा विश्वसनीय रूप से कैप्चर करने के लिए डिज़ाइन किया गया है, हालांकि आपको फिर भी किसी वॉइस का Eleven v3 वाला स्वरूप पसंद आ सकता है। सटीकता और व्यक्तिगत पसंद हमेशा एक जैसी नहीं होतीं, इसलिए हम सलाह देते हैं कि अपने उपयोग के मामले के लिए सबसे सही विकल्प चुनने हेतु अपने कंटेंट के साथ दोनों वर्ज़न की तुलना करें।

चूंकि Eleven v4, सोर्स वॉइस की विशेषताओं — उसके एक्सेंट, डिलीवरी, आवाज़ की तीव्रता और अन्य विशिष्ट गुणों सहित — को ज़्यादा विश्वसनीय ढंग से दोहराता है, इसलिए सोर्स रिकॉर्डिंग की क्वालिटी पहले से कहीं ज़्यादा महत्वपूर्ण है। साफ़-सुथरा ट्रेनिंग ऑडियो Eleven v4 को अनचाही आवाज़ें या विशेषताएं जोड़े बिना वॉइस को सटीक रूप से कैप्चर करने में मदद करता है। बैकग्राउंड नॉइज़, डिस्टॉर्शन या रिकॉर्डिंग से जुड़ी अन्य समस्याएं नतीजे को प्रभावित कर सकती हैं।

हम अभी भी Eleven v4 के साथ प्रयोग कर रहे हैं ताकि समझ सकें कि इसका सबसे अच्छा इस्तेमाल कैसे किया जाए। अब तक, यह सूक्ष्म ऑडियो को कैप्चर करने में काफी बेहतर लगता है, खासकर तब जब बहुत ज़्यादा ट्रेनिंग ऑडियो हो, जैसे प्रोफेशनल वॉइस क्लोन्स में। अधिक विविध डेटासेट से मॉडल को नियंत्रित करने के तरीकों का परीक्षण जारी रखते हुए, अलग-अलग ट्रेनिंग डेटा के उपयोग पर हमारी सलाह बदल सकती है। फ़िलहाल, हम आपके ट्रेनिंग ऑडियो में एक ही बोलने की शैली रखने की सलाह देते हैं, जिसे Eleven v4 को पहले के मॉडलों से बेहतर कैप्चर करना चाहिए।

मूल एक्सेंट हैंडलिंग

पुराने किसी भी मॉडल की तुलना में Eleven v4 में यह सबसे बड़े बदलावों में से एक है, और इसे स्पष्ट रूप से समझना ज़रूरी है।

जब आप जिस भाषा में जनरेट कर रहे हैं, वह आपकी रेफरेंस वॉइस की भाषा से मेल खाती है, तो मूल एक्सेंट पहले की तरह ही पूरी तरह बरकरार रहता है।

जब आप जिस भाषा में जनरेट कर रहे हैं, वह रेफरेंस वॉइस की भाषा से अलग होती है, तो Eleven v4 टारगेट भाषा में धाराप्रवाह, स्वाभाविक लगने वाला भाषण जनरेट करता है — रेफरेंस वॉइस की मूल भाषा का एक्सेंट अपनाने के बजाय।

व्यवहार में: अगर आप किसी कोरियाई वक्ता की वॉइस क्लोन करते हैं और अंग्रेज़ी जनरेट करते हैं, तो Eleven v4 कोरियाई एक्सेंट वाली अंग्रेज़ी के बजाय स्वाभाविक, धाराप्रवाह अंग्रेज़ी बनाएगा। इससे हर वॉइस को हर समर्थित भाषा में इस्तेमाल किया जा सकता है, और यह खासकर डबिंग, बहुभाषी कंटेंट और ऐसे वॉइस एजेंट्स के लिए उपयोगी है जिन्हें एक ही वॉइस से अलग-अलग भाषाओं में यूज़र्स को सेवा देनी होती है।

अगर आपका वर्कफ़्लो किसी वॉइस के मूल एक्सेंट को दूसरी भाषाओं में बनाए रखने पर निर्भर है, तो माइग्रेट करने से पहले Eleven v4 के साथ इस व्यवहार को सीधे टेस्ट करें — यह क्रॉस-लैंग्वेज जनरेशन के तरीके में जानबूझकर किया गया बदलाव है, बग नहीं।

हालांकि, इस नई सुविधा को अभी और बेहतर किया जा रहा है और हम इसे हमेशा चालू रखने के बजाय टॉगल बनाने के तरीके तलाश रहे हैं। यह अभी एक रिसर्च प्रोजेक्ट है, इसलिए फ़िलहाल हमारे पास इसकी कोई समयसीमा या अतिरिक्त जानकारी नहीं है।

मॉडल वेरिएंट्स

Eleven v4 दो वेरिएंट्स में आता है, ताकि आप अपने उपयोग के मामले के लिए क्वालिटी और स्पीड का सही संतुलन चुन सकें:

• Eleven v4 (eleven_v4) — हमारा सबसे उच्च-क्वालिटी मॉडल, जो कंटेंट निर्माण, ऑडियोबुक्स, कैरेक्टर वॉइसओवर्स और ऐसे किसी भी उपयोग के मामले के लिए आदर्श है जहां क्वालिटी सबसे बड़ी प्राथमिकता हो।
• Eleven v4 Turbo (eleven_v4_turbo) — प्रभावशाली रूप से कम लेटेंसी बनाए रखते हुए बेहद उच्च क्वालिटी देता है, और कन्वर्सेशनल एजेंट्स और इंटरैक्टिव वॉइस अनुभवों जैसे रियल-टाइम उपयोग के मामलों के लिए खास तौर पर बनाया गया है।

दोनों वेरिएंट्स में दो वॉइस सेटिंग्स होती हैं: स्टेबिलिटी और सिमिलैरिटी।

स्टेबिलिटी नियंत्रित करती है कि अलग-अलग जनरेशन में डिलीवरी कितनी एकरूप रहे। कम वैल्यू ज़्यादा अभिव्यंजक और विविध डिलीवरी की अनुमति देती हैं; अधिक वैल्यू प्रदर्शन को एक निश्चित बेसलाइन के करीब रखती हैं।

सिमिलैरिटी नियंत्रित करती है कि आउटपुट रेफरेंस वॉइस के कितने करीब रहे। अधिक वैल्यू रेफरेंस का अधिक सख्ती से पालन कराती हैं, जिससे कुछ स्वाभाविकता कम हो सकती है।

जब आप Eleven v4 पर प्रोफेशनल वॉइस क्लोन के साथ स्पीच जनरेट करते हैं, तो एक अतिरिक्त क्लोन स्ट्रेंथ स्लाइडर दिखता है। क्लोन स्ट्रेंथ नियंत्रित करती है कि आउटपुट क्लोन की ट्रेनिंग रिकॉर्डिंग्स का कितनी बारीकी से पालन करे। कम वैल्यू पर वॉइस थोड़ी स्मूद हो जाती है और डिलीवरी में प्रदर्शन की अधिक लचीलापन आता है, जो अक्सर कुल मिलाकर बेहतर सुनाई देता है और फिर भी मूल वॉइस जैसा लगता है। अधिक वैल्यू पर आउटपुट कम स्मूदिंग के साथ ट्रेनिंग रिकॉर्डिंग्स के ज़्यादा करीब रहता है और मूल वॉइस की डिलीवरी व प्रदर्शन की अधिक बारीकी से नकल करता है। ज़्यादा वैल्यू विशिष्ट गुणों या अनोखे एक्सेंट वाली वॉइस के लिए खास तौर पर उपयोगी हो सकती हैं। अधिकतर वॉइस के लिए, 0% से शुरुआत करें।

Eleven v4 में स्टाइल और स्पीड स्लाइडर्स उपलब्ध नहीं हैं, और SSML समर्थित नहीं है।

ऑडियो टैग (जैसे [whispering], [shouting], [laughing]) आपको बारीक नियंत्रण के साथ डिलीवरी निर्देशित करने देते हैं, और Eleven v4 उन्हें पिछले मॉडलों से अधिक सूक्ष्मता के साथ संभालता है। वे अभी परफेक्ट नहीं हैं और टैग निर्देशों का मॉडल कितनी विश्वसनीयता से पालन करता है, इसे बेहतर बनाने पर हम लगातार काम कर रहे हैं — यह लगातार निवेश का सक्रिय क्षेत्र है और इसमें सुधार होता रहेगा।

उदाहरण

वॉइस क्लोनिंग सटीकता

हर उदाहरण की शुरुआत वॉइस लाइब्रेरी प्रीव्यू से होती है। फिर हमने कुछ टेक्स्ट लिया और उस वॉइस के इंस्टेंट वॉइस क्लोन का इस्तेमाल करके उसे Eleven v3 और Eleven v4, दोनों पर जनरेट किया।

यह एक परफेक्ट तुलना नहीं है। Eleven v4 प्रोफेशनल वॉइस क्लोन्स के साथ भी काम करता है, जो मैच को और बेहतर बना सकते हैं। हालांकि, तुलना को अधिक निष्पक्ष रखने के लिए हमने Eleven v3 और Eleven v4, दोनों के लिए इंस्टेंट वॉइस क्लोन्स का उपयोग किया।

ये उदाहरण दिखाते हैं कि मॉडल मूल वॉइस का कितना हिस्सा कैप्चर करता है। यह ध्यान रखना महत्वपूर्ण है कि इसमें EQ, क्वालिटी, वॉल्यूम और ऑडियो के अन्य छोटे विवरण व खामियां भी शामिल हैं, जैसे प्लोसिव्स, तीखी सिबिलेंस और वॉल्यूम में उतार-चढ़ाव।

पहले प्रीव्यू सुनें, फिर Eleven v3 और उसके बाद Eleven v4।

वॉइस NfUrCNRReUL9RXS9upG1।

"Brother... I must cross the sea, though I'd rather stay beside you. If the gods will it, we'll see each other again. Until then, when the sun sinks beyond the waves, know that I'll be looking toward home."
He clasped my forearm beneath the pale morning sky. I held on a moment longer, then watched him turn toward the waiting ship.

वॉइस HBDoL4wkcalemIO0nUAu।

"When I was young, I thought the mountain stood because it was strong. Then winter came, and the mountain wore its crown of snow without complaint. Spring followed, and it let every stream run free.
"So remember, traveler: strength is not always holding fast. Sometimes it is knowing what to carry, and what the season asks you to release."

वॉइस ऐक्टिंग

ये Eleven v4 जनरेशन हैं। टेक्स्ट में मौजूद ऑडियो टैग डिलीवरी को निर्देशित करते हैं।

वॉइस EkK5I93UQWFDigLMpZcX।

[casual] "You're looking for work, eh? Hmm, I might have something for you. Just outside the valley, there's a group of wild horned boars I need you to take care of - nasty little beasts. The village would be grateful if you could get that done, and I'll make it worth your while."
------------
[annoyed] [under his breath] "Oh, you again... [sigh] Did you take care of that little problem I mentioned earlier? No, not yet? All right, off you go. I don't have time to chitchat. I'm busy standing here... handing out quests."
------------
[ecstatic] "You did it, you crazy bastard! [dismissive] Not that I didn't have any faith in you, but you wouldn't be the first one to fail. Yes, yes, I know. One of them might have been a little bigger than the others. But hey, you survived. You got it done. You helped the village."

वॉइस t7VaN65ClS2VrEUwk1nR।

[quietly curious] "Hmm… that mark. I haven't seen one like it in years. Where did you get it? Oh, you gonna make me guess? [giggle]"
------------
[measured] "No need to explain, if you'd rather not. This town has a way of leaving its mark on people. [soft chuckle] Usually not quite so literally."
------------
[lower, thoughtful] "Keep it covered when you can. There are still a few who remember what it means, and they may not ask as politely as I have."

ऑडियोबुक

यह Eleven v4 नैरेशन है। टैग सीन की गति और भाव तय करते हैं।

वॉइस KHRvDizAHFVPzoSehNY6।

[Quiet, measured narration] The moonlit training court lay beneath the keep, its stone walls silvered with frost. Beyond the battlements, a dragon's distant call rolled over the mountains.
Sir Alden lifted his blunted practice sword. "Ready?"
Bram, his broad shoulders wrapped in a travel-worn cloak, studied the wooden shield strapped to his arm. "I've faced worse odds."
[Pause, dry amusement] "You lost to a turnip cart yesterday," Sir Alden said.
"It was a very determined cart," Bran muttered
[Gradually building energy] They circled across the frost-dusted stones. One step. Another. Alden watched Bram's hands; Bram watched the faint blue glow gathering along Alden's blade. The air between them prickled with harmless magic.
[Quick, light, playful pace] Bram charged. Alden slipped aside. Clack! Wood met steel. Bram turned, his cloak flaring, and swung wide. Alden ducked beneath it. Bram's boot skidded on the frost; he windmilled, caught himself, and bowed as if he'd meant to do that all along.
"Magnificent," Alden said.
"I was giving you time to admire the cloak," Bran retorted.

मॉडल लगातार विकसित होता रहेगा

Eleven v4 पर सक्रिय रूप से और लगातार काम हो रहा है। लॉन्च के बाद भी हम मॉडल को ट्रेनिंग और बेहतर बनाते रहेंगे, इसलिए क्वालिटी बढ़ने के साथ समय के साथ इसका व्यवहार बदल सकता है। हमारा सुझाव है कि मॉडल के विकसित होने पर आप समय-समय पर अपने उपयोग के मामले को फिर से टेस्ट करें, और महत्वपूर्ण अपडेट्स जारी होने पर हम उन्हें साझा करेंगे।

अक्सर पूछे जाने वाले सवाल