LLM कैस्केडिंग

परिचय

Agents Platform अपनी टेक्स्ट जनरेशन क्षमताओं की विश्वसनीयता और स्थिरता बढ़ाने के लिए LLM कैस्केडिंग मैकेनिज़्म का इस्तेमाल करता है। अगर कॉन्फ़िगर किया गया मुख्य Large Language Model (LLM) विफल हो जाए, तो यह सिस्टम अपने-आप बैकअप LLM इस्तेमाल करने की कोशिश करता है, जिससे यूज़र अनुभव अधिक सहज और एकसमान रहता है।

विफलताओं में API त्रुटियाँ, टाइमआउट या LLM प्रदाता से खाली रिस्पॉन्स शामिल हो सकते हैं। कैस्केड लॉजिक इन स्थितियों को सहजता से संभालता है।

यह कैसे काम करता है

कैस्केडिंग प्रक्रिया एक तय क्रम का पालन करती है:

1. पसंदीदा LLM का प्रयास: सिस्टम पहले एजेंट के कॉन्फ़िगरेशन में चुने गए LLM का इस्तेमाल करके रिस्पॉन्स जनरेट करने की कोशिश करता है।

2. बैकअप LLM क्रम: पसंदीदा LLM विफल होने पर, सिस्टम अपने-आप पहले से तय बैकअप LLM के क्रम पर फ़ॉलबैक करता है। यह क्रम मॉडल के प्रदर्शन, गति और विश्वसनीयता के आधार पर तैयार किया गया है। मौजूदा डिफ़ॉल्ट क्रम (जिसमें बदलाव हो सकता है) यह है:

   1. Gemini 2.5 Flash
   2. GPT-4o
   3. Gemini 2.5 Flash Lite
   4. Claude Sonnet 4.5

3. HIPAA अनुपालन: अगर एजेंट सख्त डेटा प्राइवेसी (HIPAA अनुपालन / शून्य डेटा रिटेंशन) की ज़रूरत वाले मोड में काम करता है, तो बैकअप सूची को फ़िल्टर करके ऊपर दिए गए क्रम से केवल अनुपालक मॉडल शामिल किए जाते हैं।

4. पुनः प्रयास: सिस्टम उपलब्ध LLM के क्रम (पसंदीदा + बैकअप) में जनरेशन प्रक्रिया को कई बार पुनः आज़माता है (कम-से-कम 3 प्रयास)। अगर बैकअप LLM भी विफल हो जाता है, तो यह क्रम में अगले LLM पर जाता है। अगर पुनः प्रयास सीमा के भीतर अलग-अलग बैकअप LLM समाप्त हो जाएँ, तो यह पहले विफल हो चुके बैकअप मॉडल को फिर से आज़मा सकता है।

5. लेज़ी इनिशियलाइज़ेशन: बैकअप LLM कनेक्शन केवल ज़रूरत पड़ने पर इनिशियलाइज़ होते हैं, जिससे संसाधनों का बेहतर उपयोग होता है।

कस्टम LLM

जब आप कस्टम LLM कॉन्फ़िगर करते हैं, तो दूसरे मॉडल के लिए मानक कैस्केडिंग लॉजिक को बायपास कर दिया जाता है। सिस्टम आपके बताए गए कस्टम LLM का इस्तेमाल करने की कोशिश करेगा।

आपका कस्टम LLM विफल होने पर, सिस्टम अनुरोध को विफल मानने से पहले उसी कस्टम LLM के साथ कई बार पुनः आज़माएगा (मानक न्यूनतम पुनः प्रयास संख्या के अनुरूप)। यह ElevenLabs-होस्टेड मॉडल पर फ़ॉलबैक नहीं करेगा, ताकि आपके खास कॉन्फ़िगरेशन का सम्मान किया जाए।

Realtime मॉडल इस्तेमाल करने वाले एजेंट में, Realtime मॉडल के समय पर रिस्पॉन्स न देने पर एजेंट बैकअप LLM पर फ़ॉलबैक करता है। Realtime मॉडल तय करता है कि एजेंट कितनी देर प्रतीक्षा करेगा।

फ़ायदे

• बढ़ी हुई विश्वसनीयता: किसी खास LLM प्रदाता की अस्थायी समस्याओं का प्रभाव कम करता है।
• ज़्यादा उपलब्धता: आंशिक LLM आउटेज के दौरान भी सफलतापूर्वक रिस्पॉन्स जनरेट होने की संभावना बढ़ाता है।
• निर्बाध संचालन: फ़ॉलबैक मैकेनिज़्म अपने-आप काम करता है और एंड यूज़र को दिखाई नहीं देता।

कॉन्फ़िगरेशन

LLM कैस्केडिंग एक स्वचालित बैकग्राउंड प्रक्रिया है। केवल अपने एजेंट की सेटिंग्स में पसंदीदा LLM चुनना ज़रूरी है। मज़बूत प्रदर्शन सुनिश्चित करने के लिए बाकी काम सिस्टम संभालता है।