LLM-cascadering

Overzicht

Agents Platform gebruikt een LLM-cascaderingsmechanisme om de betrouwbaarheid en veerkracht van de mogelijkheden voor tekstgeneratie te verbeteren. Dit systeem probeert automatisch back-up Large Language Models (LLM’s) te gebruiken als het primair geconfigureerde LLM faalt, voor een soepelere en consistentere gebruikerservaring.

Storingen kunnen bestaan uit API-fouten, time-outs of lege antwoorden van de LLM-provider. De cascadlogica gaat soepel met deze situaties om.

Hoe het werkt

Het cascaderingsproces volgt een vaste volgorde:

1. Poging met voorkeurs-LLM: Het systeem probeert eerst een antwoord te genereren met het LLM dat is geselecteerd in de configuratie van de agent.

2. Volgorde van back-up-LLM’s: Als het voorkeurs-LLM faalt, valt het systeem automatisch terug op een vooraf gedefinieerde volgorde van back-up-LLM’s. Deze volgorde is samengesteld op basis van modelprestaties, snelheid en betrouwbaarheid. De huidige standaardvolgorde (onder voorbehoud van wijzigingen) is:

   1. Gemini 2.5 Flash
   2. GPT-4o
   3. Gemini 2.5 Flash Lite
   4. Claude Sonnet 4.5

3. HIPAA-naleving: Als de agent werkt in een modus die strikte gegevensprivacy vereist (HIPAA-naleving / zero data retention), wordt de back-uplijst gefilterd zodat deze alleen compatibele modellen uit de bovenstaande volgorde bevat.

4. Nieuwe pogingen: Het systeem probeert het generatieproces meerdere keren opnieuw (minimaal 3 pogingen) met de beschikbare LLM’s (voorkeur + back-ups). Als ook een back-up-LLM faalt, gaat het verder met het volgende LLM in de volgorde. Als er binnen de limiet voor nieuwe pogingen geen unieke back-up-LLM’s meer zijn, kan het eerder mislukte back-upmodellen opnieuw proberen.

5. Lazy initialization: Verbindingen met back-up-LLM’s worden alleen geïnitialiseerd wanneer dat nodig is, waardoor het resourcegebruik wordt geoptimaliseerd.

Aangepaste LLM’s

Wanneer je een Custom LLM configureert, wordt de standaardcascadelogica naar andere modellen overgeslagen. Het systeem probeert je opgegeven Custom LLM te gebruiken.

Als je Custom LLM faalt, probeert het systeem de aanvraag meerdere keren opnieuw met hetzelfde Custom LLM (overeenkomstig het standaard minimumaantal pogingen) voordat de aanvraag als mislukt wordt beschouwd. Het valt niet terug op door ElevenLabs gehoste modellen, zodat je specifieke configuratie wordt gerespecteerd.

Bij een agent die een Realtime-model gebruikt, valt de agent terug op een back-up-LLM als het Realtime-model niet op tijd reageert. Het Realtime-model bepaalt hoe lang de agent wacht.

Voordelen

• Betere betrouwbaarheid: Vermindert de gevolgen van tijdelijke problemen bij een specifieke LLM-provider.
• Hogere beschikbaarheid: Vergroot de kans dat er met succes een antwoord wordt gegenereerd, zelfs tijdens gedeeltelijke storingen van LLM’s.
• Naadloze werking: Het fallbackmechanisme is automatisch en transparant voor de eindgebruiker.

Configuratie

LLM-cascadering is een automatisch achtergrondproces. De enige vereiste configuratie is het selecteren van je voorkeurs-LLM in de instellingen van de agent. Het systeem regelt de rest om robuuste prestaties te garanderen.