LLM-Kaskadierung

Überblick

Die Agents Platform verwendet einen LLM-Kaskadierungsmechanismus, um die Zuverlässigkeit und Ausfallsicherheit ihrer Textgenerierung zu erhöhen. Wenn das primär konfigurierte LLM ausfällt, versucht dieses System automatisch, Backup-Large-Language-Models (LLMs) zu verwenden. Das sorgt für eine reibungslosere und konsistentere Nutzererfahrung.

Fehler können API-Fehler, Timeouts oder leere Antworten des LLM-Anbieters umfassen. Die Kaskadenlogik behandelt diese Situationen zuverlässig.

Funktionsweise

Der Kaskadierungsprozess folgt einer festgelegten Reihenfolge:

1. Versuch mit bevorzugtem LLM: Das System versucht zunächst, eine Antwort mit dem in der Agentenkonfiguration ausgewählten LLM zu generieren.

2. Backup-LLM-Reihenfolge: Wenn das bevorzugte LLM ausfällt, greift das System automatisch auf eine vordefinierte Reihenfolge von Backup-LLMs zurück. Diese Reihenfolge wird anhand von Modellleistung, Geschwindigkeit und Zuverlässigkeit zusammengestellt. Die aktuelle Standardreihenfolge (Änderungen vorbehalten) lautet:

   1. Gemini 2.5 Flash
   2. GPT-4o
   3. Gemini 2.5 Flash Lite
   4. Claude Sonnet 4.5

3. HIPAA-Konformität: Wenn der Agent in einem Modus mit strengen Datenschutzanforderungen arbeitet (HIPAA-Konformität / keine Datenspeicherung), wird die Backup-Liste gefiltert, sodass sie nur konforme Modelle aus der obigen Reihenfolge enthält.

4. Wiederholungsversuche: Das System wiederholt den Generierungsprozess mehrfach (mindestens 3 Versuche) über die Reihenfolge verfügbarer LLMs hinweg (bevorzugtes LLM + Backups). Wenn auch ein Backup-LLM ausfällt, fährt es mit dem nächsten Modell in der Reihenfolge fort. Wenn innerhalb des Wiederholungslimits keine eindeutigen Backup-LLMs mehr verfügbar sind, kann es zuvor fehlgeschlagene Backup-Modelle erneut versuchen.

5. Verzögerte Initialisierung: Verbindungen zu Backup-LLMs werden nur bei Bedarf initialisiert, um die Ressourcennutzung zu optimieren.

Benutzerdefinierte LLMs

Wenn Sie ein benutzerdefiniertes LLM konfigurieren, wird die standardmäßige Kaskadenlogik zu anderen Modellen umgangen. Das System versucht, Ihr angegebenes benutzerdefiniertes LLM zu verwenden.

Wenn Ihr benutzerdefiniertes LLM ausfällt, wiederholt das System die Anfrage mehrfach mit demselben benutzerdefinierten LLM (entsprechend der standardmäßigen Mindestanzahl an Wiederholungsversuchen), bevor die Anfrage als fehlgeschlagen gilt. Es greift nicht auf von ElevenLabs gehostete Modelle zurück, sodass Ihre spezifische Konfiguration berücksichtigt wird.

Bei einem Agenten mit einem Realtime-Modell greift der Agent auf ein Backup-LLM zurück, wenn das Realtime-Modell nicht rechtzeitig antwortet. Das Realtime-Modell legt fest, wie lange der Agent wartet.

Vorteile

• Höhere Zuverlässigkeit: Reduziert die Auswirkungen temporärer Probleme bei einem bestimmten LLM-Anbieter.
• Höhere Verfügbarkeit: Erhöht die Wahrscheinlichkeit, auch bei teilweisen LLM-Ausfällen erfolgreich eine Antwort zu generieren.
• Nahtloser Betrieb: Der Fallback-Mechanismus läuft automatisch und ist für Endnutzer transparent.

Konfiguration

Die LLM-Kaskadierung ist ein automatischer Hintergrundprozess. Sie müssen lediglich Ihr bevorzugtes LLM in den Einstellungen des Agenten auswählen. Das System übernimmt den Rest und sorgt für robuste Leistung.