Modelle

ElevenAgents bietet eine einheitliche Schnittstelle, um Ihren Agenten mit mehreren Modellen und Anbietern zu verbinden. Das ermöglicht Flexibilität, Zuverlässigkeit und Kostenoptimierung.

Statt hier ein Modell auszuwählen, können Sprachagenten ein Echtzeitmodell verwenden – ein ElevenLabs-Modell für latenzarme Sprachgespräche.

Hauptfunktionen

• Einheitlicher Zugriff: Wechseln Sie mit minimalen Codeänderungen zwischen Anbietern und Modellen
• Hohe Zuverlässigkeit: Wechseln Sie automatisch von einem Anbieter zum nächsten, wenn einer ausfällt
• Ausgabenüberwachung: Überwachen Sie Ihre Ausgaben für verschiedene Modelle

Unterstützte Modelle

Derzeit werden die folgenden Modelle nativ unterstützt und können über die Agenteneinstellungen konfiguriert werden:

Benutzerdefiniertes LLM

Sie können Ihr eigenes benutzerdefiniertes LLM verwenden, indem Sie den Endpunkt angeben, an den wir Anfragen senden sollen, und Anmeldedaten über unseren sicheren Secret-Speicher bereitstellen. Erfahren Sie mehr über die Integration benutzerdefinierter LLMs.

Auswahl eines Modells

Bei der Auswahl des am besten geeigneten LLM für Ihre Anwendung sollten Sie mehrere Faktoren berücksichtigen:

• Aufgabenkomplexität: Bewerten Sie Modelle anhand repräsentativer Aufgaben aus Ihrer Anwendung
• Latenzanforderungen: Wählen Sie für Live-Sprachgespräche ein Modell mit niedriger Latenz und messen Sie die Antwortzeit mit Ihren Prompts und Tools
• Größe des Kontextfensters: Wenn Ihre Anwendung Informationen aus langen Gesprächen oder umfangreichen Dokumenten verarbeiten, verstehen oder abrufen muss, wählen Sie Modelle mit größeren Kontextfenstern
• Kosteneffizienz: Wägen Sie die gewünschte Leistung und Funktionen gegen Ihr Budget ab. LLM-Preise können stark variieren. Analysieren Sie daher die Preisstruktur für Eingabe-, Ausgabe- und Cache-Tokens im Verhältnis zu Ihren erwarteten Nutzungsmustern
• HIPAA-Konformität: Wenn Ihre Anwendung geschützte Gesundheitsinformationen (PHI) verarbeitet, müssen Sie unbedingt ein als HIPAA-konform ausgewiesenes LLM verwenden und sicherstellen, dass Ihre gesamte Datenverarbeitung regulatorische Standards erfüllt

Modellkonfiguration

Temperatur

Die Temperatur steuert die Zufälligkeit der Modellantworten. Niedrigere Werte erzeugen konsistentere, fokussiertere Ausgaben, während höhere Werte Kreativität und Variation erhöhen.

• Niedrig (0.0-0.3): Deterministische, konsistente Antworten für strukturierte Interaktionen
• Mittel (0.4-0.7): Ausgewogene Kreativität und Konsistenz
• Hoch (0.8-1.0): Kreative, abwechslungsreiche Antworten für dynamische Gespräche

Konfiguration von Backup-LLMs

Konfigurieren Sie Backup-LLMs, um die Kontinuität von Gesprächen sicherzustellen, wenn das primäre LLM ausfällt oder nicht verfügbar ist.

Konfigurationsoptionen:

• Standard: Verwendet die von ElevenLabs empfohlene Fallback-Sequenz
• Benutzerdefiniert: Definieren Sie Ihre eigene Kaskadensequenz von Backup-Modellen
• Deaktiviert: Kein Fallback (für den Produktionseinsatz dringend abgeraten)

Erfahren Sie mehr über LLM-Kaskadierung.

Reasoning

Reasoning hilft Agenten bei komplexen Entscheidungen, etwa bei der Auswahl zwischen Tools, der Anwendung von Richtlinien oder der Ausführung mehrstufiger Workflows. Je nach Modell steuern Sie mit einem Denkbudget oder einer Reasoning-Stufe, wie viel Reasoning es durchführt.

Denkbudget

Legen Sie mit dem numerischen Schieberegler die maximale Anzahl von Reasoning-Tokens fest. Größere Budgets können die Antwortzeit verlängern. Setzen Sie das Budget auf 0, um das Denken zu deaktivieren, sofern das Modell dies zulässt.

Reasoning-Aufwand

Der Reasoning-Aufwand steuert, wie viel Reasoning das Modell vor der Antwort durchführt. Die verfügbaren Stufen hängen vom ausgewählten Modell ab.

Reasoning-Zusammenfassung

Aktivieren Sie die Reasoning-Zusammenfassung, um das vom Modell zurückgegebene Reasoning beim Debuggen von Antworten, Tool-Aufrufen oder Workflow-Pfaden zu erfassen. Aktivieren Sie Reasoning-Zusammenfassung in den LLM-Einstellungen des Agenten oder setzen Sie enable_reasoning_summary über die API. Die Einstellung ist standardmäßig deaktiviert.

Informationen zu benutzerdefinierten Endpunkten finden Sie unter wie ElevenLabs Reasoning anfordert und speichert.

Reasoning-Inhalte unterliegen den Einstellungen für Aufbewahrung und PII-Redaktion. Sie können über die folgenden Kanäle darauf zugreifen:

Einschränkungen

• Das Anfordern einer Reasoning-Zusammenfassung kann die Antwortlatenz erhöhen. Testen Sie dies, bevor Sie es für latenzsensitive Sprachagenten aktivieren.
• Anbieter können eine Zusammenfassung, Gedankentext, rohe Reasoning-Deltas oder keine anzeigbaren Inhalte zurückgeben.

Preisgestaltung verstehen

• Tokens: Die LLM-Nutzung wird üblicherweise nach der Anzahl verarbeiteter Tokens abgerechnet. Als allgemeine Orientierung entsprechen 100 Tokens in englischem Text ungefähr 75 Wörtern
• Preise für Eingabe und Ausgabe: Anbieter unterscheiden häufig zwischen Preisen für Eingabe-Tokens (die Daten, die Sie an das Modell senden) und Ausgabe-Tokens (die Daten, die das Modell als Antwort generiert)
• Cache-Preise:
  • input_cache_read: Dies bezeichnet die Kosten für das Abrufen zuvor verarbeiteter Eingabedaten aus einem Cache. Die Verwendung zwischengespeicherter Daten kann Kosten sparen, wenn identische Eingaben mehrfach verarbeitet werden
  • input_cache_write: Dies sind die Kosten für das Speichern von Eingabedaten in einem Cache. Einige LLM-Anbieter berechnen möglicherweise Gebühren für diesen Vorgang
• Die in diesem Dokument aufgeführten Preise gelten pro 1 Million Tokens und basieren auf den zum Zeitpunkt der Erstellung verfügbaren Informationen. Die LLM-Anbieter können diese Preise ändern
• Durchlaufpreise: ElevenLabs gibt LLM-Kosten von Drittanbietern zum veröffentlichten Preis des Anbieters ohne Aufschlag weiter. Ausgewählte Gemini- und Claude-Modelle entsprechen den regionalen Vertex AI-Preisen (nicht global), nach denen US- und EU-Traffic abgerechnet wird – ein Anstieg um 10 % für Eingabe-, Ausgabe- und Cache-Tokens entsprechend den regionalen Vertex-Preisen

Informationen zu aktuellen Modellfunktionen, Preisen und Nutzungsbedingungen finden Sie in der Dokumentation des Anbieters.

HIPAA-Konformität

Bestimmte auf unserer Plattform verfügbare LLMs eignen sich möglicherweise für Umgebungen, die HIPAA-Konformität erfordern. Weitere Informationen finden Sie in der Dokumentation zur HIPAA-Konformität.

Weiterführende Ressourcen

• Integration benutzerdefinierter LLMs
• LLM-Kaskadierung
• Kosten optimieren

Von ElevenLabs gehostete Modelle

ElevenLabs bietet Zugriff auf verschiedene KI-Modelle, darunter ausgewählte Drittanbietermodelle, die von ElevenLabs gehostet werden.

Wenn ein Modell als „Von ElevenLabs gehostet“ gekennzeichnet ist, wird es auf einer von ElevenLabs verwalteten Infrastruktur bereitgestellt und betrieben. Diese Modelle werden derzeit in den Vereinigten Staaten oder in der Region Ihrer Enterprise-Bereitstellung gehostet.

So erkennen Sie von ElevenLabs gehostete Modelle

Von ElevenLabs gehostete Modelle sind in der ElevenLabs-Oberfläche eindeutig gekennzeichnet. Achten Sie beim Durchsuchen oder Auswählen von Modellen auf die Kennzeichnung „Von ElevenLabs gehostet“.

So werden Ihre Daten verarbeitet

Bei von ElevenLabs gehosteten Modellen werden Anfragen innerhalb der von ElevenLabs verwalteten Infrastruktur verarbeitet. Das bedeutet, dass der ursprüngliche Modellanbieter die über ElevenLabs übermittelten Eingaben und Ausgaben weder erhält noch darauf zugreift oder sie verarbeitet.

Durch das Hosting dieser Modelle kann ElevenLabs eine konsistente Erfahrung bieten und gleichzeitig die Kontrolle über die Infrastruktur behalten, die Modellanfragen verarbeitet.

Häufig gestellte Fragen

Wo werden selbstgehostete Modelle gehostet?

Von ElevenLabs gehostete Modelle werden derzeit auf Infrastruktur in den Vereinigten Staaten oder in der Region Ihrer Enterprise-Bereitstellung gehostet.

Greift der ursprüngliche Modellanbieter auf meine Daten oder Nutzungsmetadaten zu?

Bei von ElevenLabs gehosteten Modellen erhält der ursprüngliche Entwickler des Modells niemals Ihre Eingaben oder Ausgaben und hat keinen Zugriff auf Daten über die Bereitstellung, die sie verarbeitet.

Wie erkenne ich, ob ein Modell von ElevenLabs gehostet wird?

Von ElevenLabs gehostete Modelle sind in der ElevenLabs-Oberfläche eindeutig mit der Kennzeichnung „Von ElevenLabs gehostet“ versehen.