Modeller

ElevenAgents erbjuder ett enhetligt gränssnitt för att ansluta din agent till flera modeller och leverantörer, med flexibilitet, tillförlitlighet och kostnadsoptimering.

I stället för att välja en modell här kan röstagenter använda en realtidsmodell, en ElevenLabs-modell som är byggd för röstsamtal med låg latens.

Viktiga funktioner

• Enhetlig åtkomst: Växla mellan leverantörer och modeller med minimala kodändringar
• Hög tillförlitlighet: Växla automatiskt från en leverantör till en annan om någon slutar fungera
• Kostnadsövervakning: Övervaka dina kostnader för olika modeller

Modeller som stöds

Följande modeller stöds för närvarande direkt och kan konfigureras via agentinställningarna:

Anpassad LLM

Du kan använda en egen anpassad LLM genom att ange den endpoint som vi ska skicka förfrågningar till och tillhandahålla autentiseringsuppgifter via vår säkra lagring av hemligheter. Läs mer om integrering av anpassad LLM.

Välja en modell

När du väljer den lämpligaste LLM:en för din applikation behöver du ta hänsyn till flera faktorer:

• Uppgiftens komplexitet: Utvärdera modeller utifrån representativa uppgifter från din applikation
• Latenskrav: För röstsamtal i realtid väljer du en modell med låg latens och mäter svarstiden med dina prompts och verktyg
• Kontextfönstrets storlek: Om din applikation behöver bearbeta, förstå eller minnas information från långa samtal eller omfattande dokument väljer du modeller med större kontextfönster
• Kostnadseffektivitet: Väg önskad prestanda och funktioner mot din budget. LLM-priser kan variera avsevärt, så analysera prisstrukturen (input-, output- och cachetoken) utifrån dina förväntade användningsmönster
• HIPAA-efterlevnad: Om din applikation hanterar skyddad hälsoinformation (PHI) är det viktigt att använda en LLM som är HIPAA-kompatibel och säkerställa att hela din datahanteringsprocess uppfyller myndighetskrav

Modellkonfiguration

Temperatur

Temperatur styr hur slumpmässiga modellsvaren är. Lägre värden ger mer konsekventa och fokuserade resultat, medan högre värden ökar kreativiteten och variationen.

• Låg (0.0-0.3): Deterministiska, konsekventa svar för strukturerade interaktioner
• Medel (0.4-0.7): Balanserad kreativitet och konsekvens
• Hög (0.8-1.0): Kreativa, varierade svar för dynamiska samtal

Konfiguration av reserv-LLM

Konfigurera reserv-LLM:er för att säkerställa kontinuitet i samtal när den primära LLM:en slutar fungera eller blir otillgänglig.

Konfigurationsalternativ:

• Standard: Använder ElevenLabs rekommenderade reservsekvens
• Anpassad: Definiera din egen kaskadsekvens av reservmodeller
• Inaktiverad: Ingen reservlösning (avråds starkt för produktion)

Läs mer om LLM-kaskadering.

Resonemang

Resonemang hjälper agenter att hantera komplexa beslut, till exempel att välja mellan verktyg, tillämpa policyer eller slutföra arbetsflöden i flera steg. Beroende på modellen styr du hur mycket resonemang den använder med antingen en tankebudget eller en nivå för resonemangsinsats.

Tankebudget

Ange det maximala antalet resonemangstoken med det numeriska reglaget. Större budgetar kan öka svarstiden. Sätt budgeten till 0 för att inaktivera tänkande när modellen tillåter det.

Resonemangsinsats

Resonemangsinsats styr hur mycket resonemang modellen utför innan den svarar. Tillgängliga nivåer beror på den valda modellen.

Resonemangssammanfattning

Aktivera resonemangssammanfattning för att registrera modellens returnerade resonemang när du felsöker svar, verktygsanrop eller arbetsflödesvägar. Aktivera Resonemangssammanfattning i agentens LLM-inställningar eller ange enable_reasoning_summary via API:et. Inställningen är avstängd som standard.

För anpassade endpoints, se hur ElevenLabs begär och lagrar resonemang.

Resonemangsinnehåll omfattas av inställningar för lagringstid och PII-maskning. Du kan komma åt det via följande kanaler:

Begränsningar

• Att begära en resonemangssammanfattning kan öka svarslatensen. Testa den innan du aktiverar den för röstagenter som är känsliga för latens.
• Leverantörer kan returnera en sammanfattning, tanketext, råa resonemangsdelta eller inget innehåll som kan visas.

Förstå priser

• Token: LLM-användning faktureras vanligtvis baserat på antalet bearbetade token. Som en allmän riktlinje för engelsk text motsvarar 100 token ungefär 75 ord
• Priser för input och output: Leverantörer skiljer ofta mellan priser för inputtoken (data du skickar till modellen) och outputtoken (data som modellen genererar som svar)
• Cachepriser:
  • input_cache_read: Detta avser kostnaden för att hämta tidigare bearbetad inputdata från en cache. Användning av cachad data kan ge kostnadsbesparingar om identiska indata bearbetas flera gånger
  • input_cache_write: Detta är kostnaden för att lagra inputdata i en cache. Vissa LLM-leverantörer kan ta betalt för denna åtgärd
• Priserna i det här dokumentet gäller per 1 miljon token och baseras på information som fanns tillgänglig när texten skrevs. Priserna kan ändras av LLM-leverantörerna
• Vidareförmedlade priser: ElevenLabs vidareförmedlar LLM-kostnader från tredje part till leverantörens publicerade pris, utan påslag. Utvalda Gemini- och Claude-modeller följer Vertex AI:s regionala prissättning (inte global), som används för fakturering av trafik i USA och EU — en ökning med 10 % för input-, output- och cachetoken, i linje med Vertex regionala priser

För aktuella modellfunktioner, priser och användarvillkor, se leverantörens dokumentation.

HIPAA-efterlevnad

Vissa LLM:er som finns tillgängliga på vår plattform kan vara lämpliga för användning i miljöer som kräver HIPAA-efterlevnad. Läs mer i dokumentationen om HIPAA-efterlevnad.

Relaterade resurser

• Integrering av anpassad LLM
• LLM-kaskadering
• Optimera kostnader

Modeller som hostas av ElevenLabs

ElevenLabs ger åtkomst till en mängd AI-modeller, inklusive utvalda tredjepartsmodeller som hostas av ElevenLabs.

När en modell är märkt ”Hosted by ElevenLabs” distribueras och drivs modellen på infrastruktur som hanteras av ElevenLabs. Dessa modeller hostas för närvarande i USA eller i regionen för din företagsdistribution.

Så identifierar du modeller som hostas av ElevenLabs

Modeller som hostas av ElevenLabs är tydligt märkta i ElevenLabs gränssnitt. Leta efter märkningen ”Hosted by ElevenLabs” när du bläddrar bland eller väljer modeller.

Så hanteras dina data

För modeller som hostas av ElevenLabs bearbetas förfrågningar i infrastruktur som hanteras av ElevenLabs. Det innebär att den ursprungliga modellleverantören inte tar emot, får åtkomst till eller bearbetar input och output som skickas via ElevenLabs.

Genom att hosta dessa modeller kan ElevenLabs erbjuda en konsekvent upplevelse samtidigt som vi behåller kontrollen över infrastrukturen som används för modellförfrågningar.

Vanliga frågor

Var hostas självhostade modeller?

Modeller som hostas av ElevenLabs hostas för närvarande på infrastruktur i USA eller i regionen för din företagsdistribution.

Får den ursprungliga modellleverantören åtkomst till mina data eller metadata om min användning?

För modeller som hostas av ElevenLabs får modellens ursprungliga utvecklare aldrig dina input eller output och har ingen åtkomst till data om distributionen som bearbetar dem.

Hur vet jag om en modell hostas av ElevenLabs?

Modeller som hostas av ElevenLabs identifieras tydligt i ElevenLabs gränssnitt med märkningen ”Hosted by ElevenLabs”.