Modelli
ElevenAgents offre un’interfaccia unificata per collegare il tuo agente a più modelli e provider, garantendo flessibilità, affidabilità e ottimizzazione dei costi.
Invece di scegliere un modello qui, gli agenti vocali possono usare un modello Realtime, un modello ElevenLabs progettato per conversazioni vocali a bassa latenza.
Funzionalità principali
- Accesso unificato: passa da un provider e modello all’altro con modifiche minime al codice
- Elevata affidabilità: passa automaticamente da un provider all’altro se uno non funziona
- Monitoraggio della spesa: monitora la spesa sui diversi modelli
Modelli supportati
Al momento, i seguenti modelli sono supportati nativamente e possono essere configurati tramite le impostazioni dell’agente:
I prezzi sono generalmente indicati in USD per 1 milione di token, salvo diversa specifica. Un token è un’ unità fondamentale di dati testuali per gli LLM, approssimativamente equivalente in media a 4 caratteri.
LLM personalizzato
Puoi usare il tuo LLM personalizzato specificando l’endpoint a cui dobbiamo inviare le richieste e fornendo le credenziali tramite il nostro archivio sicuro di segreti. Scopri di più sull’integrazione di LLM personalizzati.
Alcuni modelli non sono disponibili quando è abilitata la residenza dei dati nell’UE. Consulta GDPR e residenza dei dati per i dettagli sulla disponibilità.
Scegliere un modello
Per selezionare l’LLM più adatto alla tua applicazione, considera diversi fattori:
- Complessità dell’attività: valuta i modelli rispetto ad attività rappresentative della tua applicazione
- Requisiti di latenza: per conversazioni vocali in tempo reale, scegli un modello a bassa latenza e misura il tempo di risposta con i tuoi prompt e strumenti
- Dimensione della finestra di contesto: se la tua applicazione deve elaborare, comprendere o richiamare informazioni da conversazioni lunghe o documenti estesi, seleziona modelli con finestre di contesto più ampie
- Rapporto costo-efficacia: bilancia prestazioni e funzionalità desiderate con il tuo budget. I prezzi degli LLM possono variare notevolmente, quindi analizza la struttura dei prezzi (token di input, output e cache) in relazione ai modelli di utilizzo previsti
- Conformità HIPAA: se la tua applicazione coinvolge informazioni sanitarie protette (PHI), è fondamentale usare un LLM designato come conforme a HIPAA e assicurarti che l’intero processo di gestione dei dati rispetti gli standard normativi
La dimensione massima del prompt di sistema è 2 MB e include le istruzioni dell’agente, i contenuti della knowledge base e altro contesto a livello di sistema.
Configurazione del modello
Temperatura
La temperatura controlla la casualità delle risposte del modello. Valori più bassi producono output più coerenti e mirati, mentre valori più alti aumentano creatività e varietà.
- Bassa (0,0-0,3): risposte deterministiche e coerenti per interazioni strutturate
- Media (0,4-0,7): equilibrio tra creatività e coerenza
- Alta (0,8-1,0): risposte creative e varie per conversazioni dinamiche
Configurazione degli LLM di backup
Configura LLM di backup per garantire la continuità delle conversazioni quando l’LLM principale non funziona o non è disponibile.
Opzioni di configurazione:
- Predefinito: usa la sequenza di fallback consigliata da ElevenLabs
- Personalizzato: definisci la tua sequenza a cascata di modelli di backup
- Disabilitato: nessun fallback (fortemente sconsigliato in produzione)
Disabilitare gli LLM di backup significa che le conversazioni termineranno bruscamente se l’LLM principale non funziona o non è disponibile. Questa opzione è fortemente sconsigliata per l’uso in produzione.
Scopri di più sul cascading degli LLM.
Ragionamento
Il ragionamento aiuta gli agenti a gestire decisioni complesse, come scegliere tra diversi strumenti, applicare policy o completare workflow in più passaggi. A seconda del modello, puoi controllare quanto ragionamento esegue tramite un budget di ragionamento o un livello di impegno di ragionamento.
Budget di ragionamento
Imposta il numero massimo di token di ragionamento con lo slider numerico. Budget più elevati possono aumentare il tempo di risposta. Imposta il budget su 0 per disabilitare il ragionamento, se il modello lo consente.
Impegno di ragionamento
L’impegno di ragionamento controlla quanto ragionamento il modello esegue prima di rispondere. I livelli disponibili dipendono dal modello selezionato.
Inizia con un budget o un impegno più basso per gli agenti vocali in tempo reale, perché il ragionamento aggiuntivo può ritardare l’alternanza dei turni. Aumentalo per i passaggi del workflow che richiedono decisioni più complesse.
Riepilogo del ragionamento
Abilita il riepilogo del ragionamento per acquisire il ragionamento restituito dal modello durante il debug di risposte, chiamate di strumenti o percorsi del workflow. Attiva Riepilogo del ragionamento nelle impostazioni LLM dell’agente oppure imposta enable_reasoning_summary tramite l’API. L’impostazione è disattivata per impostazione predefinita.
Per gli endpoint personalizzati, consulta come ElevenLabs richiede e archivia il ragionamento.
I contenuti del ragionamento sono soggetti alle impostazioni di conservazione e rimozione dei PII. Puoi accedervi tramite i seguenti canali:
Con la Modalità Zero Retention, ElevenLabs **non archivia i contenuti del ragionamento **. Vengono inviati solo ai client di chat e ai webhook post-chiamata.
Limitazioni
- Richiedere un riepilogo del ragionamento può aumentare la latenza della risposta. Provalo prima di abilitarlo sugli agenti vocali sensibili alla latenza.
- I provider possono restituire un riepilogo, testo del ragionamento, delta di ragionamento non elaborati o nessun contenuto visualizzabile.
Comprendere i prezzi
- Token: l’utilizzo degli LLM viene generalmente fatturato in base al numero di token elaborati. Come indicazione generale per il testo in inglese, 100 token equivalgono approssimativamente a 75 parole
- Prezzi di input e output: i provider spesso differenziano i prezzi per i token di input (i dati inviati al modello) e i token di output (i dati generati dal modello in risposta)
- Prezzi della cache:
input_cache_read: indica il costo associato al recupero dalla cache di dati di input elaborati in precedenza. L’uso di dati memorizzati nella cache può ridurre i costi se input identici vengono elaborati più volteinput_cache_write: è il costo associato alla memorizzazione dei dati di input in una cache. Alcuni provider di LLM potrebbero addebitare questa operazione
- I prezzi elencati in questo documento si riferiscono a 1 milione di token e si basano sulle informazioni disponibili al momento della stesura. Questi prezzi sono soggetti a modifiche da parte dei provider di LLM
- Prezzi pass-through: ElevenLabs trasferisce i costi degli LLM di terze parti alla tariffa pubblicata dal provider, senza ricarico. Alcuni modelli Gemini e Claude sono allineati ai prezzi regionali (non globali) di Vertex AI, applicati al traffico negli Stati Uniti e nell’UE: un aumento del 10% sui token di input, output e cache, corrispondente alle tariffe regionali di Vertex
Per funzionalità attuali dei modelli, prezzi e termini di servizio, consulta la documentazione del provider.
Conformità HIPAA
Alcuni LLM disponibili sulla nostra piattaforma possono essere adatti all’uso in ambienti che richiedono la conformità HIPAA. Per maggiori dettagli, consulta la documentazione sulla conformità HIPAA.
Risorse correlate
Modelli forniti da ElevenLabs
ElevenLabs offre accesso a diversi modelli di IA, inclusi alcuni modelli di terze parti forniti da ElevenLabs.
Quando un modello è designato come “Fornito da ElevenLabs”, viene distribuito e gestito su un’infrastruttura amministrata da ElevenLabs. Questi modelli sono attualmente forniti negli Stati Uniti o nella regione della tua distribuzione enterprise.
Come identificare i modelli forniti da ElevenLabs
I modelli forniti da ElevenLabs sono chiaramente etichettati nell’interfaccia di ElevenLabs. Cerca la dicitura “Fornito da ElevenLabs” quando esplori o selezioni i modelli.
Come vengono gestiti i tuoi dati
Per i modelli forniti da ElevenLabs, le richieste vengono elaborate nell’infrastruttura gestita da ElevenLabs. Ciò significa che il provider del modello originale non riceve, accede né elabora gli input e gli output inviati tramite ElevenLabs.
Fornendo questi modelli, ElevenLabs può offrire un’esperienza coerente mantenendo il controllo sull’infrastruttura utilizzata per gestire le richieste ai modelli.
Domande frequenti
Dove sono forniti i modelli self-hosted?
I modelli forniti da ElevenLabs sono attualmente disponibili su un’infrastruttura situata negli Stati Uniti o nella regione della tua distribuzione enterprise.
Il provider del modello originale accede ai miei dati o ai metadati del mio utilizzo?
Per i modelli forniti da ElevenLabs, lo sviluppatore originale del modello non riceve mai i tuoi input o output e non ha accesso ai dati sulla distribuzione che li elabora.
Come faccio a sapere se un modello è fornito da ElevenLabs?
I modelli forniti da ElevenLabs sono chiaramente identificati nell’interfaccia di ElevenLabs con la dicitura “Fornito da ElevenLabs”.