Modele
Dowiedz się, jak wybrać odpowiedni model do swojego zastosowania
ElevenAgents zapewnia jeden interfejs do łączenia agenta z wieloma modelami i dostawcami, oferując elastyczność, niezawodność i optymalizację kosztów.
Zamiast wybierać model tutaj, agenci głosowi mogą używać modelu Realtime — modelu ElevenLabs stworzonego do rozmów głosowych z niskimi opóźnieniami.
Najważniejsze funkcje
- Ujednolicony dostęp: Przełączaj się między dostawcami i modelami przy minimalnych zmianach w kodzie
- Wysoka niezawodność: Automatycznie przechodź do innego dostawcy, gdy jeden zawiedzie
- Monitorowanie wydatków: Śledź wydatki na różne modele
Obsługiwane modele
Obecnie poniższe modele są natywnie obsługiwane i można je skonfigurować w ustawieniach agenta:
Ceny są zwykle podawane w USD za 1 milion tokenów, chyba że zaznaczono inaczej. Token to podstawowa jednostka danych tekstowych dla LLM-ów, odpowiadająca średnio około 4 znakom.
Własny LLM
Możesz użyć własnego LLM, wskazując endpoint, do którego mamy wysyłać żądania, oraz podając dane uwierzytelniające przez nasz bezpieczny magazyn sekretów. Dowiedz się więcej o integracji z własnym LLM.
Niektóre modele są niedostępne przy włączonej rezydencji danych w UE. Szczegóły dostępności znajdziesz w RODO i rezydencji danych.
Wybór modelu
Wybór najlepszego LLM dla aplikacji wymaga uwzględnienia kilku czynników:
- Złożoność zadań: Oceń modele na reprezentatywnych zadaniach z aplikacji
- Wymagania dotyczące opóźnień: W przypadku rozmów głosowych na żywo wybierz model z niskimi opóźnieniami i zmierz czas odpowiedzi dla swoich promptów i narzędzi
- Rozmiar okna kontekstu: Jeśli aplikacja musi przetwarzać, rozumieć lub przypominać sobie informacje z długich rozmów czy obszernych dokumentów, wybierz modele z większymi oknami kontekstu
- Opłacalność: Zestaw oczekiwaną wydajność i funkcje z budżetem. Ceny LLM-ów mogą się znacznie różnić, więc przeanalizuj strukturę cen (tokeny wejściowe, wyjściowe i cache) względem przewidywanego użycia
- Zgodność z HIPAA: Jeśli aplikacja przetwarza chronione informacje zdrowotne (PHI), kluczowe jest użycie LLM oznaczonego jako zgodny z HIPAA oraz zapewnienie, że cały proces przetwarzania danych spełnia wymogi regulacyjne
Maksymalny rozmiar promptu systemowego to 2 MB. Obejmuje on instrukcje agenta, treści bazy wiedzy i inny kontekst na poziomie systemu.
Konfiguracja modelu
Temperatura
Temperatura kontroluje losowość odpowiedzi modelu. Niższe wartości dają bardziej spójne i skupione wyniki, a wyższe zwiększają kreatywność i różnorodność.
- Niska (0.0–0.3): Deterministyczne, spójne odpowiedzi do ustrukturyzowanych interakcji
- Średnia (0.4–0.7): Równowaga między kreatywnością a spójnością
- Wysoka (0.8–1.0): Kreatywne, zróżnicowane odpowiedzi do dynamicznych rozmów
Konfiguracja zapasowego LLM
Skonfiguruj zapasowe LLM-y, aby zapewnić ciągłość rozmowy, gdy główny LLM zawiedzie lub stanie się niedostępny.
Opcje konfiguracji:
- Domyślna: Korzysta z zalecanej przez ElevenLabs sekwencji awaryjnej
- Własna: Zdefiniuj własną sekwencję kaskadową modeli zapasowych
- Wyłączona: Bez trybu awaryjnego (zdecydowanie odradzane na produkcji)
Wyłączenie zapasowych LLM-ów oznacza, że rozmowy zakończą się nagle, jeśli główny LLM zawiedzie lub stanie się niedostępny. Zdecydowanie odradzamy to w środowisku produkcyjnym.
Dowiedz się więcej o kaskadowaniu LLM.
Rozumowanie
Rozumowanie pomaga agentom podejmować złożone decyzje, na przykład wybierać między narzędziami, stosować zasady lub realizować wieloetapowe workflow. W zależności od modelu możesz kontrolować zakres rozumowania za pomocą budżetu myślenia lub poziomu wysiłku rozumowania.
Budżet myślenia
Ustaw maksymalną liczbę tokenów rozumowania za pomocą suwaka numerycznego. Większy budżet może wydłużyć czas odpowiedzi. Ustaw budżet na 0, aby wyłączyć myślenie, jeśli model na to pozwala.
Wysiłek rozumowania
Wysiłek rozumowania określa, ile rozumowania model wykonuje przed udzieleniem odpowiedzi. Dostępne poziomy zależą od wybranego modelu.
Zacznij od niższego budżetu lub wysiłku dla agentów głosowych na żywo, ponieważ dodatkowe myślenie może opóźnić zmianę tury. Zwiększ je w krokach workflow wymagających bardziej złożonych decyzji.
Podsumowanie rozumowania
Włącz podsumowanie rozumowania, aby rejestrować zwracane przez model rozumowanie podczas debugowania odpowiedzi, wywołań narzędzi lub ścieżek workflow. Włącz Podsumowanie rozumowania w ustawieniach LLM agenta albo ustaw enable_reasoning_summary przez API. To ustawienie jest domyślnie wyłączone.
W przypadku własnych endpointów zobacz jak ElevenLabs żąda i przechowuje rozumowanie.
Treść rozumowania podlega ustawieniom retencji i redakcji PII. Możesz uzyskać do niej dostęp przez następujące kanały:
W trybie Zero Retention ElevenLabs **nie przechowuje treści rozumowania **. Jest ona przekazywana tylko klientom czatu i webhookom po rozmowie.
Ograniczenia
- Żądanie podsumowania rozumowania może zwiększyć opóźnienie odpowiedzi. Przetestuj je przed włączeniem w agentach głosowych wrażliwych na opóźnienia.
- Dostawcy mogą zwrócić podsumowanie, tekst myśli, surowe delty rozumowania lub treść, której nie można wyświetlić.
Jak rozumieć ceny
- Tokeny: Użycie LLM jest zwykle rozliczane na podstawie liczby przetworzonych tokenów. Dla tekstu angielskiego 100 tokenów odpowiada w przybliżeniu 75 słowom
- Ceny wejścia i wyjścia: Dostawcy często różnicują ceny tokenów wejściowych (dane wysyłane do modelu) i wyjściowych (dane generowane przez model w odpowiedzi)
- Ceny cache:
input_cache_read: Koszt pobrania z cache wcześniej przetworzonych danych wejściowych. Użycie danych z cache może obniżyć koszty, jeśli identyczne dane wejściowe są przetwarzane wielokrotnieinput_cache_write: Koszt zapisania danych wejściowych w cache. Niektórzy dostawcy LLM mogą pobierać opłatę za tę operację
- Ceny podane w tym dokumencie dotyczą 1 miliona tokenów i bazują na informacjach dostępnych w chwili pisania. Dostawcy LLM mogą je zmienić
- Ceny bez marży: ElevenLabs przenosi koszty LLM-ów firm trzecich według opublikowanych stawek dostawców, bez marży. Wybrane modele Gemini i Claude mają ceny zgodne z regionalnymi (nieglobalnymi) cenami Vertex AI, według których rozliczany jest ruch z USA i UE — oznacza to wzrost o 10% dla tokenów wejściowych, wyjściowych i cache, zgodny ze stawkami regionalnymi Vertex
Aktualne możliwości modeli, ceny i warunki korzystania znajdziesz w dokumentacji dostawcy.
Zgodność z HIPAA
Niektóre LLM-y dostępne na naszej platformie mogą nadawać się do użycia w środowiskach wymagających zgodności z HIPAA. Więcej informacji znajdziesz w dokumentacji zgodności z HIPAA.
Powiązane materiały
Modele hostowane przez ElevenLabs
ElevenLabs oferuje dostęp do różnych modeli AI, w tym wybranych modeli firm trzecich hostowanych przez ElevenLabs.
Gdy model jest oznaczony jako „Hosted by ElevenLabs”, jest wdrożony i obsługiwany na infrastrukturze zarządzanej przez ElevenLabs. Modele te są obecnie hostowane w Stanach Zjednoczonych lub w regionie wdrożenia Enterprise.
Jak rozpoznać modele hostowane przez ElevenLabs
Modele hostowane przez ElevenLabs są wyraźnie oznaczone w interfejsie ElevenLabs. Szukaj oznaczenia „Hosted by ElevenLabs” podczas przeglądania lub wybierania modeli.
Jak przetwarzamy twoje dane
W przypadku modeli hostowanych przez ElevenLabs żądania są przetwarzane w infrastrukturze zarządzanej przez ElevenLabs. Oznacza to, że pierwotny dostawca modelu nie otrzymuje, nie ma dostępu do ani nie przetwarza danych wejściowych i wyjściowych przesyłanych przez ElevenLabs.
Hostując te modele, ElevenLabs może zapewniać spójne działanie, zachowując kontrolę nad infrastrukturą używaną do obsługi żądań modelu.
Często zadawane pytania
Gdzie hostowane są modele hostowane samodzielnie?
Modele hostowane przez ElevenLabs są obecnie hostowane na infrastrukturze w Stanach Zjednoczonych lub w regionie wdrożenia Enterprise.
Czy pierwotny dostawca modelu ma dostęp do moich danych lub metadanych dotyczących użycia?
W przypadku modeli hostowanych przez ElevenLabs pierwotny deweloper modelu nigdy nie otrzymuje danych wejściowych ani wyjściowych i nie ma dostępu do danych o wdrożeniu, które je przetwarza.
Skąd mam wiedzieć, czy model jest hostowany przez ElevenLabs?
Modele hostowane przez ElevenLabs są wyraźnie oznaczone w interfejsie ElevenLabs jako „Hosted by ElevenLabs”.