Ir para a navegação
Avançado

Cascata de LLMs

Saiba como a Plataforma de Agentes garante respostas confiáveis de LLM usando um mecanismo de fallback em cascata.

Visão geral

A Plataforma de Agentes usa um mecanismo de LLMs em cascata para aumentar a confiabilidade e a resiliência dos recursos de geração de texto. Esse sistema tenta automaticamente usar Large Language Models (LLMs) de backup se o LLM principal configurado falhar, garantindo uma experiência de usuário mais fluida e consistente.

As falhas podem incluir erros de API, tempos limite ou respostas vazias do provedor de LLM. A lógica em cascata lida com essas situações de forma adequada.

Como funciona

O processo em cascata segue uma sequência definida:

  1. Tentativa com o LLM preferido: o sistema primeiro tenta gerar uma resposta usando o LLM selecionado na configuração do agente.

  2. Sequência de LLMs de backup: se o LLM preferido falhar, o sistema recorre automaticamente a uma sequência predefinida de LLMs de backup. Essa sequência é selecionada com base no desempenho, na velocidade e na confiabilidade dos modelos. A sequência padrão atual (sujeita a alterações) é:

    1. Gemini 2.5 Flash
    2. GPT-4o
    3. Gemini 2.5 Flash Lite
    4. Claude Sonnet 4.5

  3. Conformidade com a HIPAA: se o agente operar em um modo que exige privacidade rigorosa dos dados (conformidade com a HIPAA / retenção zero de dados), a lista de backup será filtrada para incluir apenas modelos compatíveis da sequência acima.

  4. Novas tentativas: o sistema tenta novamente o processo de geração várias vezes (pelo menos 3 tentativas) na sequência de LLMs disponíveis (preferido + backups). Se um LLM de backup também falhar, ele prossegue para o próximo da sequência. Se os LLMs de backup exclusivos se esgotarem dentro do limite de tentativas, o sistema poderá tentar novamente modelos de backup que falharam anteriormente.

  5. Inicialização sob demanda: as conexões com LLMs de backup são inicializadas somente quando necessário, otimizando o uso de recursos.

A lista específica e a ordem dos LLMs de backup são gerenciadas internamente pela ElevenLabs e otimizadas para desempenho e disponibilidade. A sequência listada acima representa o padrão atual, mas pode ser atualizada sem aviso prévio.

LLMs personalizados

Quando você configura um LLM personalizado, a lógica padrão de cascata para outros modelos é ignorada. O sistema tentará usar o LLM personalizado especificado por você.

Se o seu LLM personalizado falhar, o sistema tentará novamente a solicitação várias vezes com o mesmo LLM personalizado (correspondendo à contagem mínima padrão de tentativas) antes de considerar que a solicitação falhou. Ele não recorrerá a modelos hospedados pela ElevenLabs, garantindo que sua configuração específica seja respeitada.

Em um agente que usa um modelo Realtime, o agente recorre a um LLM de backup se o modelo Realtime não responder a tempo. O modelo Realtime define por quanto tempo o agente espera.

Benefícios

  • Maior confiabilidade: reduz o impacto de problemas temporários com um provedor de LLM específico.
  • Maior disponibilidade: aumenta a probabilidade de gerar uma resposta com sucesso, mesmo durante interrupções parciais de LLMs.
  • Operação contínua: o mecanismo de fallback é automático e transparente para o usuário final.

Configuração

A cascata de LLMs é um processo automático executado em segundo plano. A única configuração necessária é selecionar seu LLM preferido nas configurações do agente. O sistema cuida do restante para garantir um desempenho robusto.