Saltar a la navegación
Avanzado

Cascada de LLM

Descubre cómo Agents Platform garantiza respuestas fiables de los LLM mediante un mecanismo de respaldo en cascada.

Resumen

Agents Platform utiliza un mecanismo de cascada de LLM para mejorar la fiabilidad y resiliencia de sus capacidades de generación de texto. Este sistema intenta usar automáticamente modelos de lenguaje grandes (LLM) de respaldo si falla el LLM principal configurado, lo que garantiza una experiencia de usuario más fluida y coherente.

Los fallos pueden incluir errores de API, tiempos de espera agotados o respuestas vacías del proveedor de LLM. La lógica de cascada gestiona estas situaciones correctamente.

Cómo funciona

El proceso en cascada sigue una secuencia definida:

  1. Intento con el LLM preferido: el sistema intenta primero generar una respuesta utilizando el LLM seleccionado en la configuración del agente.

  2. Secuencia de LLM de respaldo: si falla el LLM preferido, el sistema recurre automáticamente a una secuencia predefinida de LLM de respaldo. Esta secuencia se selecciona según el rendimiento, la velocidad y la fiabilidad de los modelos. La secuencia predeterminada actual (sujeta a cambios) es:

    1. Gemini 2.5 Flash
    2. GPT-4o
    3. Gemini 2.5 Flash Lite
    4. Claude Sonnet 4.5

  3. Cumplimiento de HIPAA: si el agente funciona en un modo que requiere una privacidad de datos estricta (cumplimiento de HIPAA / retención cero de datos), la lista de respaldo se filtra para incluir únicamente modelos compatibles de la secuencia anterior.

  4. Reintentos: el sistema vuelve a intentar el proceso de generación varias veces (al menos 3 intentos) con la secuencia de LLM disponibles (preferido + respaldos). Si también falla un LLM de respaldo, pasa al siguiente de la secuencia. Si se queda sin LLM de respaldo únicos dentro del límite de reintentos, puede volver a intentar modelos de respaldo que hayan fallado anteriormente.

  5. Inicialización diferida: las conexiones con los LLM de respaldo se inicializan solo cuando son necesarias, lo que optimiza el uso de recursos.

ElevenLabs gestiona internamente la lista específica y el orden de los LLM de respaldo, y los optimiza para obtener rendimiento y disponibilidad. La secuencia anterior representa la predeterminada actual, pero puede actualizarse sin previo aviso.

LLM personalizados

Cuando configuras un LLM personalizado, se omite la lógica de cascada estándar hacia otros modelos. El sistema intentará usar el LLM personalizado que hayas especificado.

Si falla tu LLM personalizado, el sistema volverá a intentar la solicitud varias veces con el mismo LLM personalizado (respetando el número mínimo de reintentos estándar) antes de considerar que la solicitud ha fallado. No recurrirá a modelos alojados por ElevenLabs, lo que garantiza que se respete tu configuración específica.

En un agente que usa un modelo Realtime, el agente recurre a un LLM de respaldo si el modelo Realtime no responde a tiempo. El modelo Realtime determina cuánto tiempo espera el agente.

Ventajas

  • Mayor fiabilidad: reduce el impacto de problemas temporales con un proveedor de LLM específico.
  • Mayor disponibilidad: aumenta la probabilidad de generar una respuesta correctamente incluso durante interrupciones parciales de los LLM.
  • Funcionamiento fluido: el mecanismo de respaldo es automático y transparente para el usuario final.

Configuración

La cascada de LLM es un proceso automático en segundo plano. La única configuración necesaria es seleccionar tu LLM preferido en los ajustes del agente. El sistema se encarga del resto para garantizar un rendimiento sólido.