LLMカスケード

概要

Agents Platformは、テキスト生成機能の信頼性と耐障害性を高めるために、LLMカスケードの仕組みを採用しています。このシステムは、設定された主要LLMで障害が発生した場合に、バックアップの大規模言語モデル（LLM）の使用を自動的に試み、よりスムーズで一貫したユーザー体験を実現します。

障害には、APIエラー、タイムアウト、LLMプロバイダーからの空の応答などがあります。カスケードロジックは、これらの状況を適切に処理します。

仕組み

カスケード処理は、定義された次の順序に従います。

1. 優先LLMの試行： システムはまず、エージェント設定で選択されたLLMを使用して応答の生成を試みます。

2. バックアップLLMの順序： 優先LLMで障害が発生した場合、システムはあらかじめ定義されたバックアップLLMの順序に自動的にフォールバックします。この順序は、モデルのパフォーマンス、速度、信頼性に基づいて選定されています。現在のデフォルトの順序（変更される場合があります）は次のとおりです。

   1. Gemini 2.5 Flash
   2. GPT-4o
   3. Gemini 2.5 Flash Lite
   4. Claude Sonnet 4.5

3. HIPAA準拠： エージェントが厳格なデータプライバシーを必要とするモード（HIPAA準拠／データ保持なし）で動作する場合、バックアップリストは上記の順序から準拠モデルのみを含むようフィルタリングされます。

4. 再試行： システムは、利用可能なLLMの順序（優先LLM＋バックアップ）にわたり、生成処理を複数回（少なくとも3回）再試行します。バックアップLLMでも障害が発生した場合は、順序内の次のLLMに進みます。再試行回数の上限内で未試行のバックアップLLMがなくなった場合、以前に失敗したバックアップモデルを再試行することがあります。

5. 遅延初期化： バックアップLLMへの接続は必要な場合にのみ初期化され、リソース使用量を最適化します。

カスタムLLM

カスタムLLMを設定すると、他の モデルに対する標準のカスケードロジックはバイパスされます。システムは指定したカスタムLLMの使用を試みます。

カスタムLLMで障害が発生した場合、システムはリクエストが失敗と判断される前に、同じ カスタムLLMで複数回（標準の最小再試行回数と同じ回数）再試行します。ElevenLabsがホストするモデルにはフォールバックしないため、特定の設定が維持されます。

Realtimeモデルを使用するエージェントでは、Realtimeモデルが時間内に応答しない場合、エージェントはバックアップLLMにフォールバックします。Realtimeモデルがエージェントの待機時間を設定します。

メリット

• 信頼性の向上： 特定のLLMプロバイダーで発生する一時的な問題の影響を軽減します。
• 可用性の向上： LLMの部分的な障害が発生している場合でも、応答を正常に生成できる可能性を高めます。
• シームレスな運用： フォールバックの仕組みは自動で機能し、エンドユーザーに対して透過的です。

設定

LLMカスケードは自動で実行されるバックグラウンドプロセスです。必要な設定は、エージェント設定で 優先LLM を選択することだけです。堅牢なパフォーマンスを確保するため、残りはシステムが処理します。