ナビゲーションにスキップ

ElevenAgents

ElevenLabsでエージェントを構築、公開、スケールする方法をご紹介します。

エージェントは、簡単なリクエストから複雑でオープンエンドなワークフローまで、自然な対話を通じてタスクを遂行します。ElevenLabsは、表現力豊かな音声モデル、マルチモーダルエージェントを構築するためのデベロッパーツール、そして大規模なエージェントパフォーマンスの監視・評価ツールを提供します。

プラットフォームの機能

設計からデプロイ、最適化まで、ElevenLabsは大規模なエージェント構築に必要なすべてを提供します。

設計と設定

目的ガイド説明
会話ワークフローを作成ワークフロービジュアルワークフロービルダーで複数ステップのワークフローを構築
システムプロンプトを作成システムプロンプト効果的なエージェントプロンプトを作成するためのベストプラクティスを学ぶ
言語モデルを選択モデルサポートされているLLMから選択するか、独自のカスタムモデルを使用
会話フローを制御会話フローターンテイキング、割り込み、タイムアウト設定を構成
音声と言語を設定音声と言語カスタマイズオプションを使用して、31言語にわたる10,000種類以上の音声から選択
エージェントにナレッジを追加ナレッジベースドキュメントをアップロードし、根拠に基づく応答のためにRAGを有効化
ツールを接続ツールクライアントとAPIを呼び出してアクションを実行できるようにする
各会話をパーソナライズパーソナライゼーション動的変数とオーバーライドを使用して会話ごとにカスタマイズ
エージェントへのアクセスを保護認証保護されたエージェントアクセスにカスタム認証を実装

接続とデプロイ

目的ガイド説明
Reactコンポーネントで開発ElevenLabs UIオーディオ&エージェントアプリ向けの事前構築済みコンポーネントライブラリ(shadcnベース)
ウィジェットをWebサイトに埋め込むウィジェットカスタマイズ可能なWebウィジェットを任意のWebサイトに追加
React Webアプリを開発React SDK音声対応のReactフックとコンポーネント
iOSアプリを開発Swift SDK音声エージェント向けネイティブiOS SDK
Androidアプリを開発Kotlin SDK音声エージェント向けネイティブAndroid SDK
React Nativeアプリを開発React Native SDKReact NativeによるクロスプラットフォームのiOS・Android開発
Unityゲームを開発Unity SDKデスクトップおよびWebGLビルド向けのUnityシーン内音声エージェント
SIPトランクで接続SIPトランク既存の電話インフラと統合
バッチで発信するバッチ通話複数の通話をプログラムから開始
Twilioインテグレーションを使用Twilio電話通話向けのネイティブTwilioインテグレーション
カスタムインテグレーションを開発WebSocket APIカスタム実装向けの低レベルWebSocketプロトコル
リアルタイムイベントを受信イベント会話イベントと更新を購読

監視と最適化

目的ガイド説明
外部IDでユーザーを一覧表示ユーザーエンドユーザーを確認し、会話を開く
文字起こしを検索する会話を検索会話履歴内のキーワード検索とセマンティック検索
A/Bテストを実行する実験実トラフィックでエージェント設定の変更をテスト
エージェントの動作をテストするテストエージェント向けの自動テストを作成・実行
会話の品質を分析する会話分析インサイトを抽出し、会話結果を評価
指標と分析を追跡する分析パフォーマンス指標と会話履歴を監視
データ保持を設定するプライバシー会話とオーディオの保持ポリシーを設定
LLMコストを削減するコスト最適化言語モデルの費用を監視・最適化
コードとしてエージェントを管理CLIターミナルからエージェントをバージョン管理・デプロイ
Claudeからエージェントを管理ホスト型MCP任意のMCPクライアントからエージェントを作成・更新

アーキテクチャ

ElevenAgentsは、4つの主要コンポーネントを連携させます。

  1. 音声認識用に微調整されたスピーチtoテキスト(ASR)モデル
  2. 任意の言語モデル、または カスタム LLM
  3. 10,000種類以上の音声と70以上の言語に対応する低レイテンシのテキスト読み上げ(TTS)モデル
  4. 会話のタイミングを処理する独自のターンテイキングモデル

音声エージェントでは、低レイテンシの音声会話向けに構築されたElevenLabsモデルである Realtimeモデル も使用できます。

Eleven RealtimeとElevenAgents、Speech Engineの関係

ElevenLabsでは、プロダクトに音声を追加するための3つの方法を提供しています。それぞれ、必要な制御レベルと統合の手間に応じて適しています。

プロダクト概要主な対象
ElevenAgentsフル機能のオムニチャネルエージェントプラットフォームです。Realtimeモデル、またはカスタムTTS、LLM、STT、ワークフロー、評価、監視を備えた完全カスケード型の設定可能なパイプラインで動作します。本番環境向けエージェントを大規模に構築するデベロッパーや企業。
Realtimeモデル音声間変換モデル群を公開するスタンドアロンAPIで、各モデルは異なるユースケース向けに最適化されています。Realtime APIから直接利用することも、ElevenAgents内のモデルオプションとして利用することもできます。すでに別のリアルタイム音声APIを利用していて切り替えを検討しているチームを含め、最小限の複雑さで音声を追加したいデベロッパーや企業。
Speech Engineテキストベースのチャットエージェントをすでに構築しており、音声を追加したいチーム向けの、単体の音声オーケストレーションレイヤーです。テキストエージェントをすでに構築しており、音声を追加したいデベロッパーや企業。

OpenAIのRealtime SDKとワイヤープロトコルを使用してRealtimeモデルに接続する方法については OpenAI Realtime API互換性ガイド を、既存のテキストエージェントに音声を追加する方法については Speech Engineの概要 をご覧ください。