模型
了解如何为用例选择合适的模型
ElevenAgents 提供统一界面，可将智能体连接到多个模型和提供商，兼具灵活性、可靠性和成本优化。
语音智能体无需在此选择模型，而是可以使用专为低延迟语音对话打造的 ElevenLabs 实时模型。
主要功能
- 统一访问：只需少量代码改动，即可在提供商和模型之间切换
- 高可靠性：当一个提供商发生故障时，自动级联切换至另一个提供商
- 支出监控：监控不同模型的支出
支持的模型
目前，以下模型已获原生支持，可通过智能体设置进行配置：
除非另有说明，价格通常以每 100 万个 token 的美元计。Token 是 LLM 的基本文本数据单位，平均约等于 4 个字符。
自定义 LLM
支持使用自定义 LLM：指定我们应向其发送请求的端点，并通过安全密钥存储提供凭据。了解更多自定义 LLM 集成信息。
启用欧盟数据驻留时，部分模型不可用。有关可用性详情，请参阅 GDPR 和数据 驻留。
选择模型
为应用选择最合适的 LLM 时，需要考虑以下因素：
- 任务复杂度：根据应用中的代表性任务评估模型
- 延迟要求：对于实时语音对话，请选择低延迟模型，并使用提示词和工具测量响应时间
- 上下文窗口大小：如果应用需要处理、理解或回忆长对话或大量文档中的信息，请选择上下文窗口更大的模型
- 成本效益：根据预算权衡所需性能和功能。LLM 价格差异可能很大，因此应结合预期使用模式分析定价结构（输入、输出和缓存 token）
- HIPAA 合规性：如果应用涉及受保护健康信息（PHI），务必使用指定为符合 HIPAA 标准的 LLM，并确保整个数据处理流程符合监管标准
系统提示词最大为 2MB，其中包括智能体指令、知识库内容和其他系统级上下文。
模型配置
温度
温度控制模型响应的随机性。较低的值会生成更一致、更聚焦的输出，较高的值则会提升创造性和多样性。
- 低（0.0-0.3）：适合结构化交互的确定性、一致响应
- 中（0.4-0.7）：平衡创造性与一致性
- 高（0.8-1.0）：适合动态对话的创意、多样化响应
备用 LLM 配置
配置备用 LLM，确保主 LLM 发生故障或不可用时，对话仍可继续。
配置选项：
- 默认：使用 ElevenLabs 推荐的回退顺序
- 自定义：定义自己的备用模型级联顺序
- 禁用：不使用回退机制（强烈不建议用于生产环境）
禁用备用 LLM 意味着主 LLM 发生故障或不可用时，对话将突然结束。强烈不建议在生产环境中这样做。
了解更多 LLM 级联信息。
推理
推理可帮助智能体处理复杂决策，例如在工具之间进行选择、应用政策或完成多步骤 workflow。你可以根据模型，通过思考预算或推理强度级别控制其推理量。
思考预算
通过数值滑块设置推理 token 的最大数量。更大的预算可能会增加响应时间。若模型允许，可将预算设为 0 以禁用思考。
推理强度
推理强度控制模型回答前进行的推理量。可用级别取决于所选模型。
对于实时语音智能体，建议从较低的预算或强度开始，因为额外思考可能会延迟轮次交接。对于需要更复杂决策的 workflow 步骤，可提高该值。
推理摘要
调试响应、工具调用或 workflow 路径时，启用推理摘要可捕获模型返回的推理内容。在智能体的 LLM 设置中开启 推理摘要，或通过 API 设置 enable_reasoning_summary。此设置默认关闭。
对于自定义端点，请参阅 ElevenLabs 如何请求和存储推理内容。
推理内容受保留和 PII 脱敏设置约束。可通过以下渠道访问：
使用零保留模式时，ElevenLabs **不会 存储推理内容 **。内容仅发送至聊天客户端和通话后 webhook。
限制
- 请求推理摘要可能增加响应延迟。在对延迟敏感的语音智能体上启用前，请先进行测试。
- 提供商可能返回摘要、思考文本、原始推理增量，或不返回可显示内容。
了解定价
- Token：LLM 使用量通常按处理的 token 数量计费。对于英文文本，100 个 token 大约相当于 75 个单词
- 输入与输出定价：提供商通常会区分输入 token（发送给模型的数据）和输出 token（模型生成的响应数据）的价格
- 缓存定价：
input_cache_read：指从缓存中检索先前已处理输入数据的相关费用。如果多次处理相同输入，使用缓存数据可以节省成本input_cache_write：指将输入数据存入缓存的相关费用。部分 LLM 提供商可能对此操作收费
- 本文档列出的价格均为每 100 万个 token 的价格，基于撰写时可获取的信息。LLM 提供商可能会调整这些价格
- 成本转嫁定价：ElevenLabs 按提供商公布的费率转嫁第三方 LLM 成本，不加价。部分 Gemini 和 Claude 模型采用 Vertex AI 区域（非全球）定价，美国和欧盟流量均按此计费——输入、输出和缓存 token 价格上调 10%，与 Vertex 区域费率一致
有关当前模型能力、定价和服务条款，请查阅提供商文档。
HIPAA 合规性
平台上提供的某些 LLM 可能适用于需要符合 HIPAA 标准的环境。详情请参阅 HIPAA 合规性文档。
相关资源
由 ElevenLabs 托管的模型
ElevenLabs 提供多种 AI 模型，其中包括由 ElevenLabs 托管的部分第三方模型。
标记为“由 ElevenLabs 托管”的模型，会部署并运行在由 ElevenLabs 管理的基础设施上。这些模型目前托管在美国，或企业部署所在区域。
如何识别由 ElevenLabs 托管的模型
ElevenLabs 托管的模型会在 ElevenLabs 界面中清晰标注。浏览或选择模型时，请查看“由 ElevenLabs 托管”标识。
数据如何处理
对于由 ElevenLabs 托管的模型，请求将在 ElevenLabs 管理的基础设施内处理。这意味着原始模型提供商不会接收、访问或处理通过 ElevenLabs 提交的输入和输出。
托管这些模型后，ElevenLabs 可提供一致的体验，同时保持对用于处理模型请求的基础设施的控制。
常见问题
自托管模型托管在哪里？
ElevenLabs 托管的模型目前运行在位于美国，或企业部署所在区域的基础设施上。
原始模型提供商能访问我的数据或使用情况元数据吗？
对于由 ElevenLabs 托管的模型，其原始开发者绝不会接收你的输入或输出，也无法访问处理这些数据的部署相关信息。
如何确认模型是否由 ElevenLabs 托管？
ElevenLabs 托管的模型会在 ElevenLabs 界面中以“由 ElevenLabs 托管”标识清晰显示。