跳到导航
功能

转录

了解如何使用 ElevenLabs 将语音音频转换为文本。

概览

ElevenLabs 文本转语音（STT）API 能以先进的准确率将语音音频转换为文本。我们的 Scribe v2 模型 可根据 90 多种语言和多种语音风格中的文本线索进行适应。如需试用实时演示，请访问我们的 文本转语音 展示页面。

产品

在 ElevenLabs 中使用文本转语音的分步指南。

开发者

了解如何将文本转语音 API 集成到应用中。

实时文本转语音

了解如何通过 WebSockets 使用 ElevenLabs 实时转录音频。

API 参考文档

文本转语音端点的完整 API 参考文档。

需要符合 HIPAA 要求的公司，必须联系 ElevenLabs 销售团队签署业务伙伴协议（BAA）。在进行任何与 HIPAA 相关的集成或部署前， 请确保已完成此步骤。

模型

Scribe v2

先进的语音识别模型

支持 90+ 种语言的准确转录
关键词提示，最多 1000 个术语
实体检测，支持 65 种实体类型
通过自然语言指令编辑转录文本
精确到词级的时间戳
说话人分离，最多 32 位说话人
动态音频标签
智能语言检测
Scribe v2 Realtime

实时语音识别模型

支持 90+ 种语言的准确转录
实时转录
低延迟（约 150ms†）
精确到词级的时间戳
实体检测，支持 65 种实体类型
通过自然语言指令编辑转录文本
Scribe v2 Medical

针对临床音频微调的语音识别模型

临床音频转录错误比 Scribe v2 少 35%
日常语音准确率与 Scribe v2 相同
功能、语言、定价和 API 均与 Scribe v2 相同

API 响应示例

以下示例展示了使用 Scribe v2 模型处理示例音频文件时，文本转语音 API 的输出。

{
  "language_code": "en",
  "language_probability": 1,
  "text": "With a soft and whispery American accent, I'm the ideal choice for creating ASMR content, meditative guides, or adding an intimate feel to your narrative projects.",
  "words": [
    {
      "text": "With",
      "start": 0.119,
      "end": 0.259,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 0.239,
      "end": 0.299,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "a",
      "start": 0.279,
      "end": 0.359,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 0.339,
      "end": 0.499,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "soft",
      "start": 0.479,
      "end": 1.039,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 1.019,
      "end": 1.2,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "and",
      "start": 1.18,
      "end": 1.359,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 1.339,
      "end": 1.44,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "whispery",
      "start": 1.419,
      "end": 1.979,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 1.959,
      "end": 2.179,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "American",
      "start": 2.159,
      "end": 2.719,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 2.699,
      "end": 2.779,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "accent,",
      "start": 2.759,
      "end": 3.389,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 4.119,
      "end": 4.179,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "I'm",
      "start": 4.159,
      "end": 4.459,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 4.44,
      "end": 4.52,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "the",
      "start": 4.5,
      "end": 4.599,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 4.579,
      "end": 4.699,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "ideal",
      "start": 4.679,
      "end": 5.099,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 5.079,
      "end": 5.219,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "choice",
      "start": 5.199,
      "end": 5.719,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 5.699,
      "end": 6.099,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "for",
      "start": 6.099,
      "end": 6.199,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 6.179,
      "end": 6.279,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "creating",
      "start": 6.259,
      "end": 6.799,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 6.779,
      "end": 6.979,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "ASMR",
      "start": 6.959,
      "end": 7.739,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 7.719,
      "end": 7.859,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "content,",
      "start": 7.839,
      "end": 8.45,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 9,
      "end": 9.06,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "meditative",
      "start": 9.04,
      "end": 9.64,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 9.619,
      "end": 9.699,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "guides,",
      "start": 9.679,
      "end": 10.359,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 10.359,
      "end": 10.409,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "or",
      "start": 11.319,
      "end": 11.439,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 11.42,
      "end": 11.52,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "adding",
      "start": 11.5,
      "end": 11.879,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 11.859,
      "end": 12,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "an",
      "start": 11.979,
      "end": 12.079,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 12.059,
      "end": 12.179,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "intimate",
      "start": 12.179,
      "end": 12.579,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 12.559,
      "end": 12.699,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "feel",
      "start": 12.679,
      "end": 13.159,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 13.139,
      "end": 13.179,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "to",
      "start": 13.159,
      "end": 13.26,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 13.239,
      "end": 13.3,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "your",
      "start": 13.299,
      "end": 13.399,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 13.379,
      "end": 13.479,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "narrative",
      "start": 13.479,
      "end": 13.889,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 13.919,
      "end": 13.939,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "projects.",
      "start": 13.919,
      "end": 14.779,
      "type": "word",
      "speaker_id": "speaker_0"
    }
  ]
}

输出分为 3 种类别：

  • word - 音频语言中的单词
  • spacing - 单词之间的空格，不适用于日语、普通话、泰语、老挝语、缅甸语和粤语等不使用空格的语言
  • audio_event - 笑声或掌声等非语音声音

并发与优先级

并发是指可同时处理的请求数量。

对于文本转语音，时长超过 8 分钟的文件会在内部并行转录，以加快处理速度。音频会被分为 4 个片段并发转录。

可通过以下公式计算并发限制：

Concurrency=min⁡(4,round_up(audio_duration_secs480))Concurrency = \min(4, \text{round\_up}(\frac{\text{audio\_duration\_secs}}{480}))

例如，15 分钟的音频文件将以 2 的并发数转录，而 120 分钟的音频文件将以 4 的并发数转录。

上述计算仅适用于 Scribe v2 和 Scribe v2 Medical。对于 Scribe v2 Realtime，请参阅并发限制图表。

高级功能

关键词提示和转录编辑需额外付费。详细价格信息请参阅 API 定价 页面。

关键词提示

Scribe v2、Scribe v2 Medical（批处理）和 Scribe v2 Realtime 支持关键词提示。

可突出显示单词或短语，使模型更倾向于转录这些内容。这对于转录音频中不常见的特定单词或句子非常有用，例如产品名称、人名或其他特定术语。关键词比其他模型提供的偏置关键词或自定义词汇表更强大，因为它会根据上下文决定是否转录该术语。批处理最多支持 1000 个关键词（每个 50 个字符），实时模式最多支持 50 个关键词（每个 20 个字符）。

如需了解如何使用关键词提示，请参阅关键词提示文档。

非逐字模式

Scribe v2、Scribe v2 Medical（批处理）和 Scribe v2 Realtime 支持非逐字模式。

启用 no_verbatim 后，模型会从转录文本中移除填充词、起句错误和不流畅表达。这会生成更整洁的输出，适用于字幕、摘要，或任何可读性比逐字记录更重要的场景。

实体检测

所有批处理模型和 Scribe v2 Realtime 均支持实体检测。

批处理模型和 Scribe v2 Realtime 可检测转录文本中的多类实体，并提供其精确时间戳。这可用于突出显示信用卡号、姓名、医疗状况或社会保障号码。

如需查看支持的实体完整列表，请参阅实体检测文档。

转录编辑

转录编辑是一项实验性功能，所有批处理模型和 Scribe v2 Realtime 均支持。

通过 transcript_edit 参数传入自然语言指令，即可将其应用于完成的转录文本。编辑后的文本会在 edited_transcript 中与原始转录文本一同返回，因此时间戳和说话人标签均保持不变。这适合统一日期、时间或单位的写法、应用不同风格，或在单次请求中改写转录文本。

如需了解更多，请参阅转录编辑文档和实时转录编辑指南。

支持的语言

Scribe v2 支持 90+ 种语言，包括：

南非荷兰语（afr）、阿姆哈拉语（amh）、阿拉伯语（ara）、亚美尼亚语（hye）、阿萨姆语（asm）、阿斯图里亚斯语（ast）、阿塞拜疆语（aze）、白俄罗斯语（bel）、孟加拉语（ben）、波斯尼亚语（bos）、保加利亚语（bul）、缅甸语（mya）、粤语（yue）、加泰罗尼亚语（cat）、宿务语（ceb）、齐切瓦语（nya）、克罗地亚语（hrv）、捷克语（ces）、丹麦语（dan）、荷兰语（nld）、英语（eng）、爱沙尼亚语（est）、菲律宾语（fil）、芬兰语（fin）、法语（fra）、富拉语（ful）、加利西亚语（glg）、干达语（lug）、格鲁吉亚语（kat）、德语（deu）、希腊语（ell）、古吉拉特语（guj）、豪萨语（hau）、希伯来语（heb）、印地语（hin）、匈牙利语（hun）、冰岛语（isl）、伊博语（ibo）、印尼语（ind）、爱尔兰语（gle）、意大利语（ita）、日语（jpn）、爪哇语（jav）、佛得角克里奥尔语（kea）、卡纳达语（kan）、哈萨克语（kaz）、高棉语（khm）、韩语（kor）、库尔德语（kur）、吉尔吉斯语（kir）、老挝语（lao）、拉脱维亚语（lav）、林加拉语（lin）、立陶宛语（lit）、卢奥语（luo）、卢森堡语（ltz）、马其顿语（mkd）、马来语（msa）、马拉雅拉姆语（mal）、马耳他语（mlt）、普通话（zho）、毛利语（mri）、马拉地语（mar）、蒙古语（mon）、尼泊尔语（nep）、北索托语（nso）、挪威语（nor）、奥克语（oci）、奥里亚语（ori）、普什图语（pus）、波斯语（fas）、波兰语（pol）、葡萄牙语（por）、旁遮普语（pan）、罗马尼亚语（ron）、俄语（rus）、塞尔维亚语（srp）、绍纳语（sna）、信德语（snd）、僧伽罗语（sin）、斯洛伐克语（slk）、斯洛文尼亚语（slv）、索马里语（som）、西班牙语（spa）、斯瓦希里语（swa）、瑞典语（swe）、泰米尔语（tam）、塔吉克语（tgk）、泰卢固语（tel）、泰语（tha）、土耳其语（tur）、乌克兰语（ukr）、翁本杜语（umb）、乌尔都语（urd）、乌兹别克语（uzb）、越南语（vie）、威尔士语（cym）、沃洛夫语（wol）、科萨语（xho）和祖鲁语（zul）。

语言支持明细

词错误率（WER）是评估转录系统准确性的关键指标。它衡量转录文本与参考转录文本相比包含多少错误。以下列出 Scribe v2 支持的各语言的 WER。

白俄罗斯语（bel）、波斯尼亚语（bos）、保加利亚语（bul）、加泰罗尼亚语（cat）、克罗地亚语（hrv）、捷克语（ces）、 丹麦语（dan）、荷兰语（nld）、英语（eng）、爱沙尼亚语（est）、芬兰语（fin）、法语（fra）、加利西亚语 （glg）、德语（deu）、希腊语（ell）、匈牙利语（hun）、冰岛语（isl）、印度尼西亚语（ind）、意大利语 （ita）、日语（jpn）、卡纳达语（kan）、拉脱维亚语（lav）、马其顿语（mkd）、马来语（msa）、马拉雅拉姆语 （mal）、挪威语（nor）、波兰语（pol）、葡萄牙语（por）、罗马尼亚语（ron）、俄语（rus）、斯洛伐克语 （slk）、西班牙语（spa）、瑞典语（swe）、土耳其语（tur）、乌克兰语（ukr）和越南语（vie）。

亚美尼亚语（hye）、阿塞拜疆语（aze）、孟加拉语（ben）、粤语（yue）、菲律宾语（fil）、格鲁吉亚语 （kat）、古吉拉特语（guj）、印地语（hin）、哈萨克语（kaz）、立陶宛语（lit）、马耳他语（mlt）、普通话 （cmn）、马拉地语（mar）、尼泊尔语（nep）、奥里亚语（ori）、波斯语（fas）、塞尔维亚语（srp）、斯洛文尼亚语（slv）、 斯瓦希里语（swa）、泰米尔语（tam）和泰卢固语（tel）

南非荷兰语（afr）、阿拉伯语（ara）、阿萨姆语（asm）、阿斯图里亚斯语（ast）、缅甸语（mya）、豪萨语（hau）、 希伯来语（heb）、爪哇语（jav）、韩语（kor）、吉尔吉斯语（kir）、卢森堡语（ltz）、毛利语（mri）、 奥克语（oci）、旁遮普语（pan）、塔吉克语（tgk）、泰语（tha）、乌兹别克语（uzb）和威尔士语（cym）。

阿姆哈拉语（amh）、甘达语（lug）、伊博语（ibo）、爱尔兰语（gle）、高棉语（khm）、库尔德语（kur）、老挝语（lao）、 蒙古语（mon）、北索托语（nso）、普什图语（pus）、绍纳语（sna）、信德语（snd）、僧伽罗语（sin）、 索马里语（som）、乌尔都语（urd）、沃洛夫语（wol）、科萨语（xho）、约鲁巴语（yor）和祖鲁语（zul）。

常见问题

可以，API 支持上传音频和视频文件进行转录。

支持最大 3 GB 的文件。时长限制取决于转录模式：

  • 标准模式（use_multi_channel=false）：最长 10 小时
  • 多声道模式（use_multi_channel=true）：所有声道的总时长必须少于 10 小时

API 支持以下音频和视频格式：

  • audio/aac
  • audio/x-aac
  • audio/x-aiff
  • audio/ogg
  • audio/mpeg
  • audio/mp3
  • audio/mpeg3
  • audio/x-mpeg-3
  • audio/opus
  • audio/wav
  • audio/x-wav
  • audio/webm
  • audio/flac
  • audio/x-flac
  • audio/mp4
  • audio/aiff
  • audio/x-m4a

支持的视频格式包括：

  • video/mp4
  • video/x-msvideo
  • video/x-matroska
  • video/quicktime
  • video/x-ms-wmv
  • video/x-flv
  • video/webm
  • video/mpeg
  • video/3gpp

ElevenLabs 正在持续扩展模型支持的语言数量。请经常查看更新。

可以，异步转录结果可发送至 UI 中 webhook 设置配置的 webhook。更多信息请参阅 webhooks 指南。

支持。多声道 STT 功能可转录每个声道独立处理的音频，并根据声道编号分配说话人 ID。该功能最多支持 5 个声道。更多信息请参阅多声道转录指南。

ElevenLabs 根据发送用于转录的音频时长收取文本转语音费用。费用按音频小时计算，价格因套餐和模型而异。详细价格信息请参阅 API 定价页面。

静音时段也计入计费时长。批处理和实时转录均会按发送的每一秒音频计量，包括停顿和静音片段，静音不享受折扣。

关键事实

  • 支持的输入：接受音频和视频文件
  • 最大文件大小：3 GB
  • 最长时长：10 小时（标准模式）、1 小时（多声道模式）
  • 多声道模式：最多 5 个声道；每个声道独立处理，并按声道编号分配说话人 ID
  • Webhooks：可将异步转录结果发送到 webhook — 在工作区设置中配置
  • 支持的音频格式：AAC、AIFF、OGG、MP3、OPUS、WAV、FLAC、M4A、WebM
  • 支持的视频格式：MP4、AVI、MKV、MOV、WMV、FLV、WebM、MPEG、3GPP