BroadRouter
开始使用

说话人分离(speaker diarization)

更新于

说话人分离是把一段录音按说话人切分成片段的任务,回答“谁在何时说话”。它给每段语音打上 SPEAKER_00 这样的匿名说话人标签,通常与转写文本结合,显示每句话是谁说的。

又称: 说话人日志、说话人区分、说话人识别、说话人标签、多人语音分离、speaker diarization、diarization、speaker diarisation、speaker labels、who spoke when、speaker separation、speaker segmentation

说话人分离把一整块转写文本变成一段对话:客服,然后客户,然后又是客服。

工作原理

说话人分离流水线通常分三个阶段:

  1. 找出语音。 语音活动检测标出哪里有人在说话。
  2. 对短窗口做嵌入。 说话人嵌入模型把每个切片转换成一个能刻画声音特征的向量。
  3. 聚类。 向量相似的切片得到相同的标签;在模型支持的情况下,还会处理重叠语音。

Hugging Face 上开源的 pyannote speaker-diarization-3.1 流水线接收 16 kHz 的单声道音频(会把立体声混为单声道,并对其他采样率重新采样),结果以 RTTM 格式输出。RTTM 是一种纯文本格式,每个说话人轮次一行,每行给出文件、声道、开始时间、时长和说话人标签:

SPEAKER call42 1 0.00 4.21 <NA> <NA> SPEAKER_00 <NA> <NA>
SPEAKER call42 1 4.35 2.80 <NA> <NA> SPEAKER_01 <NA> <NA>

它的模型卡按基准报告说话人分离错误率(DER),从 REPERE 上的 7.8% 到 AVA-AVD 上的 50.0%,VoxConverse 上为 11.3%。这种差距说明结果非常依赖音频:会议、电视节目和电话录音的表现各不相同。

有些托管 API 会替你完成这一步。OpenAI 的语音转文字指南记录了一个说话人分离模型 gpt-4o-transcribe-diarize,它的 diarized_json 响应中,各片段带有 speaker、start 和 end 字段,还可以为最多四位已知说话人提供 2 到 10 秒的参考音频。OpenAI 已把该模型列为弃用,将于 2027 年 2 月 26 日停用;它的指南(2026-11-15 查阅)没有为其他任何模型记录说话人标签功能。

为什么重要

  • 呼叫中心和访谈。 质检、合规和摘要都需要知道谁说了什么。
  • 后续的大模型处理。 带有 “Agent:” 和 “Customer:” 轮次的摘要提示词,比一整堵文字墙得到的回答更好。
  • 费用。 说话人分离需要额外算力,不同服务商有的单独计价,有的打包在内。语音转文字 API 价格索引注明了哪些服务商对此额外收费。

在 BroadNet Inference 上

BroadNet 的文档没有列出说话人分离功能。转写端点只返回 {"text": "..."},没有说话人标签,也没有时间戳。一个实用的做法是:在本地运行 pyannote 等开源说话人分离工具,用 ffmpeg 在每个说话人轮次处切分音频,然后把每个片段连同 language 参数发送给 BroadNet Transcribe Arabic 或 BroadNet Transcribe。如果双方分别在立体声的两个声道上,直接拆分声道即可,根本不需要模型。完整流程参见呼叫中心录音转写。

常见问题

说话人分离能告诉我说话人的名字吗?

不能。它返回的是 SPEAKER_00、SPEAKER_01 这样的匿名标签。有些 API,例如 OpenAI 的 gpt-4o-transcribe-diarize(已弃用,将于 2027 年 2 月 26 日停用),可以根据你提供的简短参考音频,把最多四位说话人对应起来。

BroadNet 的转写 API 支持说话人分离吗?

BroadNet 的文档没有列出说话人分离功能。该端点以 {"text": ...} 的形式返回转写文本,如果需要区分说话人轮次,请另外运行一个说话人分离模型。

说话人分离的准确率怎么衡量?

用说话人分离错误率(DER):把误报、漏检语音和说话人混淆的时长相加,再除以参考语音的总时长。越低越好。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity