BroadRouter
开始使用

语音活动检测(VAD)

更新于

语音活动检测(VAD)是一种信号处理步骤,把音频切成短帧并判断每帧是否为语音。语音系统用它跳过静音、在停顿处切分长录音、判断说话人是否说完,并避免转写背景噪声。

又称: 语音端点检测、端点检测、静音检测、人声检测、语音检测、voice activity detection、VAD、speech activity detection、speech detection、silence detection

VAD 每秒要回答很多次同一个问题:这一小段音频里有人在说话吗?

工作原理

音频被切成短帧,每帧被标记为语音或非语音。最常用的两个开源检测器体现了典型参数:

WebRTC VAD Silero VAD
类型 来自 Google WebRTC 项目的经典检测器 预训练神经网络模型,MIT 许可
采样率 8、16、32 或 48 kHz 8 或 16 kHz
帧或块 10、20 或 30 ms 30+ ms
音频格式 仅限 16 位单声道 PCM 见仓库文档
调节 激进度 0(过滤最少)到 3(最多) 见仓库示例
速度 小巧的 C 代码 单个 CPU 线程上每块不到 1 ms;模型约 2 MB

帧长与采样率是相关联的。每秒 16,000 个样本时,30 ms 的帧为 16,000 x 0.030 = 480 个样本,即 16 位音频的 960 字节。逐帧的原始标签会来回跳动,因此工具会做平滑:先要有几百毫秒的语音才开启一个片段,并要有一段静音才关闭它。

托管 API 用的是同样的思路。OpenAI 的语音转文字指南允许对超过 30 秒的音频把 chunking_strategy 设为 auto 或一个 VAD 配置,适用于其说话人分离模型;指南已将该模型列为弃用。

为什么重要

  • 费用。 语音转文字 API 通常按音频分钟计费。上传前去掉长时间静音,计费分钟数就会减少。
  • 延迟。 上传的音频越少,请求越小,需要处理的内容也越少。
  • 文件大小限制。 文件太大、一次请求放不下时,在停顿处而不是按固定时间切分,可以避免把一个词切成两半。
  • 语音机器人。 检测一轮发言何时结束,决定了机器人回复得有多快。

VAD 也是说话人分离的第一步。

在 BroadNet Inference 上

BroadNet 的文档没有说明 /v1/audio/transcriptions 的 VAD 设置或去除静音的选项。你上传最大 26,214,400 字节的 WAV 或 MP3,得到 {"text": ...}。如果音频中有很长的空白(语音消息和通话录音常常如此),请在本地运行 WebRTC VAD 或 Silero VAD,保留有语音的部分再发送。WhatsApp 语音消息指南介绍了用 ffmpeg 转成两个检测器都接受的 16 kHz 单声道音频。转写按分钟计价,BroadNet Transcribe Arabic 为 $0.0042;用语音转文字费用计算器可以看出去掉的分钟能省多少。

常见问题

有哪些好用的开源 VAD?

常见的两个选择:WebRTC VAD,一个小巧的经典检测器,激进度模式为 0 到 3;以及 Silero VAD,一个采用 MIT 许可、约 2 MB 的神经网络模型,在单个 CPU 线程上处理一个 30 毫秒以上的音频块用时不到 1 毫秒。

BroadNet 会对我的音频做 VAD 吗?

BroadNet 的文档没有说明任何 VAD 设置。如果需要自己控制,请在上传前于本地去除静音或在停顿处切分。

VAD 怎么降低语音转文字的费用?

按分钟计费的 API 按你发送的音频计费。如果一段录音有 40% 是静音,而你只发送有语音的部分,就只需支付约 60% 的分钟数。请保留短暂停顿,以免词语被截断。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity