转写稿告诉你说了什么,时间戳告诉你在录音的哪个位置能找到它。
工作原理
大多数 ASR 系统提供两个层级:
- 片段级。 每个短语一个时间范围,例如
{"text": " Hi there!", "timestamp": (0.5, 1.5)}。 - 词级。 每个词一个时间范围,例如
hi在 0.5 到 0.9 秒,there在 1.0 到 1.5 秒。
Hugging Face 的 ASR pipeline 通过 return_timestamps 同时提供这两种:对 Whisper 来说,True 返回片段,"word" 返回词;Wav2Vec2 等 CTC 模型还支持 "char"。结果以 chunks 返回,每个都带 text 和一个 (start, end) 元组。文档指出,Whisper 的词级时间是在交叉注意力权重上用动态时间规整估算出来的,是近似值而不是测量值。
托管 API 也是同样的模式。OpenAI 的语音转文字指南介绍了取值为 word 或 segment 的 timestamp_granularities[],需搭配 response_format: "verbose_json" 使用,并且只为已弃用的 whisper-1 模型记录了这项功能;现有集成可以继续使用该模型,直到它于 2027 年 2 月 26 日停用。
curl https://api.openai.com/v1/audio/transcriptions \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-F model=whisper-1 -F file=@call.mp3 \
-F response_format=verbose_json \
-F "timestamp_granularities[]=word"
为什么重要
- 字幕。 SRT 和 VTT 文件的每一行字幕都需要开始和结束时间。
- 搜索与质检。 质检人员可以直接跳到投诉开始的那一秒,而不必听完整通电话;参见转写呼叫中心录音。
- 说话人轮次。 把转写稿与说话人分离的结果合并,靠的就是对齐时间。
- 数据量。 词级输出比纯文本长得多,如果之后还要作为 token 交给大模型,这一点就很重要。
在 BroadNet Inference 上
BroadNet 的文档没有提到时间戳。/v1/audio/transcriptions 以 {"text": "..."} 返回转写稿,也没有列出 timestamp_granularities 选项。BroadNet 的 /v1/models 元数据(2026-11-15 查阅)把 verbose_json 列为一种响应格式,但没有说明它是否带有片段或词级时间,所以依赖它之前请先测试。如果只需要粗略的时间,可以自己切分音频,例如在语音活动检测(VAD)找到的停顿处切,或者切成固定长度的片段,并记录每段的起始偏移。每段的文字就继承这个偏移。这样得到的是句子级的时间,足够在通话里来回跳转,但做不到逐帧精确的字幕。每一段都要向 BroadNet Transcribe Arabic 或 BroadNet Transcribe 发送 language。如果词级时间是硬性要求,请使用对齐工具,或者文档中明确支持它的模型。