BroadRouter

时间戳(语音转文字,timestamps)

更新于

语音转文字中的时间戳,是附在转写片段上的开始和结束时间,单位为秒。片段级时间戳覆盖一个短语或句子,词级时间戳覆盖每个词。制作字幕、在录音中搜索以及把文字与说话人对齐都需要它。

又称: 词级时间戳、句级时间戳、片段时间戳、字级时间戳、语音识别时间戳、ASR 时间戳、word timestamps、word-level timestamps、segment timestamps、timestamp_granularities、ASR timestamps

转写稿告诉你说了什么,时间戳告诉你在录音的哪个位置能找到它。

工作原理

大多数 ASR 系统提供两个层级:

  • 片段级。 每个短语一个时间范围,例如 {"text": " Hi there!", "timestamp": (0.5, 1.5)}。
  • 词级。 每个词一个时间范围,例如 hi 在 0.5 到 0.9 秒,there 在 1.0 到 1.5 秒。

Hugging Face 的 ASR pipeline 通过 return_timestamps 同时提供这两种:对 Whisper 来说,True 返回片段,"word" 返回词;Wav2Vec2 等 CTC 模型还支持 "char"。结果以 chunks 返回,每个都带 text 和一个 (start, end) 元组。文档指出,Whisper 的词级时间是在交叉注意力权重上用动态时间规整估算出来的,是近似值而不是测量值。

托管 API 也是同样的模式。OpenAI 的语音转文字指南介绍了取值为 word 或 segment 的 timestamp_granularities[],需搭配 response_format: "verbose_json" 使用,并且只为已弃用的 whisper-1 模型记录了这项功能;现有集成可以继续使用该模型,直到它于 2027 年 2 月 26 日停用。

curl https://api.openai.com/v1/audio/transcriptions \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -F model=whisper-1 -F file=@call.mp3 \
  -F response_format=verbose_json \
  -F "timestamp_granularities[]=word"

为什么重要

  • 字幕。 SRT 和 VTT 文件的每一行字幕都需要开始和结束时间。
  • 搜索与质检。 质检人员可以直接跳到投诉开始的那一秒,而不必听完整通电话;参见转写呼叫中心录音。
  • 说话人轮次。 把转写稿与说话人分离的结果合并,靠的就是对齐时间。
  • 数据量。 词级输出比纯文本长得多,如果之后还要作为 token 交给大模型,这一点就很重要。

在 BroadNet Inference 上

BroadNet 的文档没有提到时间戳。/v1/audio/transcriptions 以 {"text": "..."} 返回转写稿,也没有列出 timestamp_granularities 选项。BroadNet 的 /v1/models 元数据(2026-11-15 查阅)把 verbose_json 列为一种响应格式,但没有说明它是否带有片段或词级时间,所以依赖它之前请先测试。如果只需要粗略的时间,可以自己切分音频,例如在语音活动检测(VAD)找到的停顿处切,或者切成固定长度的片段,并记录每段的起始偏移。每段的文字就继承这个偏移。这样得到的是句子级的时间,足够在通话里来回跳转,但做不到逐帧精确的字幕。每一段都要向 BroadNet Transcribe Arabic 或 BroadNet Transcribe 发送 language。如果词级时间是硬性要求,请使用对齐工具,或者文档中明确支持它的模型。

常见问题

词级时间戳和片段级时间戳有什么区别?

片段级时间戳为一个包含一个或多个词的短语给出一组开始和结束时间。词级时间戳为每个词都给出时间范围,字幕编辑器和搜索工具需要它。

BroadNet 的转写 API 会返回时间戳吗?

文档中没有时间戳。响应只有 {"text": ...},所以如果需要大致的时间,请把音频切成分段,并记录每段的偏移量。

没有词级时间戳,怎么做字幕?

在停顿处把音频切成短段,逐段转写,并用每段的开始和结束偏移作为字幕时间。这样得到短语级的时间,对很多字幕文件已经够用,但做不到逐帧精确。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity