BroadRouter

词错误率(WER,word error rate)

更新于

词错误率(WER)是语音识别的标准准确率指标:把转写结果改成正确参考文本所需的替换、删除和插入词数,除以参考文本的词数。数值越低越好。

又称: 词错率、字词错误率、语音识别准确率、转写准确率、WER、word error rate、ASR accuracy、transcription accuracy、word accuracy

WER 回答一个问题:一个人说的每 100 个词里,转写结果错了几个?

工作原理

把模型的转写结果与人工给出的正确参考文本对齐,再统计三类错误:

  • S 替换(substitution):用错误的词替代了正确的词;
  • D 删除(deletion):说了但缺失的词;
  • I 插入(insertion):没说却出现的词。

WER = (S + D + I) / N,其中 N 是参考文本的词数。

示例。参考文本是 “please send the invoice to our office today”(8 个词)。转写结果为 “please send an invoice to office today now”:

错误 数量
“the” → “an” 1 个替换
缺少 “our” 1 个删除
多出 “now” 1 个插入

WER = 3 / 8 = 0.375,即 37.5%。维基百科指出,WER 是词级别的编辑距离,而且由于插入没有上限,它 “can be larger than 1.0.”(译文:可能大于 1.0。)

jiwer 这类 Python 包可以计算 WER。请先对两段文本做规范化:大小写、标点、数字写成阿拉伯数字还是单词;阿拉伯语还要处理变音符号以及 alef 和 yaa 的写法。仅规范化方式的不同,就可能让分数明显变化。

为什么重要

  • 比较模型。 WER 是排行榜和厂商宣传中的通用指标,所以选择语音转文字 API 时,它是第一道筛选。
  • 你的音频不一样。 同一个模型在朗读语音和方言电话录音上的得分可能相差很大。对阿拉伯语而言,现代标准阿拉伯语和方言音频会得出不同的数字。请用与你的场景相似的录音测试。
  • 错误并不等价。 WER 对每个词一视同仁。一个错误的账号算一个错误,和少了一个 “the” 一样。别只看分数,要读转写文本。

在 BroadNet Inference 上

BroadNet 公布了 BroadNet Transcribe Arabic 的自家实验室测量结果:

测试集 内容 WER(%)
FLEURS-ar 干净的朗读句子 3.8
MASC-ar 混合的真实场景阿拉伯语语音 21.1
BroadNet 方言集 方言语音 23.4

3.8 与 23.4 之间的差距说明了自己测试的重要性。BroadNet 还报告该模型在 Open Universal Arabic ASR Leaderboard 上排名 第 2 名(共 37 个) (这是 2026年9月的数据;2026年11月15日实时榜单上为 39 个中的第 4 名)。$5 初始额度可覆盖约 1,190 分钟的阿拉伯语音频,足够做一个测试集。选购指南给出了一小时的测试计划,阿拉伯语指南提供了代码。

常见问题

词错误率多少算好?

取决于音频。干净的朗读语音可以达到个位数,而同一个模型在嘈杂的对话或方言音频上往往高得多。请在同一个测试集上比较模型,最好是你自己的录音。

WER 会超过 100% 吗?

会。插入错误会被计入,但分母只有参考文本的词数,所以多出很多词的转写结果得分可能超过 1.0。

WER 用百分比还是小数表示?

两种都常见。0.211 和 21.1 通常是同一个意思,即每 100 个参考词约有 21 个错误。请确认来源用的是哪一种。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity