BroadRouter

単語誤り率(WER、word error rate)

更新日

単語誤り率(WER)とは、音声認識の標準的な精度指標です。書き起こしを正しい参照テキストに直すのに必要な単語の置換・削除・挿入の数を、参照テキストの単語数で割って求めます。値が低いほど良好です。

別名: 単語誤り率、単語エラー率、音声認識 精度、文字起こし 精度、認識率、WER、word error rate、ASR accuracy、transcription accuracy、word accuracy

WER はひとつの問いに答えます。話された 100 語のうち、書き起こしは何語を間違えたか?

仕組み

モデルの書き起こしを、人が作った正しい参照テキストと位置合わせし、3 種類の誤りを数えます。

  • S 置換(substitution):正しい単語の代わりに別の単語が入った;
  • D 削除(deletion):話されたのに抜けている単語;
  • I 挿入(insertion):話されていないのに現れた単語。

WER = (S + D + I) / N。N は参照テキストの単語数です。

例です。参照テキストは “please send the invoice to our office today”(8 語)。書き起こしは “please send an invoice to office today now” でした。

誤り 数
“the” → “an” 置換 1
“our” が欠落 削除 1
“now” が追加 挿入 1

WER = 3 / 8 = 0.375、つまり 37.5% です。ウィキペディアは、WER は単語レベルの編集距離であり、挿入に上限がないため “can be larger than 1.0.”(訳:1.0 を超えることがある)と述べています。

Python の jiwer パッケージなどで計算できます。先に両方のテキストを正規化してください。大文字小文字、句読点、数字を数字で書くか単語で書くか、アラビア語ではさらにダイアクリティカルマークと alef や yaa の字形です。正規化の選び方だけで、スコアが目に見えて変わることがあります。

なぜ重要か

  • モデルの比較。 WER はリーダーボードやベンダーの主張で共通に使われる指標なので、音声認識 API を選ぶときの最初のふるいになります。
  • あなたの音声は違う。 同じモデルでも、読み上げ音声と方言の電話音声ではスコアが大きく異なることがあります。アラビア語では、現代標準アラビア語と方言の音声で数字が変わります。自分のものに近い録音でテストしてください。
  • 誤りの重みは同じではない。 WER はすべての単語を同じに扱います。間違った口座番号も、“the” が 1 つ抜けたのと同じ 1 個の誤りです。スコアだけでなく、書き起こしも読んでください。

BroadNet Inference では

BroadNet は BroadNet Transcribe Arabic について独自のラボ測定値を公表しています。

テストセット 内容 WER(%)
FLEURS-ar クリアな読み上げ文 3.8
MASC-ar 実環境の多様なアラビア語音声 21.1
BroadNet 方言セット 方言の音声 23.4

3.8 と 23.4 の差は、自分でテストすることの大切さを示しています。BroadNet はまた、このモデルの Open Universal Arabic ASR Leaderboard での順位を 37 件中 2 位 (2026年9月時点の数値。2026年11月15日のライブのリーダーボードでは 39 件中 4 位) と報告しています。$5 の初回クレジットで約 1,190 分のアラビア語音声を処理でき、テストセットには十分です。購入ガイドには 1 時間のテスト計画が、アラビア語ガイドにはコードがあります。

よくある質問

良い単語誤り率はどのくらいですか?

音声によります。クリアな読み上げ音声なら 1 桁台も出せますが、同じモデルでも雑音の多い会話や方言の音声では大幅に高くなりがちです。モデルは同じテストセット、できれば自分の録音で比べてください。

WER は 100% を超えることがありますか?

あります。挿入は誤りとして数えますが、分母は参照の単語数だけなので、余計な単語が多い書き起こしは 1.0 を超えることがあります。

WER はパーセントと小数のどちらで書きますか?

どちらもよく使われます。0.211 と 21.1 は通常同じ意味で、参照 100 語あたり約 21 個の誤りです。出典がどちらを使っているか確認してください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く