単語誤り率(WER)は、置換・削除・挿入された単語の数を、正しい書き起こしの単語数で割った値です。低いほど良い指標です。アラビア語の WER は簡単に高く出てしまいます。同じ正しい書き起こしにも複数の書き方があり、素朴な比較ではあらゆる表記の選択、ダイアクリティカルマーク、方言の綴りが誤りとして数えられるからです。
この記事では、WER が何を測るのか、アラビア語ではなぜ扱いにくいのか、そして意味のある数値にするにはどう計算すればよいかを説明します。テストセット自体の作り方はアラビア語方言の音声認識を、プロバイダーの選び方はアラビア語音声認識 API の選び方ガイドを参照してください。
単語誤り率とは?
単語誤り率は、機械による書き起こし(仮説)と、人による正しい書き起こし(正解)を比較します。一方をもう一方に変えるのに必要な、単語単位の最小の編集回数を求めます。
- **S、置換:**単語が別の単語に置き換わったもの。
- **D、削除:**正解にある単語が仮説にないもの。
- **I、挿入:**仮説に余分な単語があるもの。
そして次のように計算します。
WER = (S + D + I) / N(N は正解の単語数)
WER 0.10(10 と書かれることも多い)は、正解 10 語あたり約 1 つの誤りを意味します。低いほど良い値です。挿入も数えるため、捏造された単語だらけの書き起こしでは WER が 100% を超えることもあります。
文字誤り率(CER)は、同じ式を文字単位で計算するものです。接頭辞の 1 文字が違うだけで単語全体が誤りとされるアラビア語では、役に立ちます。
アラビア語の WER はなぜ比較しにくいのですか?
1. ダイアクリティカルマーク
アラビア語の短母音は、文字の上下に付ける任意の記号(tashkeel)で書かれます。fatha、damma、kasra、sukun、shadda、tanween です。日常のテキストでは省略されます。正解が「مَدْرَسَةٌ」でモデルが「مدرسة」と書いた場合、アラビア語の読み手なら誰でも同じ単語だとわかるのに、厳密な比較では置換として数えられます。
2. 表記ゆれ
いくつかの文字には、一般的で許容されている異表記があります。
| ゆれ | 例 | 一般的な正規化 |
|---|---|---|
| alef 上の hamza | أحمد / احمد、إلى / الى | أ إ آ を ا に変換 |
| ta marbuta と ha | مدرسة / مدرسه | ة を ه に変換 |
| alef maqsura と ya | على / علي(くだけた表記で) | ى を ي に変換 |
| alef 付きの tanween | صباحاً / صباحا | ダイアクリティカルマークを除去 |
| tatweel(引き伸ばし) | جـمـيـل / جميل | ـ を削除 |
3. 接語と単語の境界
アラビア語では、接続詞、前置詞、代名詞が単語に付きます。「وبمدرستهم」は、1 つの書かれた単語で「そして彼らの学校で」を意味します。モデルが「و بمدرستهم」と空白を入れて書くと単語数が変わり、WER は 2 回ペナルティを科します。単語を先に形態素に分割する評価もありますが、多くはそうしません。読んでいる数値がどちらなのかを把握してください。
4. 方言
現代標準アラビア語と違い、方言の音声には標準的な綴りがありません。エジプトの話者の「欲しい」は「عايز」とも「عاوز」とも書き起こされ、湾岸の話者の「何」は「وش」とも「ويش」とも書かれます。方言を MSA に「訂正」する書き起こし者もいます。意味が完全に正しくても、どれも WER の誤りになります。方言の WER が読み上げ音声の WER よりはるかに高い理由の大部分はここにあります。
5. 数字とコードスイッチング
話者は文の途中で英語に切り替えることがよくあります(コードスイッチング)。「٢٥」なのか「25」なのか「خمسة وعشرين」なのか。英語のブランド名はラテン文字で書くのか、アラビア文字で書くのか。ルールを決めて正解に適用し、仮説もそれに合わせて正規化してください。
正規化でスコアはどれくらい変わりますか?
正解:ذهبت إلى المدرسة صباحاً(「朝、学校に行った」)
仮説:ذهبت الى المدرسه صباحا
正規化しないと、4 語中 3 語が異なります(إلى/الى、المدرسة/المدرسه、صباحاً/صباحا)。**WER 75%。**両方のテキストを正規化すると完全に一致します。**WER 0%。**同じ書き起こし、同じ品質なのに、数値は最悪から完璧に変わりました。正規化のルールが付いていない WER の数値からわかることが少ないのは、このためです。
Python でアラビア語の WER を計算するには?
import re
import jiwer # pip install jiwer
DIACRITICS = re.compile(r"[ً-ْٰ]") # tanween, harakat, shadda, sukun, dagger alef
PUNCT = re.compile(r"[^\w\s]")
def normalise_ar(text: str) -> str:
text = DIACRITICS.sub("", text)
text = text.replace("ـ", "") # tatweel
text = re.sub("[أإآٱ]", "ا", text)
text = text.replace("ى", "ي").replace("ة", "ه")
text = text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
text = PUNCT.sub(" ", text)
return " ".join(text.split())
refs = ["ذهبت إلى المدرسة صباحاً"]
hyps = ["ذهبت الى المدرسه صباحا"]
print("raw WER:", jiwer.wer(refs, hyps))
print("normalised WER:", jiwer.wer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
print("normalised CER:", jiwer.cer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
比較するすべてのモデルについて、正解と仮説にまったく同じ関数を適用してください。その関数を数値と一緒に公開してください。
BroadNet はアラビア語の WER をどう報告していますか?
BroadNet は、モデルカタログで BroadNet Transcribe Arabic のラボ測定値を公開しています。
| テストセット | 内容 | BroadNet が報告する WER |
|---|---|---|
| FLEURS-ar | クリーンな読み上げ文 | 3.8 |
| MASC-ar | さまざまな実環境のアラビア語音声 | 21.1 |
| BroadNet の方言セット | 方言音声 | 23.4 |
BroadNet はまた、このモデルが Open Universal Arabic ASR Leaderboard で 37 件中 2 位(2026年9月時点の数値。2026年11月15日のライブのリーダーボードでは 39 件中 4 位)、API での提供がライセンス上認められているモデルの中では 1 位だと報告しています。これらは BroadNet の数値であり、独立した監査ではありません。このリーダーボードはすべてのモデルに同じ評価設定を適用するため、ベンダーごとのページの個別の数値より順位を比較しやすくなっています。
最良の数値だけでなく、幅を見てください。3.8 から 23.4 への跳ね上がりは、1 つのモデルにおける読み上げ音声と自発的な方言音声の差です。そのため、すべての候補を両方の種類の音声でテストしてください。コールセンターの通話、WhatsApp のボイスメッセージ、会議など、自社の音声はこの範囲のどこかに収まり、どこに収まるかはテストしなければわかりません。
自社の音声で WER を測るには?
- **条件ごとにサンプリングする。**クリップを方言とチャネル(電話、ボイスメッセージ、スタジオ)でグループ分けします。サンプルサイズと綴りのルールは方言テストセットの作り方で扱っています。
- **各候補で書き起こす。**BroadNet では
language=arを送ってください。送らないと、アラビア語がラテン文字に音訳されて返ってくることがあります。コードはアラビア語音声認識ガイドにあり、$5 の初回クレジットで約 1,190 分の音声を処理できます。 - **正規化して採点する。**上の関数を使い、グループごとに WER と CER を報告します。
- **誤りを読む。**置換を頻度順に並べます。上位の誤りが名前、金額、製品コードなら、ビジネスへの影響はスコアが示すより大きくなります。
WER 以外に何を測るべきですか?
WER はすべての単語を同じように扱いますが、製品はそうではありません。サポートボットは意図を、請求ワークフローは数字を、コンプライアンスチームは特定の言い回しを重視します。WER の隣にタスク指標を加えてください。LLM が書き起こしを読んだ後の意図の正解率や、抽出した金額の完全一致などです。WER がわずかに高いモデルでも、誤りが重要でない単語に集中していれば勝つことがあります。
コスト面は、月間の音声時間を無料の音声認識コスト計算ツールに入力し、アラビア語モデルと 14 言語モデルの違いを BroadNet Transcribe と Transcribe Arabic の比較で確認してください。
