BroadRouter
始める

文字誤り率(CER、character error rate)

更新日

文字誤り率(CER)とは、書き起こしや OCR の精度を文字単位で測る指標で、出力を参照テキストに直すのに必要な置換・削除・挿入の数を、参照テキストの文字数で割ったものです。低いほど良く、0 は完全一致です。

別名: 文字誤り率、文字エラー率、CER 指標、音声認識 評価指標、CER、character error rate

WER は、何単語間違えたかを問います。CER は、何文字間違えたかを問います。アラビア語では、こちらのほうが公平な問いであることがよくあります。

しくみ

CER は、単語誤り率と同じ編集距離の考え方を文字に適用したものです。Hugging Face の指標カードは次の式を示しています。

CER = (S + D + I) / N。S は置換、D は削除、I は挿入の数で、N は参照テキストの文字数です(N = S + D + C、C は正しい文字の数)。

アラビア語の具体例です。参照テキストは「وبالكتاب」(「そしてその本で」、1 単語、8 文字)。書き起こしは「وبلكتاب」で、アリフが 1 つ抜けています。

指標 誤り 参照の単位 スコア
WER 誤った単語 1 つ 1 単語 1.0(100%)
CER 削除された文字 1 つ 8 文字 0.125(12.5%)

WER では、1 文字抜けただけで単語全体が誤りになります。CER を見れば、書き起こしがほぼ正しかったことがわかります。

Python では、jiwer パッケージの jiwer.cer(reference, hypothesis) で計算でき、jiwer.process_characters はアラインメントも返します。WER と同じく、まず両方を正規化してください。句読点、空白、そしてアラビア語では発音記号やアリフ、ヤーの形です。アラビア語テキストの正規化を参照してください。

なぜ重要か

  • アラビア語の形態。 アラビア語では、接続詞、前置詞、代名詞が接語として単語にくっつくので、英語なら 3〜4 語で書く内容を 1 単語が担うことがあります。接頭辞の 1 文字を誤るだけで、WER では 1 単語まるごとの誤りになります。CER では 1 文字分として扱われます。
  • 単語をスペースで区切らない言語。 WER には単語の境界が必要です。Hugging Face のカードは、CER が “especially for multilingual datasets where WER is not suitable given the diversity of languages.”(訳:言語が多様なために WER が適さない多言語データセットでは特に)有用だとしています。
  • 誤りの種類。 WER が高く CER が低いモデルは、単語をほぼ正しく捉えています。綴り、ハムザ、接語の小さなずれで、正規化や修正ステップで直せるかもしれません。CER が高い場合は、単語や内容そのものを取りこぼしています。
  • OCR にも使える。 同じ指標で画像から読み取ったテキストも採点できるので、OCR のパイプラインを比べるときにも役立ちます。

指標カードは、CER では誤りが起きる理由まではわからないとも注意しています。スコアと合わせて、書き起こしのサンプルを読んでください。

BroadNet Inference の場合

BroadNet が BroadNet Transcribe Arabic と BroadNet Transcribe について公開しているのは WER で、CER ではありません。CER を得るには、自分の録音でテストセットを作って書き起こし、自分で採点してください。アラビア語 WER の解説記事には正規化関数と、WER と CER の両方を出力する jiwer のスクリプトがあり、アラビア語音声認識のガイドにはリクエストのコードがあります。language=ar は必ず送ってください。指定しないと、アラビア語がラテン文字に音訳されて返ってくることがあり、どちらのスコアも台無しになります。

よくある間違い

  • スペースの数え方が一定でない。 スペースを文字として数えるかどうかを決め、比べるすべてのモデルに同じルールを適用してください。
  • CER を他人の WER と比べる。 尺度が違います。同じもの同士で比べてください。

よくある質問

CER が 100% を超えることはありますか?

あります。Hugging Face の指標カードは、分母が参照テキストの文字数だけなので、特に書き起こしに挿入が多いと、CER は必ずしも 0 から 1 の間に収まらないと述べています。

アラビア語では CER と WER のどちらを報告すべきですか?

両方を報告してください。リーダーボードやベンダーが示すのは WER なので、比較には WER が必要です。CER は、誤りが単語まるごとなのか、ところどころの 1 文字や接語なのかを示し、これは WER では見えません。

BroadNet は書き起こしモデルの CER を公開していますか?

いいえ。BroadNet が公開しているのは WER だけです。CER が必要なら、jiwer などのツールで自分のテストセットを採点してください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く