Tinatanong ng WER kung ilang salita ang mali. Tinatanong ng CER kung ilang titik ang mali, na kadalasang mas patas na tanong para sa Arabic.
Paano ito gumagana
Parehong ideya ng edit distance ang gamit ng CER at ng word error rate, pero sa mga character. Ibinibigay ng metric card ng Hugging Face ang formula:
CER = (S + D + I) / N, kung saan S ang substitutions, D ang deletions, I ang insertions at N ang bilang ng character sa reference (N = S + D + C, kung saan C ang mga tamang character).
Isang halimbawa sa Arabic. Ang reference ay “وبالكتاب” (“at sa pamamagitan ng libro”, isang salita, 8 titik). Ang transcript ay “وبلكتاب”, kulang ng isang alef:
| Metric | Mga error | Mga unit sa reference | Score |
|---|---|---|---|
| WER | 1 maling salita | 1 salita | 1.0 (100%) |
| CER | 1 nawalang titik | 8 character | 0.125 (12.5%) |
Sa WER, mali na ang buong salita dahil sa isang nawawalang titik. Ipinapakita ng CER na halos tama ang transcript.
Sa Python, kinukuwenta ito ng jiwer package gamit ang jiwer.cer(reference, hypothesis), at ibinabalik din ng jiwer.process_characters ang alignment. I-normalize muna ang dalawang panig, gaya sa WER: punctuation, spacing, at para sa Arabic, diacritics at mga anyo ng alef o yaa. Tingnan ang Arabic text normalization.
Bakit ito mahalaga
- Morphology ng Arabic. Idinidikit ng Arabic ang mga conjunction, preposition at pronoun sa salita bilang clitic, kaya puwedeng dalhin ng isang salita ang isinusulat ng English bilang tatlo o apat. Isang buong salita ang kapalit ng isang maling titik sa prefix sa WER. Isang character lang ang bigat nito sa CER.
- Mga wikang walang espasyo. Kailangan ng WER ng hangganan ng salita. Ayon sa card ng Hugging Face, kapaki-pakinabang ang CER “especially for multilingual datasets where WER is not suitable given the diversity of languages.” (Salin ng BroadRouter: “lalo na para sa mga multilingual na dataset kung saan hindi angkop ang WER dahil sa dami ng wika.”)
- Uri ng error. Kapag mataas ang WER pero mababa ang CER, halos tama ang mga salita ng model: mga slip sa spelling, hamza o clitic na puwedeng maayos ng normalization o ng correction step. Kapag mataas ang CER, buong salita o nilalaman ang nawawala sa model.
- OCR din. Parehong metric ang nagsi-score sa text na binasa mula sa mga larawan, kaya kapaki-pakinabang ito kapag nagkukumpara ka ng mga OCR pipeline.
Nagbababala rin ang metric card na hindi sinasabi ng CER kung bakit nangyayari ang mga error. Basahin ang mga sample na transcript kasabay ng score.
Sa BroadNet Inference
WER, hindi CER, ang inilalathala ng BroadNet para sa BroadNet Transcribe Arabic at BroadNet Transcribe. Para makakuha ng CER, i-transcribe ang test set ng sarili mong mga recording at ikaw mismo ang mag-score. May normalization function at jiwer script na nagpi-print ng WER at CER sa post na Arabic WER explained, at nasa gabay sa Arabic speech-to-text ang code ng request. Laging ipadala ang language=ar: kapag wala ito, puwedeng bumalik ang Arabic na naka-transliterate sa Latin na titik, na sumisira sa parehong score.
Mga karaniwang pagkakamali
- Hindi pare-parehong pagbibilang ng espasyo. Magpasya kung bibilangin bilang character ang mga espasyo at gamitin ang parehong rule sa bawat model na ikinukumpara mo.
- Pagkumpara ng CER sa WER ng iba. Magkaibang scale ang mga ito. Ikumpara ang magkauri.