Ang word error rate (WER) ay ang bilang ng napalitan, nabura at nadagdag na salita na hinati sa bilang ng salita sa tamang transcript. Mas mababa, mas mahusay. Madaling mapalaki ang Arabic WER: puwedeng isulat sa iba’t ibang paraan ang parehong tamang transcript, at binibilang ng simpleng paghahambing ang bawat pagpili ng spelling, diacritic at dialect spelling bilang mali.
Ipinapaliwanag ng post na ito kung ano ang sinusukat ng WER, bakit madulas ito sa Arabic, at paano ito kuwentahin para may kahulugan ang mga numero mo. Para bumuo ng mismong test set, tingnan ang Arabic dialect speech recognition; para pumili ng provider, tingnan ang buyer’s guide sa Arabic speech-to-text API.
Ano ang word error rate?
Ikinukumpara ng word error rate ang machine transcript (ang hypothesis) sa tamang transcript na gawa ng tao (ang reference). Hinahanap nito ang pinakamaliit na bilang ng word edit na magpapabago sa isa para maging ang isa pa:
- S, substitutions: salitang napalitan ng ibang salita.
- D, deletions: salita sa reference na wala sa hypothesis.
- I, insertions: dagdag na salita sa hypothesis.
Kaya:
WER = (S + D + I) / N, kung saan ang N ay ang bilang ng salita sa reference.
Ang WER na 0.10 (madalas isulat na 10) ay nangangahulugang mga isang error kada sampung salita sa reference. Mas mababa, mas mahusay. Dahil binibilang ang mga insertion, puwedeng lumampas sa 100% ang WER ng transcript na puno ng inimbentong salita.
Ang character error rate (CER) ay parehong formula pero sa mga character. Kapaki-pakinabang ito sa Arabic, kung saan nagiging mali ang buong salita dahil sa iisang maling letra sa prefix.
Bakit mahirap ikumpara ang Arabic WER?
1. Diacritics
Isinusulat ang maiikling patinig ng Arabic bilang opsyonal na marka (tashkeel) sa itaas at ibaba ng mga letra: fatha, damma, kasra, sukun, shadda at tanween. Hindi ito isinasama sa pang-araw-araw na text. Kung “مَدْرَسَةٌ” ang nasa reference mo at “مدرسة” ang isinulat ng model, bibilangin ito ng mahigpit na paghahambing bilang substitution, kahit parehong salita ang nakikita ng sinumang marunong magbasa ng Arabic.
2. Mga variant ng spelling
May mga karaniwan at tinatanggap na variant ang ilang letra:
| Variant | Halimbawa | Karaniwang normalisation |
|---|---|---|
| Hamza sa alef | أحمد / احمد, إلى / الى | I-map ang أ إ آ sa ا |
| Ta marbuta laban sa ha | مدرسة / مدرسه | I-map ang ة sa ه |
| Alef maqsura laban sa ya | على / علي (sa maluwag na pagsulat) | I-map ang ى sa ي |
| Tanween na may alef | صباحاً / صباحا | Tanggalin ang diacritic |
| Tatweel (pagpapahaba) | جـمـيـل / جميل | Tanggalin ang ـ |
3. Clitic at hangganan ng salita
Ikinakabit ng Arabic sa salita ang mga pangatnig, pang-ukol at panghalip: ang “وبمدرستهم” ay “and in their school” (at sa kanilang paaralan) sa iisang nakasulat na salita. Kung “و بمدرستهم” na may space ang isinulat ng model, nagbabago ang bilang ng salita at dalawang beses itong pinaparusahan ng WER. May mga evaluation na hinahati muna ang mga salita sa morpheme; karamihan ay hindi. Alamin kung alin ang binabasa mo.
4. Mga dialect
Walang standard na spelling ang dialect speech, hindi tulad ng Modern Standard Arabic. Ang “I want” (gusto ko) ng isang Egyptian ay puwedeng i-transcribe na “عايز” o “عاوز”; ang “what” (ano) ng isang taga-Gulf ay puwedeng “وش” o “ويش”. May mga transcriber din na “itinatama” ang dialect papunta sa MSA. WER error ang bawat isa rito kahit perpekto ang kahulugan. Malaking bahagi iyan ng dahilan kung bakit mas mataas nang malaki ang dialect WER kaysa sa WER ng binasang speech.
5. Numero at code-switching
Madalas lumipat sa English ang mga nagsasalita sa gitna ng pangungusap (code-switching). “٢٥”, “25” o “خمسة وعشرين” ba ito? Isinusulat ba sa Latin na script o sa Arabic na letra ang English na brand name? Magpasya ng convention, ilapat ito sa reference, at i-normalise ang hypothesis ayon dito.
Gaano kalaki ang nababago ng normalisation sa score?
Reference: ذهبت إلى المدرسة صباحاً (“I went to school in the morning”, Pumasok ako sa paaralan kaninang umaga)
Hypothesis: ذهبت الى المدرسه صباحا
Kung walang normalisation, tatlo sa apat na salita ang magkaiba (إلى/الى, المدرسة/المدرسه, صباحاً/صباحا): WER 75%. Pagkatapos i-normalise ang dalawang text, magkapareho na sila: WER 0%. Parehong transcript, parehong kalidad, at lumipat ang numero mula sa napakasama papunta sa perpekto. Ito ang dahilan kung bakit kaunti lang ang sinasabi ng WER figure na walang kasamang patakaran sa normalisation.
Paano kuwentahin ang Arabic WER sa Python?
import re
import jiwer # pip install jiwer
DIACRITICS = re.compile(r"[ً-ْٰ]") # tanween, harakat, shadda, sukun, dagger alef
PUNCT = re.compile(r"[^\w\s]")
def normalise_ar(text: str) -> str:
text = DIACRITICS.sub("", text)
text = text.replace("ـ", "") # tatweel
text = re.sub("[أإآٱ]", "ا", text)
text = text.replace("ى", "ي").replace("ة", "ه")
text = text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
text = PUNCT.sub(" ", text)
return " ".join(text.split())
refs = ["ذهبت إلى المدرسة صباحاً"]
hyps = ["ذهبت الى المدرسه صباحا"]
print("raw WER:", jiwer.wer(refs, hyps))
print("normalised WER:", jiwer.wer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
print("normalised CER:", jiwer.cer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
Ilapat ang eksaktong parehong function sa mga reference at hypothesis, para sa bawat model na ikinukumpara mo. Ilathala ito katabi ng mga numero mo.
Anong WER ang iniuulat ng BroadNet para sa Arabic?
Naglalathala ang BroadNet ng mga lab measurement para sa BroadNet Transcribe Arabic sa model catalogue nito:
| Test set | Ano ito | WER ayon sa BroadNet |
|---|---|---|
| FLEURS-ar | Malinis na binasang pangungusap | 3.8 |
| MASC-ar | Halo-halong totoong Arabic speech | 21.1 |
| Dialect set ng BroadNet | Dialect speech | 23.4 |
Iniuulat din ng BroadNet na nasa ika-2 sa 37 (datos noong Setyembre 2026; sa live na ranggo noong Nobyembre 15, 2026, ika-4 sa 39 ito) ang model sa Open Universal Arabic ASR Leaderboard, at #1 sa mga model na pinapayagan ng lisensya na i-serve sa pamamagitan ng API. Mga figure ito ng BroadNet, hindi independiyenteng audit. Iisang evaluation setup ang ginagamit ng leaderboard sa bawat model, kaya mas maikukumpara ang mga ranggo nito kaysa sa mga numero mula sa magkakahiwalay na vendor page.
Basahin ang agwat, hindi lang ang pinakamagandang numero. Ang pagtalon mula 3.8 hanggang 23.4 ay ang agwat ng binasang speech at kusang dialect para sa iisang model, kaya i-test ang bawat kandidato sa dalawang uri ng audio. Babagsak sa isang lugar sa range na iyon ang sarili mong audio, call-centre man, WhatsApp voice note o meeting, at test lang ang makapagsasabi kung saan.
Paano sukatin ang WER sa sarili mong audio?
- Mag-sample ayon sa kondisyon. Igrupo ang mga clip ayon sa dialect at channel (telepono, voice note, studio). Tinatalakay ng paraan ng dialect test set ang laki ng sample at mga convention sa spelling.
- Mag-transcribe gamit ang bawat kandidato. Para sa BroadNet, ipadala ang
language=ar; kung wala ito, puwedeng bumalik ang Arabic na naka-transliterate sa Latin na letra. Nasa gabay sa Arabic speech-to-text ang code, at sakop ng $5 na panimulang credit ang mga 1,190 minuto ng audio. - I-normalise at i-score. Gamitin ang function sa itaas, at iulat ang WER at CER kada grupo.
- Basahin ang mga error. Ayusin ang mga substitution ayon sa dalas. Kung pangalan, halaga o product code ang mga nangungunang error, mas malaki ang epekto sa negosyo kaysa sa ipinapahiwatig ng score.
Ano pa ang dapat sukatin bukod sa WER?
Pantay-pantay ang turing ng WER sa bawat salita, pero hindi ganoon ang produkto mo. Intent ang mahalaga sa support bot; numero ang mahalaga sa invoicing workflow; partikular na parirala ang mahalaga sa compliance team. Magdagdag ng task metric katabi ng WER: intent accuracy pagkatapos basahin ng LLM ang transcript, o exact match sa mga nakuhang halaga. Puwede pa ring manalo ang model na bahagyang mas mataas ang WER kung sa mga salitang hindi mahalaga bumabagsak ang mga error nito.
Para sa gastos, ilagay ang buwanang oras ng audio mo sa libreng speech-to-text cost calculator, at tingnan kung paano nagkakaiba ang Arabic at 14-wikang model sa BroadNet Transcribe vs Transcribe Arabic.
