---
title: "Arabic WER: ano ang word error rate sa Arabic ASR | BroadRouter"
description: "Ano ang ibig sabihin ng word error rate, paano ito kinukuwenta, at bakit sensitibo ang Arabic WER sa diacritics, spelling at dialect. May Python at totoong numero."
url: https://broadrouter.com/fil/blog/arabic-asr-wer-explained/
lang: fil
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/blog/arabic-asr-wer-explained/) (na-update noong 2026-11-14).

# Arabic ASR word error rate (WER), ipinaliwanag

Ng BroadNet Inference team · 5 minutong basa · Nailathala 2026-11-14

Ang word error rate (WER) ay ang bilang ng napalitan, nabura at nadagdag na salita na hinati sa bilang ng salita sa reference transcript. Mas mababa, mas mahusay. Mahirap ikumpara ang Arabic WER dahil pinalalaki ito ng diacritics, spelling ng alef at ta marbuta, at mga dialect. Ayon sa BroadNet, 3.8 ang WER ng BroadNet Transcribe Arabic sa FLEURS-ar at 23.4 sa dialect speech.

## Mga pangunahing punto

-   WER = (substitutions + deletions + insertions) / bilang ng salita sa reference. Puwede itong lumampas sa 100%.
-   Puwedeng mabilang na error ang mga variant ng Arabic spelling (أ/إ/ا, ة/ه, ى/ي, diacritics) maliban kung ino-normalise mo muna ang dalawang text.
-   Laging sabihin ang normalisation na ginamit mo. Hindi maikukumpara ang dalawang WER number na magkaiba ang normalisation.
-   Ayon sa BroadNet, 3.8 sa FLEURS-ar, 21.1 sa MASC-ar at 23.4 sa sarili nitong dialect set ang BroadNet Transcribe Arabic.
-   Basahin ang mga error, hindi lang ang score: mas mahalaga ang isang maling digit sa halaga kaysa sa sampung maling particle.

**Sa page na ito**

1.  Ano ang word error rate?
2.  Bakit mahirap ikumpara ang Arabic WER?
3.  Gaano kalaki ang nababago ng normalisation sa score?
4.  Paano kuwentahin ang Arabic WER sa Python?
5.  Anong WER ang iniuulat ng BroadNet para sa Arabic?
6.  Paano sukatin ang WER sa sarili mong audio?
7.  Ano pa ang dapat sukatin bukod sa WER?

Ang [word error rate](https://broadrouter.com/fil/glossary/word-error-rate/) (WER) ay ang bilang ng napalitan, nabura at nadagdag na salita na hinati sa bilang ng salita sa tamang transcript. Mas mababa, mas mahusay. Madaling mapalaki ang Arabic WER: puwedeng isulat sa iba’t ibang paraan ang parehong tamang transcript, at binibilang ng simpleng paghahambing ang bawat pagpili ng spelling, diacritic at dialect spelling bilang mali.

Ipinapaliwanag ng post na ito kung ano ang sinusukat ng WER, bakit madulas ito sa Arabic, at paano ito kuwentahin para may kahulugan ang mga numero mo. Para bumuo ng mismong test set, tingnan ang [Arabic dialect speech recognition](https://broadrouter.com/fil/blog/arabic-dialect-speech-recognition/); para pumili ng provider, tingnan ang [buyer’s guide sa Arabic speech-to-text API](https://broadrouter.com/fil/blog/arabic-speech-to-text-api-buyers-guide/).

## Ano ang word error rate?

Ikinukumpara ng word error rate ang machine transcript (ang hypothesis) sa tamang transcript na gawa ng tao (ang reference). Hinahanap nito ang pinakamaliit na bilang ng word edit na magpapabago sa isa para maging ang isa pa:

-   **S, substitutions:** salitang napalitan ng ibang salita.
-   **D, deletions:** salita sa reference na wala sa hypothesis.
-   **I, insertions:** dagdag na salita sa hypothesis.

Kaya:

**WER = (S + D + I) / N**, kung saan ang N ay ang bilang ng salita sa reference.

Ang WER na 0.10 (madalas isulat na 10) ay nangangahulugang mga isang error kada sampung salita sa reference. Mas mababa, mas mahusay. Dahil binibilang ang mga insertion, puwedeng lumampas sa 100% ang WER ng transcript na puno ng inimbentong salita.

Ang character error rate (CER) ay parehong formula pero sa mga character. Kapaki-pakinabang ito sa Arabic, kung saan nagiging mali ang buong salita dahil sa iisang maling letra sa prefix.

## Bakit mahirap ikumpara ang Arabic WER?

### 1\. Diacritics

Isinusulat ang maiikling patinig ng Arabic bilang opsyonal na marka (tashkeel) sa itaas at ibaba ng mga letra: fatha, damma, kasra, sukun, shadda at tanween. Hindi ito isinasama sa pang-araw-araw na text. Kung “مَدْرَسَةٌ” ang nasa reference mo at “مدرسة” ang isinulat ng model, bibilangin ito ng mahigpit na paghahambing bilang substitution, kahit parehong salita ang nakikita ng sinumang marunong magbasa ng Arabic.

### 2\. Mga variant ng spelling

May mga karaniwan at tinatanggap na variant ang ilang letra:

| Variant | Halimbawa | Karaniwang normalisation |
| --- | --- | --- |
| Hamza sa alef | أحمد / احمد, إلى / الى | I-map ang أ إ آ sa ا |
| Ta marbuta laban sa ha | مدرسة / مدرسه | I-map ang ة sa ه |
| Alef maqsura laban sa ya | على / علي (sa maluwag na pagsulat) | I-map ang ى sa ي |
| Tanween na may alef | صباحاً / صباحا | Tanggalin ang diacritic |
| Tatweel (pagpapahaba) | جـمـيـل / جميل | Tanggalin ang ـ |

### 3\. Clitic at hangganan ng salita

Ikinakabit ng Arabic sa salita ang mga pangatnig, pang-ukol at panghalip: ang “وبمدرستهم” ay “and in their school” (at sa kanilang paaralan) sa iisang nakasulat na salita. Kung “و بمدرستهم” na may space ang isinulat ng model, nagbabago ang bilang ng salita at dalawang beses itong pinaparusahan ng WER. May mga evaluation na hinahati muna ang mga salita sa morpheme; karamihan ay hindi. Alamin kung alin ang binabasa mo.

### 4\. Mga dialect

Walang standard na spelling ang dialect speech, hindi tulad ng [Modern Standard Arabic](https://broadrouter.com/fil/glossary/msa/). Ang “I want” (gusto ko) ng isang Egyptian ay puwedeng i-transcribe na “عايز” o “عاوز”; ang “what” (ano) ng isang taga-Gulf ay puwedeng “وش” o “ويش”. May mga transcriber din na “itinatama” ang dialect papunta sa MSA. WER error ang bawat isa rito kahit perpekto ang kahulugan. Malaking bahagi iyan ng dahilan kung bakit mas mataas nang malaki ang dialect WER kaysa sa WER ng binasang speech.

### 5\. Numero at code-switching

Madalas lumipat sa English ang mga nagsasalita sa gitna ng pangungusap ([code-switching](https://broadrouter.com/fil/glossary/code-switching/)). “٢٥”, “25” o “خمسة وعشرين” ba ito? Isinusulat ba sa Latin na script o sa Arabic na letra ang English na brand name? Magpasya ng convention, ilapat ito sa reference, at i-normalise ang hypothesis ayon dito.

## Gaano kalaki ang nababago ng normalisation sa score?

Reference: **ذهبت إلى المدرسة صباحاً** (“I went to school in the morning”, Pumasok ako sa paaralan kaninang umaga)

Hypothesis: **ذهبت الى المدرسه صباحا**

Kung walang normalisation, tatlo sa apat na salita ang magkaiba (إلى/الى, المدرسة/المدرسه, صباحاً/صباحا): **WER 75%.** Pagkatapos i-normalise ang dalawang text, magkapareho na sila: **WER 0%.** Parehong transcript, parehong kalidad, at lumipat ang numero mula sa napakasama papunta sa perpekto. Ito ang dahilan kung bakit kaunti lang ang sinasabi ng WER figure na walang kasamang patakaran sa normalisation.

## Paano kuwentahin ang Arabic WER sa Python?

```python
import re
import jiwer  # pip install jiwer

DIACRITICS = re.compile(r"[ً-ْٰ]")   # tanween, harakat, shadda, sukun, dagger alef
PUNCT = re.compile(r"[^\w\s]")

def normalise_ar(text: str) -> str:
    text = DIACRITICS.sub("", text)
    text = text.replace("ـ", "")                # tatweel
    text = re.sub("[أإآٱ]", "ا", text)
    text = text.replace("ى", "ي").replace("ة", "ه")
    text = text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
    text = PUNCT.sub(" ", text)
    return " ".join(text.split())

refs = ["ذهبت إلى المدرسة صباحاً"]
hyps = ["ذهبت الى المدرسه صباحا"]

print("raw WER:", jiwer.wer(refs, hyps))
print("normalised WER:", jiwer.wer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
print("normalised CER:", jiwer.cer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
```

Ilapat ang eksaktong parehong function sa mga reference at hypothesis, para sa bawat model na ikinukumpara mo. Ilathala ito katabi ng mga numero mo.

## Anong WER ang iniuulat ng BroadNet para sa Arabic?

Naglalathala ang BroadNet ng mga lab measurement para sa [BroadNet Transcribe Arabic](https://broadrouter.com/fil/models/cohere-transcribe-arabic/) sa [model catalogue](https://www.broadnet.ai/inference/models) nito:

| Test set | Ano ito | WER ayon sa BroadNet |
| --- | --- | --- |
| FLEURS-ar | Malinis na binasang pangungusap | 3.8 |
| MASC-ar | Halo-halong totoong Arabic speech | 21.1 |
| Dialect set ng BroadNet | Dialect speech | 23.4 |

Iniuulat din ng BroadNet na nasa ika-2 sa 37 (datos noong Setyembre 2026; sa live na ranggo noong Nobyembre 15, 2026, ika-4 sa 39 ito) ang model sa [Open Universal Arabic ASR Leaderboard](https://huggingface.co/spaces/elmresearchcenter/open_universal_arabic_asr_leaderboard), at #1 sa mga model na pinapayagan ng lisensya na i-serve sa pamamagitan ng API. Mga figure ito ng BroadNet, hindi independiyenteng audit. Iisang evaluation setup ang ginagamit ng leaderboard sa bawat model, kaya mas maikukumpara ang mga ranggo nito kaysa sa mga numero mula sa magkakahiwalay na vendor page.

Basahin ang agwat, hindi lang ang pinakamagandang numero. Ang pagtalon mula 3.8 hanggang 23.4 ay ang agwat ng binasang speech at kusang dialect para sa iisang model, kaya i-test ang bawat kandidato sa dalawang uri ng audio. Babagsak sa isang lugar sa range na iyon ang sarili mong audio, call-centre man, WhatsApp voice note o meeting, at test lang ang makapagsasabi kung saan.

## Paano sukatin ang WER sa sarili mong audio?

1.  **Mag-sample ayon sa kondisyon.** Igrupo ang mga clip ayon sa dialect at channel (telepono, voice note, studio). Tinatalakay ng [paraan ng dialect test set](https://broadrouter.com/fil/blog/arabic-dialect-speech-recognition/) ang laki ng sample at mga convention sa spelling.
2.  **Mag-transcribe gamit ang bawat kandidato.** Para sa BroadNet, ipadala ang `language=ar`; kung wala ito, puwedeng bumalik ang Arabic na naka-transliterate sa Latin na letra. Nasa [gabay sa Arabic speech-to-text](https://broadrouter.com/fil/guides/arabic-speech-to-text-api/) ang code, at sakop ng $5 na panimulang credit ang mga 1,190 minuto ng audio.
3.  **I-normalise at i-score.** Gamitin ang function sa itaas, at iulat ang WER at CER kada grupo.
4.  **Basahin ang mga error.** Ayusin ang mga substitution ayon sa dalas. Kung pangalan, halaga o product code ang mga nangungunang error, mas malaki ang epekto sa negosyo kaysa sa ipinapahiwatig ng score.

## Ano pa ang dapat sukatin bukod sa WER?

Pantay-pantay ang turing ng WER sa bawat salita, pero hindi ganoon ang produkto mo. Intent ang mahalaga sa support bot; numero ang mahalaga sa invoicing workflow; partikular na parirala ang mahalaga sa compliance team. Magdagdag ng task metric katabi ng WER: intent accuracy pagkatapos basahin ng LLM ang transcript, o exact match sa mga nakuhang halaga. Puwede pa ring manalo ang model na bahagyang mas mataas ang WER kung sa mga salitang hindi mahalaga bumabagsak ang mga error nito.

Para sa gastos, ilagay ang buwanang oras ng audio mo sa libreng [speech-to-text cost calculator](https://broadrouter.com/tools/speech-to-text-cost-calculator/), at tingnan kung paano nagkakaiba ang Arabic at 14-wikang model sa [BroadNet Transcribe vs Transcribe Arabic](https://broadrouter.com/compare/cohere-transcribe-vs-cohere-transcribe-arabic/).

Mga libreng tool para rito (Ingles)

-   [Arabic token counter](https://broadrouter.com/tools/arabic-token-counter/) Arabic vs English token counts per tokenizer: the "Arabic tax" in tokens and money.
-   [Arabic text normalizer](https://broadrouter.com/tools/arabic-text-normalizer/) Tashkeel, tatweel, alef, ya, ta marbuta, digits and invisible characters, with a matching Python function.
-   [Speech-to-text cost calculator](https://broadrouter.com/tools/speech-to-text-cost-calculator/) Hours, calls or voice notes to a monthly transcription bill, against your current provider.

[Libreng tools (Ingles)](https://broadrouter.com/tools/)

## Mga termino sa artikulong ito

[Word error rate (WER)](https://broadrouter.com/fil/glossary/word-error-rate/)

Ang word error rate (WER) ay ang karaniwang sukatan ng accuracy sa speech recognition: ang bilang ng substitution, deletion at insertion ng salita na kailangan para gawing tamang reference ang isang transcript, hinati sa bilang ng salita sa reference. Mas mababa, mas maganda.

[Speech-to-text (STT)](https://broadrouter.com/fil/glossary/speech-to-text/)

Ang speech-to-text, na tinatawag ding automatic speech recognition (ASR), ay teknolohiyang ginagawang nakasulat na text ang binigkas na audio. Tumatanggap ang speech-to-text API ng audio file o stream at nagbabalik ng transcript, kadalasang may presyo kada minuto ng audio. Sinusukat ang accuracy gamit ang word error rate, at nag-iiba ito ayon sa accent, dialect at kalidad ng recording.

[Character error rate (CER)](https://broadrouter.com/fil/glossary/character-error-rate/)

Sinusukat ng character error rate (CER) ang accuracy ng transcription o OCR sa antas ng character: ang mga substitution, deletion at insertion na kailangan para maging reference text ang output, hinati sa bilang ng character sa reference. Mas mababa, mas maganda, at 0 ang perpektong match.

[Modern Standard Arabic (MSA)](https://broadrouter.com/fil/glossary/msa/)

Ang Modern Standard Arabic (MSA) ay ang standardized na anyo ng Arabic na ginagamit sa pagsulat, balita, edukasyon at pormal na pananalita sa buong mundong Arabo. Hindi ito katutubong pang-araw-araw na wika ninuman: mga rehiyonal na dialect gaya ng Egyptian o Gulf Arabic ang sinasalita, at lumilipat sa MSA sa pormal na sitwasyon.

[Code-switching](https://broadrouter.com/fil/glossary/code-switching/)

Ang code-switching ay ang paggamit ng dalawa o higit pang wika, o ng mga variety ng iisang wika, sa iisang usapan o pangungusap, sa pagsasalita man o pagsulat. Halimbawa nito ang mga nagsasalita ng Arabic na naghahalo ng English sa dialect, o nagpapalipat-lipat sa Modern Standard Arabic at sa dialect nila.

[Arabic diacritics (tashkeel)](https://broadrouter.com/fil/glossary/arabic-diacritics/)

Ang Arabic diacritics, o tashkeel, ay maliliit na markang isinusulat sa itaas o ibaba ng mga titik para ipakita ang maiikling patinig, dobleng katinig at kawalan ng patinig. Opsyonal ang mga ito: wala ang mga ito sa karamihan ng Arabic text, pati sa balita, kaya hinuhulaan ng mambabasa at ng software ang patinig mula sa context.

[Arabic text normalization](https://broadrouter.com/fil/glossary/arabic-text-normalization/)

Ang Arabic text normalization ay ang hakbang na nagmamapa sa iisang anyo ng mga variant ng spelling ng parehong salita bago ang matching: pagtatanggal ng diacritics at tatweel, pag-iisa ng mga anyo ng alef, at kadalasang pagmapa ng ى sa ي at ة sa ه. Ginagamit ito sa search key at evaluation, hindi sa text na ipinapakita mo.

[Dialectal Arabic (mga dialect ng Arabic)](https://broadrouter.com/fil/glossary/dialectal-arabic/)

Ang dialectal Arabic ay ang pang-araw-araw na sinasalitang Arabic ng isang rehiyon o lungsod, gaya ng Egyptian, Gulf, Levantine o Maghrebi Arabic. Naiiba ang mga dialect sa Modern Standard Arabic sa tunog, salita at grammar, walang standard na spelling, at lalong isinusulat online, kaya mas mahirap ang mga ito para sa mga language model.

## Mga tanong

### Ano ang magandang Arabic WER?

Sa malinis na binasang speech, kayang maabot ang single digit; ayon sa BroadNet, 3.8 sa FLEURS-ar. Sa totoong audio at dialect, asahan ang mas mataas na numero; ayon sa BroadNet, 21.1 sa MASC-ar at 23.4 sa dialect set nito. Ikumpara ang mga model sa sarili mong audio gamit ang parehong normalisation.

### Dapat ko bang tanggalin ang diacritics bago kuwentahin ang Arabic WER?

Kadalasan, oo. Karamihan ng Arabic ay isinusulat nang walang marka ng maikling patinig, at hindi pare-pareho ang pagdagdag ng mga model nito. Tanggalin ang mga ito sa reference at hypothesis maliban kung kailangan ng produkto mo ng text na may patinig.

### Ano ang CER at kailan ito dapat gamitin?

Ang character error rate ay parehong kuwenta pero sa mga character sa halip na salita. Hindi ito kasing-higpit sa Arabic, kung saan nagiging mali ang buong salita dahil sa isang maling letra sa prefix, at kapaki-pakinabang ito katabi ng WER.

### Puwede bang lumampas sa 100% ang WER?

Oo. Binibilang na error ang mga insertion, kaya ang model na nag-iimbento ng maraming dagdag na salita ay puwedeng magkaroon ng mas maraming error kaysa sa bilang ng salita sa reference.

### Paano ko kukuwentahin ang WER para sa Arabic sa Python?

I-install ang jiwer, i-normalise ang reference at ang output ng model gamit ang parehong function (tanggalin ang diacritics at tatweel, pag-isahin ang alef, yaa at ta marbuta, i-convert ang Eastern Arabic na digit), saka tawagin ang jiwer.wer(references, hypotheses). Iulat ang normalisation katabi ng score.

### Bakit mas mataas ang Arabic WER kaysa sa English WER?

Bahagi nito ay tunay na hirap (dialect, clitic, code-switching) at bahagi ay scoring: may mga tinatanggap na variant ng spelling at opsyonal na diacritics ang Arabic, at binibilang na error ang bawat isa sa mahigpit na paghahambing. Natatanggal ng pag-normalise sa dalawang text ang bahaging scoring.

## Magbasa pa

-   [Arabic speech-to-text API: paano pumili sa 2026](https://broadrouter.com/fil/blog/arabic-speech-to-text-api-buyers-guide/)
-   [Paano i-transcribe ang call center recording: pipeline para sa Arabic](https://broadrouter.com/fil/blog/transcribe-call-center-recordings/)
-   [Arabic RAG: normalisation, chunking at retrieval na gumagana](https://broadrouter.com/fil/blog/arabic-rag-search/)
-   [Multilingual speech-to-text API: 14 na wika, iisang endpoint](https://broadrouter.com/fil/blog/multilingual-speech-to-text-api/)
-   [Diacritics sa Arabic text gamit ang LLM: prompt, check at DER](https://broadrouter.com/fil/blog/arabic-diacritization-llm/)
-   [Arabic grammar at spelling correction gamit ang LLM: paano gawin](https://broadrouter.com/fil/blog/arabic-grammar-spelling-correction-llm/)
-   [Gabay: Arabic speech-to-text API: gabay na hakbang-hakbang](https://broadrouter.com/fil/guides/arabic-speech-to-text-api/)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-blog-arabic-asr-wer-explained&utm_content=page-cta) ·

**Mga source**

-   [Model catalogue ng BroadNet, speech-to-text: WER at ranggo sa leaderboard ayon sa ulat ng BroadNet (sinuri noong 2026-11-14) (Ingles)](https://www.broadnet.ai/inference/models)
-   [Open Universal Arabic ASR Leaderboard, Hugging Face Space (sinuri noong 2026-11-14)](https://huggingface.co/spaces/elmresearchcenter/open_universal_arabic_asr_leaderboard)
-   [Wang, Alhmoud at Alqurishi, Open Universal Arabic ASR Leaderboard (Interspeech 2025; sinuri noong 2026-11-14)](https://www.isca-archive.org/interspeech_2025/wang25_interspeech.html)
-   [Conneau et al., FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech (arXiv; sinuri noong 2026-11-14)](https://arxiv.org/abs/2205.12446)
-   [jiwer, isang Python package para sa WER at CER (sinuri noong 2026-11-14)](https://github.com/jitsi/jiwer)
