Kadar ralat perkataan (WER) ialah bilangan perkataan yang diganti, dipadam dan disisipkan dibahagi dengan bilangan perkataan dalam transkrip yang betul. Lebih rendah lebih baik. WER bahasa Arab mudah melambung: transkrip betul yang sama boleh ditulis dalam beberapa cara, dan perbandingan naif mengira setiap pilihan ejaan, diakritik dan ejaan dialek sebagai kesilapan.
Artikel ini menerangkan apa yang diukur oleh WER, mengapa bahasa Arab menjadikannya licin, dan cara mengiranya supaya angka anda bermakna. Untuk membina set ujian itu sendiri, lihat pengecaman pertuturan dialek Arab; untuk memilih penyedia, lihat panduan pembeli API speech-to-text bahasa Arab.
Apakah itu kadar ralat perkataan?
Kadar ralat perkataan membandingkan transkrip mesin (hipotesis) dengan transkrip manusia yang betul (rujukan). Ia mencari bilangan minimum suntingan perkataan yang mengubah satu menjadi yang lain:
- S, penggantian (substitutions): perkataan yang diganti dengan perkataan lain.
- D, pemadaman (deletions): perkataan rujukan yang tiada dalam hipotesis.
- I, sisipan (insertions): perkataan tambahan dalam hipotesis.
Kemudian:
WER = (S + D + I) / N, dengan N ialah bilangan perkataan dalam rujukan.
WER 0.10 (sering ditulis sebagai 10) bermaksud kira-kira satu ralat bagi setiap sepuluh perkataan rujukan. Lebih rendah lebih baik. Oleh sebab sisipan dikira, WER boleh melebihi 100% bagi transkrip yang penuh dengan perkataan rekaan.
Kadar ralat aksara (CER) ialah formula yang sama pada aksara. Ia berguna untuk bahasa Arab, di mana satu huruf salah dalam awalan menjadikan seluruh perkataan dikira salah.
Mengapakah WER bahasa Arab sukar dibandingkan?
1. Diakritik
Vokal pendek bahasa Arab ditulis sebagai tanda pilihan (tashkeel) di atas dan di bawah huruf: fatha, damma, kasra, sukun, shadda dan tanween. Teks harian tidak menggunakannya. Jika rujukan anda mengandungi “مَدْرَسَةٌ” dan model menulis “مدرسة”, perbandingan ketat mengira satu penggantian, walaupun mana-mana pembaca bahasa Arab melihat perkataan yang sama.
2. Varian ejaan
Beberapa huruf mempunyai varian biasa yang diterima:
| Variasi | Contoh | Normalisasi biasa |
|---|---|---|
| Hamza pada alef | أحمد / احمد, إلى / الى | Petakan أ إ آ kepada ا |
| Ta marbuta berbanding ha | مدرسة / مدرسه | Petakan ة kepada ه |
| Alef maqsura berbanding ya | على / علي (dalam penulisan longgar) | Petakan ى kepada ي |
| Tanween dengan alef | صباحاً / صباحا | Buang diakritik |
| Tatweel (pemanjangan) | جـمـيـل / جميل | Buang ـ |
3. Klitik dan sempadan perkataan
Bahasa Arab mencantumkan kata hubung, kata sendi dan kata ganti nama pada perkataan: “وبمدرستهم” bermaksud “and in their school” (dan di sekolah mereka) dalam satu perkataan bertulis. Jika model menulis “و بمدرستهم” dengan ruang, bilangan perkataan berubah dan WER menghukumnya dua kali. Sesetengah penilaian memecahkan perkataan kepada morfem dahulu; kebanyakannya tidak. Ketahui yang mana satu sedang anda baca.
4. Dialek
Tiada ejaan piawai untuk pertuturan dialek, tidak seperti bahasa Arab Standard Moden. Penutur Mesir yang berkata “I want” (saya mahu) mungkin ditranskripsikan “عايز” atau “عاوز”; “what” (apa) penutur Teluk mungkin “وش” atau “ويش”. Sesetengah penyalin juga “membetulkan” dialek ke MSA. Setiap satu ini ialah ralat WER walaupun maknanya sempurna. Itu sebahagian besar sebab WER dialek jauh lebih tinggi daripada WER pertuturan yang dibaca.
5. Nombor dan pertukaran kod
Penutur sering beralih ke bahasa Inggeris di tengah ayat (pertukaran kod). Adakah ia “٢٥”, “25” atau “خمسة وعشرين”? Adakah nama jenama Inggeris ditulis dalam skrip Rumi atau huruf Arab? Tetapkan satu konvensyen, gunakannya pada rujukan, dan normalkan hipotesis mengikutnya.
Sebanyak manakah normalisasi mengubah skor?
Rujukan: ذهبت إلى المدرسة صباحاً (“I went to school in the morning”, Saya pergi ke sekolah pada waktu pagi)
Hipotesis: ذهبت الى المدرسه صباحا
Tanpa normalisasi, tiga daripada empat perkataan berbeza (إلى/الى, المدرسة/المدرسه, صباحاً/صباحا): WER 75%. Selepas menormalkan kedua-dua teks, ia serupa: WER 0%. Transkrip sama, kualiti sama, dan angkanya bergerak daripada teruk kepada sempurna. Inilah sebabnya angka WER tanpa peraturan normalisasinya tidak banyak memberitahu.
Bagaimanakah mengira WER bahasa Arab dalam Python?
import re
import jiwer # pip install jiwer
DIACRITICS = re.compile(r"[ً-ْٰ]") # tanween, harakat, shadda, sukun, dagger alef
PUNCT = re.compile(r"[^\w\s]")
def normalise_ar(text: str) -> str:
text = DIACRITICS.sub("", text)
text = text.replace("ـ", "") # tatweel
text = re.sub("[أإآٱ]", "ا", text)
text = text.replace("ى", "ي").replace("ة", "ه")
text = text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
text = PUNCT.sub(" ", text)
return " ".join(text.split())
refs = ["ذهبت إلى المدرسة صباحاً"]
hyps = ["ذهبت الى المدرسه صباحا"]
print("raw WER:", jiwer.wer(refs, hyps))
print("normalised WER:", jiwer.wer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
print("normalised CER:", jiwer.cer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
Gunakan fungsi yang betul-betul sama pada rujukan dan hipotesis, bagi setiap model yang anda bandingkan. Terbitkannya di sebelah angka anda.
Berapakah WER bahasa Arab yang dilaporkan oleh BroadNet?
BroadNet menerbitkan pengukuran makmal bagi BroadNet Transcribe Arabic dalam katalog modelnya:
| Set ujian | Apakah ia | WER dilaporkan oleh BroadNet |
|---|---|---|
| FLEURS-ar | Ayat yang dibaca dengan jelas | 3.8 |
| MASC-ar | Pertuturan Arab dunia sebenar yang bercampur | 21.1 |
| Set dialek BroadNet | Pertuturan dialek | 23.4 |
BroadNet juga melaporkan model ini di #2 daripada 37 (angka September 2026; papan kedudukan langsung menyenaraikannya di #4 daripada 39 pada 15 November 2026) pada Open Universal Arabic ASR Leaderboard, dan #1 dalam kalangan model yang lesennya membenarkan perkhidmatan melalui API. Ini angka BroadNet, bukan audit bebas. Papan pendahulu itu menggunakan satu persediaan penilaian bagi setiap model, yang menjadikan kedudukannya lebih mudah dibandingkan berbanding angka daripada halaman vendor yang berasingan.
Baca julatnya, bukan sekadar angka terbaik. Lonjakan daripada 3.8 kepada 23.4 ialah jurang antara pertuturan yang dibaca dan dialek spontan bagi satu model, jadi uji setiap calon pada kedua-dua jenis audio. Audio anda sendiri, sama ada talian pusat panggilan, nota suara WhatsApp atau mesyuarat, akan jatuh di suatu tempat dalam julat itu, dan hanya ujian yang boleh memberitahu di mana.
Bagaimanakah mengukur WER pada audio anda sendiri?
- Ambil sampel mengikut keadaan. Kumpulkan klip mengikut dialek dan saluran (telefon, nota suara, studio). Kaedah set ujian dialek membincangkan saiz sampel dan konvensyen ejaan.
- Transkripsikan dengan setiap calon. Untuk BroadNet, hantar
language=ar; tanpanya, bahasa Arab mungkin dipulangkan dalam bentuk transliterasi huruf Rumi. Panduan speech-to-text bahasa Arab mengandungi kodnya, dan kredit permulaan $5 meliputi kira-kira 1,190 minit audio. - Normalkan dan skor. Gunakan fungsi di atas, laporkan WER dan CER bagi setiap kumpulan.
- Baca ralatnya. Isih penggantian mengikut kekerapan. Jika ralat teratas ialah nama, jumlah wang atau kod produk, kesan perniagaannya lebih besar daripada yang dicadangkan oleh skor.
Apakah yang patut diukur selain WER?
WER melayan setiap perkataan secara sama rata, tetapi produk anda tidak. Bot sokongan mementingkan niat; aliran kerja invois mementingkan nombor; pasukan pematuhan mementingkan frasa tertentu. Tambah metrik tugas di sebelah WER: ketepatan niat selepas LLM membaca transkrip, atau padanan tepat pada jumlah yang diekstrak. Model dengan WER sedikit lebih tinggi masih boleh menang jika ralatnya jatuh pada perkataan yang tidak penting.
Bagi sisi kos, masukkan jam audio bulanan anda ke dalam kalkulator kos speech-to-text percuma, dan lihat perbezaan model bahasa Arab dan model 14 bahasa dalam BroadNet Transcribe vs Transcribe Arabic.
