Word error rate (WER) adalah jumlah kata yang diganti, dihapus, dan disisipkan dibagi jumlah kata di transkrip yang benar. Makin rendah makin baik. WER bahasa Arab mudah menggelembung: transkrip benar yang sama bisa ditulis dengan beberapa cara, dan perbandingan naif menghitung setiap pilihan ejaan, harakat, dan ejaan dialek sebagai kesalahan.
Artikel ini menjelaskan apa yang diukur WER, kenapa bahasa Arab membuatnya licin, dan cara menghitungnya agar angka Anda bermakna. Untuk membangun set ujinya, lihat speech recognition dialek bahasa Arab; untuk memilih penyedia, lihat panduan membeli API speech-to-text bahasa Arab.
Apa itu word error rate?
Word error rate membandingkan transkrip mesin (hipotesis) dengan transkrip manusia yang benar (referensi). WER mencari jumlah minimum suntingan kata yang mengubah satu menjadi yang lain:
- S, substitusi: kata yang diganti dengan kata lain.
- D, penghapusan (deletion): kata referensi yang hilang dari hipotesis.
- I, penyisipan (insertion): kata tambahan di hipotesis.
Lalu:
WER = (S + D + I) / N, dengan N adalah jumlah kata di referensi.
WER 0,10 (sering ditulis 10) berarti kira-kira satu kesalahan per sepuluh kata referensi. Makin rendah makin baik. Karena penyisipan ikut dihitung, WER bisa melampaui 100% untuk transkrip yang penuh kata karangan.
Character error rate (CER) adalah rumus yang sama per karakter. CER berguna untuk bahasa Arab, di mana satu huruf salah pada prefiks membuat seluruh kata dihitung salah.
Kenapa WER bahasa Arab sulit dibandingkan?
1. Harakat
Vokal pendek bahasa Arab ditulis sebagai tanda opsional (tasykil) di atas dan di bawah huruf: fathah, dammah, kasrah, sukun, syaddah, dan tanwin. Teks sehari-hari tidak menuliskannya. Jika referensi Anda berisi “مَدْرَسَةٌ” dan model menulis “مدرسة”, perbandingan ketat menghitung satu substitusi, padahal setiap pembaca bahasa Arab melihat kata yang sama.
2. Varian ejaan
Beberapa huruf punya varian yang umum dan diterima:
| Variasi | Contoh | Normalisasi umum |
|---|---|---|
| Hamzah pada alif | أحمد / احمد, إلى / الى | Petakan أ إ آ ke ا |
| Ta marbuta vs ha | مدرسة / مدرسه | Petakan ة ke ه |
| Alif maqsura vs ya | على / علي (dalam tulisan longgar) | Petakan ى ke ي |
| Tanwin dengan alif | صباحاً / صباحا | Hapus harakatnya |
| Tatwil (pemanjangan) | جـمـيـل / جميل | Hapus ـ |
3. Klitik dan batas kata
Bahasa Arab menempelkan kata sambung, kata depan, dan kata ganti ke kata: “وبمدرستهم” berarti “dan di sekolah mereka” dalam satu kata tertulis. Jika model menulis “و بمدرستهم” dengan spasi, jumlah kata berubah dan WER menghukumnya dua kali. Sebagian evaluasi memecah kata menjadi morfem lebih dulu; sebagian besar tidak. Ketahui mana yang sedang Anda baca.
4. Dialek
Tidak ada ejaan standar untuk ucapan dialek, berbeda dengan bahasa Arab Standar Modern. Penutur Mesir yang mengatakan “saya mau” bisa ditranskripsikan “عايز” atau “عاوز”; “apa” penutur Teluk bisa jadi “وش” atau “ويش”. Sebagian transkriber juga “mengoreksi” dialek menjadi MSA. Masing-masing dihitung sebagai kesalahan WER meski maknanya sempurna. Itu sebagian besar alasan WER dialek jauh lebih tinggi daripada WER ucapan yang dibacakan.
5. Angka dan alih kode
Penutur sering beralih ke bahasa Inggris di tengah kalimat (code-switching). Apakah “٢٥”, “25”, atau “خمسة وعشرين”? Apakah nama merek bahasa Inggris ditulis dengan aksara Latin atau huruf Arab? Tetapkan konvensi, terapkan pada referensi, dan normalisasi hipotesis mengikutinya.
Seberapa besar normalisasi mengubah skor?
Referensi: ذهبت إلى المدرسة صباحاً (“Saya pergi ke sekolah pagi tadi”)
Hipotesis: ذهبت الى المدرسه صباحا
Tanpa normalisasi, tiga dari empat kata berbeda (إلى/الى, المدرسة/المدرسه, صباحاً/صباحا): WER 75%. Setelah kedua teks dinormalisasi, keduanya identik: WER 0%. Transkrip sama, kualitas sama, dan angkanya bergeser dari sangat buruk ke sempurna. Inilah sebabnya angka WER tanpa aturan normalisasinya hanya memberi sedikit informasi.
Bagaimana menghitung WER bahasa Arab di Python?
import re
import jiwer # pip install jiwer
DIACRITICS = re.compile(r"[ً-ْٰ]") # tanween, harakat, shadda, sukun, dagger alef
PUNCT = re.compile(r"[^\w\s]")
def normalise_ar(text: str) -> str:
text = DIACRITICS.sub("", text)
text = text.replace("ـ", "") # tatweel
text = re.sub("[أإآٱ]", "ا", text)
text = text.replace("ى", "ي").replace("ة", "ه")
text = text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
text = PUNCT.sub(" ", text)
return " ".join(text.split())
refs = ["ذهبت إلى المدرسة صباحاً"]
hyps = ["ذهبت الى المدرسه صباحا"]
print("raw WER:", jiwer.wer(refs, hyps))
print("normalised WER:", jiwer.wer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
print("normalised CER:", jiwer.cer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
Terapkan fungsi yang persis sama pada referensi dan hipotesis, untuk setiap model yang Anda bandingkan. Publikasikan fungsi itu di samping angka Anda.
Berapa WER bahasa Arab yang dilaporkan BroadNet?
BroadNet menerbitkan pengukuran laboratorium untuk BroadNet Transcribe Arabic di katalog modelnya:
| Set uji | Isinya | WER menurut BroadNet |
|---|---|---|
| FLEURS-ar | Kalimat yang dibacakan dengan jelas | 3,8 |
| MASC-ar | Ucapan bahasa Arab dunia nyata yang beragam | 21,1 |
| Set dialek BroadNet | Ucapan dialek | 23,4 |
BroadNet juga melaporkan model ini di posisi #2 dari 37 (angka September 2026; papan peringkat langsung mencantumkannya di #4 dari 39 pada 15 November 2026) pada Open Universal Arabic ASR Leaderboard, dan nomor 1 di antara model yang lisensinya mengizinkan penyajian lewat API. Ini angka BroadNet, bukan audit independen. Leaderboard menerapkan satu penyiapan evaluasi untuk setiap model, sehingga peringkatnya lebih bisa dibandingkan daripada angka dari halaman vendor yang terpisah-pisah.
Baca rentangnya, bukan hanya angka terbaik. Lonjakan dari 3,8 ke 23,4 adalah jarak antara ucapan yang dibacakan dan dialek spontan untuk satu model, jadi uji setiap kandidat pada kedua jenis audio. Audio Anda sendiri, entah saluran call center, voice note WhatsApp, atau rapat, akan jatuh di suatu tempat dalam rentang itu, dan hanya pengujian yang bisa memberi tahu di mana.
Bagaimana mengukur WER pada audio Anda sendiri?
- Ambil sampel per kondisi. Kelompokkan klip berdasarkan dialek dan saluran (telepon, voice note, studio). Metode set uji dialek membahas ukuran sampel dan konvensi ejaan.
- Transkripsikan dengan setiap kandidat. Untuk BroadNet, kirim
language=ar; tanpa itu, bahasa Arab bisa kembali dalam bentuk transliterasi huruf Latin. Panduan speech-to-text bahasa Arab berisi kodenya, dan kredit awal $5 mencakup sekitar 1,190 menit audio. - Normalisasi dan nilai. Pakai fungsi di atas, laporkan WER dan CER per kelompok.
- Baca kesalahannya. Urutkan substitusi berdasarkan frekuensi. Jika kesalahan teratas adalah nama, nominal, atau kode produk, dampak bisnisnya lebih besar daripada yang ditunjukkan skor.
Apa yang perlu diukur selain WER?
WER memperlakukan setiap kata sama, tetapi produk Anda tidak. Bot support peduli pada intent; alur penagihan peduli pada angka; tim kepatuhan peduli pada frasa tertentu. Tambahkan metrik tugas di samping WER: akurasi intent setelah LLM membaca transkrip, atau kecocokan persis pada nominal yang diekstrak. Model dengan WER sedikit lebih tinggi tetap bisa menang jika kesalahannya jatuh pada kata yang tidak penting.
Untuk sisi biaya, masukkan jam audio bulanan Anda ke kalkulator biaya speech-to-text gratis, dan lihat bedanya model bahasa Arab dengan model 14 bahasa di BroadNet Transcribe vs Transcribe Arabic.
