WER menjawab satu soalan: daripada setiap 100 perkataan yang diucapkan seseorang, berapa banyak yang salah dalam transkrip?
Cara ia berfungsi
Jajarkan transkrip model dengan rujukan manusia yang betul, kemudian kira tiga jenis ralat:
- Substitutions (penggantian): perkataan yang salah menggantikan perkataan yang betul;
- Deletions (pemadaman): perkataan yang diucapkan tetapi tiada;
- Insertions (penyisipan): perkataan yang tidak diucapkan tetapi muncul.
WER = (S + D + I) / N, dengan N ialah bilangan perkataan dalam rujukan.
Contoh. Rujukannya ialah “please send the invoice to our office today” (8 perkataan). Transkripnya berbunyi “please send an invoice to office today now”:
| Ralat | Kiraan |
|---|---|
| “the” → “an” | 1 penggantian |
| “our” tiada | 1 pemadaman |
| “now” ditambah | 1 penyisipan |
WER = 3 / 8 = 0.375, atau 37.5%. Wikipedia mencatat WER ialah jarak suntingan pada peringkat perkataan, dan oleh sebab penyisipan tidak dihadkan, ia “can be larger than 1.0.” (Terjemahan: “boleh melebihi 1.0.”)
Alat seperti pakej Python jiwer mengiranya. Normalkan kedua-dua teks dahulu: huruf besar-kecil, tanda baca, nombor yang ditulis sebagai digit atau perkataan, dan untuk bahasa Arab, baris (diakritik) serta bentuk alif atau ya. Pilihan penormalan sahaja boleh mengubah skor dengan ketara.
Mengapa ia penting
- Membandingkan model. WER ialah metrik biasa pada papan pendahulu dan dalam dakwaan vendor, jadi ia penapis pertama apabila memilih API speech-to-text.
- Audio anda berbeza. Model yang sama boleh mendapat skor yang sangat berbeza pada pertuturan bacaan dan pada panggilan telefon berdialek. Untuk bahasa Arab, audio Bahasa Arab Standard Moden dan audio dialek memberi nombor yang berbeza. Uji pada rakaman yang serupa dengan rakaman anda.
- Tidak semua ralat sama. WER memberi pemberat yang sama kepada setiap perkataan. Nombor akaun yang salah dikira satu ralat, sama seperti “the” yang tertinggal. Baca transkrip, bukan skor sahaja.
Di BroadNet Inference
BroadNet menerbitkan ukuran makmalnya sendiri untuk BroadNet Transcribe Arabic:
| Set ujian | Apa itu | WER (%) |
|---|---|---|
| FLEURS-ar | Ayat bacaan yang bersih | 3.8 |
| MASC-ar | Pertuturan bahasa Arab dunia sebenar bercampur | 21.1 |
| Set dialek BroadNet | Pertuturan dialek | 23.4 |
Jurang antara 3.8 dan 23.4 menunjukkan mengapa ujian anda sendiri penting. BroadNet juga melaporkan model ini pada #2 daripada 37 (angka September 2026; papan kedudukan langsung menyenaraikannya di #4 daripada 39 pada 15 November 2026) di Open Universal Arabic ASR Leaderboard. Kredit permulaan $5 meliputi kira-kira 1,190 minit audio bahasa Arab, cukup untuk satu set ujian. Panduan pembeli mempunyai pelan ujian satu jam, dan panduan bahasa Arab mempunyai kodnya.