WER menjawab satu pertanyaan: dari setiap 100 kata yang diucapkan seseorang, berapa yang salah di transkrip?
Cara kerjanya
Sejajarkan transkrip model dengan referensi yang benar buatan manusia, lalu hitung tiga jenis kesalahan:
- Substitusi: kata yang salah menggantikan kata yang benar;
- Deletion (penghapusan): kata yang diucapkan tetapi hilang;
- Insertion (penyisipan): kata yang tidak diucapkan tetapi muncul.
WER = (S + D + I) / N, dengan N adalah jumlah kata dalam referensi.
Contoh. Referensinya “please send the invoice to our office today” (8 kata). Transkripnya berbunyi “please send an invoice to office today now”:
| Kesalahan | Jumlah |
|---|---|
| “the” → “an” | 1 substitusi |
| “our” hilang | 1 penghapusan |
| “now” ditambahkan | 1 penyisipan |
WER = 3 / 8 = 0,375, atau 37,5%. Wikipedia mencatat bahwa WER adalah edit distance di tingkat kata, dan karena penyisipan tidak dibatasi, nilainya “can be larger than 1.0.” (terjemahan: bisa lebih besar dari 1,0.)
Tool seperti paket Python jiwer menghitungnya. Normalisasi kedua teks lebih dulu: huruf besar-kecil, tanda baca, angka yang ditulis sebagai digit atau kata, dan untuk bahasa Arab, harakat serta bentuk alif atau ya. Pilihan normalisasi saja sudah bisa mengubah skor secara nyata.
Mengapa penting
- Membandingkan model. WER adalah metrik umum di leaderboard dan klaim vendor, jadi ini filter pertama saat memilih API speech-to-text.
- Audio Anda berbeda. Model yang sama bisa mendapat skor sangat berbeda pada ucapan yang dibacakan dan pada panggilan telepon berdialek. Untuk bahasa Arab, audio Bahasa Arab Standar Modern dan audio dialek memberi angka yang berbeda. Uji dengan rekaman yang mirip dengan milik Anda.
- Tidak semua kesalahan setara. WER memberi bobot yang sama untuk setiap kata. Nomor rekening yang salah dihitung satu kesalahan, sama seperti “the” yang hilang. Baca transkripnya, bukan hanya skornya.
Di BroadNet Inference
BroadNet memublikasikan pengukuran lab-nya sendiri untuk BroadNet Transcribe Arabic:
| Test set | Isinya | WER (%) |
|---|---|---|
| FLEURS-ar | Kalimat yang dibacakan dengan jelas | 3,8 |
| MASC-ar | Campuran ucapan bahasa Arab di dunia nyata | 21,1 |
| Set dialek BroadNet | Ucapan berdialek | 23,4 |
Selisih antara 3,8 dan 23,4 menunjukkan mengapa uji Anda sendiri penting. BroadNet juga melaporkan model ini berada di #2 dari 37 (angka September 2026; papan peringkat langsung mencantumkannya di #4 dari 39 pada 15 November 2026) pada Open Universal Arabic ASR Leaderboard. Kredit awal $5 mencakup sekitar 1,190 menit audio bahasa Arab, cukup untuk sebuah test set. Panduan pembeli berisi rencana uji satu jam, dan panduan bahasa Arab berisi kodenya.