BroadRouter

Kadar ralat perkataan (word error rate, WER)

Dikemas kini

Kadar ralat perkataan (WER) ialah ukuran ketepatan standard untuk pengecaman pertuturan: bilangan penggantian, pemadaman dan penyisipan perkataan yang diperlukan untuk menukar transkrip kepada rujukan yang betul, dibahagi dengan bilangan perkataan dalam rujukan. Lebih rendah lebih baik.

Juga dikenali sebagai: WER, word error rate, kadar ralat perkataan, ketepatan ASR, ASR accuracy, ketepatan transkripsi, transcription accuracy, word accuracy

WER menjawab satu soalan: daripada setiap 100 perkataan yang diucapkan seseorang, berapa banyak yang salah dalam transkrip?

Cara ia berfungsi

Jajarkan transkrip model dengan rujukan manusia yang betul, kemudian kira tiga jenis ralat:

  • Substitutions (penggantian): perkataan yang salah menggantikan perkataan yang betul;
  • Deletions (pemadaman): perkataan yang diucapkan tetapi tiada;
  • Insertions (penyisipan): perkataan yang tidak diucapkan tetapi muncul.

WER = (S + D + I) / N, dengan N ialah bilangan perkataan dalam rujukan.

Contoh. Rujukannya ialah “please send the invoice to our office today” (8 perkataan). Transkripnya berbunyi “please send an invoice to office today now”:

Ralat Kiraan
“the” → “an” 1 penggantian
“our” tiada 1 pemadaman
“now” ditambah 1 penyisipan

WER = 3 / 8 = 0.375, atau 37.5%. Wikipedia mencatat WER ialah jarak suntingan pada peringkat perkataan, dan oleh sebab penyisipan tidak dihadkan, ia “can be larger than 1.0.” (Terjemahan: “boleh melebihi 1.0.”)

Alat seperti pakej Python jiwer mengiranya. Normalkan kedua-dua teks dahulu: huruf besar-kecil, tanda baca, nombor yang ditulis sebagai digit atau perkataan, dan untuk bahasa Arab, baris (diakritik) serta bentuk alif atau ya. Pilihan penormalan sahaja boleh mengubah skor dengan ketara.

Mengapa ia penting

  • Membandingkan model. WER ialah metrik biasa pada papan pendahulu dan dalam dakwaan vendor, jadi ia penapis pertama apabila memilih API speech-to-text.
  • Audio anda berbeza. Model yang sama boleh mendapat skor yang sangat berbeza pada pertuturan bacaan dan pada panggilan telefon berdialek. Untuk bahasa Arab, audio Bahasa Arab Standard Moden dan audio dialek memberi nombor yang berbeza. Uji pada rakaman yang serupa dengan rakaman anda.
  • Tidak semua ralat sama. WER memberi pemberat yang sama kepada setiap perkataan. Nombor akaun yang salah dikira satu ralat, sama seperti “the” yang tertinggal. Baca transkrip, bukan skor sahaja.

Di BroadNet Inference

BroadNet menerbitkan ukuran makmalnya sendiri untuk BroadNet Transcribe Arabic:

Set ujian Apa itu WER (%)
FLEURS-ar Ayat bacaan yang bersih 3.8
MASC-ar Pertuturan bahasa Arab dunia sebenar bercampur 21.1
Set dialek BroadNet Pertuturan dialek 23.4

Jurang antara 3.8 dan 23.4 menunjukkan mengapa ujian anda sendiri penting. BroadNet juga melaporkan model ini pada #2 daripada 37 (angka September 2026; papan kedudukan langsung menyenaraikannya di #4 daripada 39 pada 15 November 2026) di Open Universal Arabic ASR Leaderboard. Kredit permulaan $5 meliputi kira-kira 1,190 minit audio bahasa Arab, cukup untuk satu set ujian. Panduan pembeli mempunyai pelan ujian satu jam, dan panduan bahasa Arab mempunyai kodnya.

Soalan lazim

Berapakah kadar ralat perkataan yang baik?

Bergantung pada audio. Pertuturan bacaan yang bersih boleh mendapat skor satu digit, manakala audio perbualan yang bising atau berdialek kerap mendapat skor jauh lebih tinggi pada model yang sama. Bandingkan model pada set ujian yang sama, sebaik-baiknya rakaman anda sendiri.

Bolehkah WER melebihi 100%?

Boleh. Penyisipan dikira tetapi penyebutnya hanya perkataan rujukan, jadi transkrip dengan banyak perkataan tambahan boleh mendapat skor melebihi 1.0.

Adakah WER ditulis sebagai peratusan atau perpuluhan?

Kedua-duanya biasa. 0.211 dan 21.1 biasanya bermaksud perkara yang sama, kira-kira 21 ralat bagi setiap 100 perkataan rujukan. Semak yang mana digunakan oleh sesuatu sumber.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity