WER bertanya berapa banyak perkataan yang salah. CER bertanya berapa banyak huruf yang salah, yang selalunya soalan lebih adil untuk bahasa Arab.
Cara ia berfungsi
CER menggunakan idea jarak suntingan yang sama seperti kadar ralat perkataan, tetapi pada aksara. Kad metrik Hugging Face memberikan formulanya:
CER = (S + D + I) / N, di mana S ialah penggantian, D pemadaman, I penyisipan dan N bilangan aksara dalam rujukan (N = S + D + C, dengan C aksara yang betul).
Contoh bahasa Arab. Rujukannya ialah “وبالكتاب” (“dan dengan buku itu”, satu perkataan, 8 huruf). Transkripnya ialah “وبلكتاب”, tertinggal satu alif:
| Metrik | Ralat | Unit rujukan | Skor |
|---|---|---|---|
| WER | 1 perkataan salah | 1 perkataan | 1.0 (100%) |
| CER | 1 huruf dipadam | 8 aksara | 0.125 (12.5%) |
Satu huruf yang hilang menjadikan seluruh perkataan salah bagi WER. CER menunjukkan transkrip itu hampir betul.
Dalam Python, pakej jiwer mengiranya dengan jiwer.cer(reference, hypothesis), dan jiwer.process_characters turut memulangkan penjajarannya. Normalkan kedua-dua pihak dahulu, seperti untuk WER: tanda baca, jarak, dan untuk bahasa Arab, baris serta bentuk alif atau ya. Lihat penormalan teks Arab.
Mengapa ia penting
- Morfologi Arab. Bahasa Arab mencantumkan kata hubung, kata sendi dan kata ganti pada perkataan sebagai klitik, jadi satu perkataan boleh membawa apa yang bahasa Inggeris tulis sebagai tiga atau empat perkataan. Satu huruf awalan yang salah menyebabkan satu perkataan penuh dikira salah dalam WER. CER memberinya berat satu aksara.
- Bahasa tanpa jarak. WER memerlukan sempadan perkataan. Kad Hugging Face menyatakan CER berguna “especially for multilingual datasets where WER is not suitable given the diversity of languages.” (Terjemahan BroadRouter: “terutamanya untuk set data berbilang bahasa di mana WER tidak sesuai memandangkan kepelbagaian bahasa.”)
- Jenis ralat. Model dengan WER tinggi tetapi CER rendah hampir betul pada perkataan: kesilapan ejaan, hamzah atau klitik yang mungkin dibaiki oleh penormalan atau langkah pembetulan. CER tinggi bermakna model terlepas keseluruhan perkataan atau kandungan.
- OCR juga. Metrik yang sama memberi skor kepada teks yang dibaca daripada imej, jadi ia berguna apabila anda membandingkan pipeline OCR.
Kad metrik itu juga memberi amaran bahawa CER tidak memberitahu mengapa ralat berlaku. Baca sampel transkrip bersama skornya.
Di BroadNet Inference
BroadNet menerbitkan WER, bukan CER, untuk BroadNet Transcribe Arabic dan BroadNet Transcribe. Untuk mendapatkan CER, transkripsikan set ujian rakaman anda sendiri dan beri skor sendiri. Artikel WER Arab dijelaskan mengandungi fungsi penormalan dan skrip jiwer yang mencetak WER dan CER, dan panduan speech-to-text Arab mengandungi kod permintaan. Sentiasa hantar language=ar: tanpanya, bahasa Arab boleh dipulangkan dalam bentuk transliterasi huruf Rumi, yang merosakkan kedua-dua skor.
Kesilapan biasa
- Mengira ruang secara tidak konsisten. Tentukan sama ada ruang dikira sebagai aksara dan gunakan peraturan yang sama pada setiap model yang anda bandingkan.
- Membandingkan CER dengan WER orang lain. Ia skala yang berbeza. Bandingkan yang serupa dengan yang serupa.