WER bertanya berapa kata yang salah. CER bertanya berapa huruf yang salah, dan untuk bahasa Arab itu sering kali pertanyaan yang lebih adil.
Cara kerjanya
CER memakai gagasan edit distance yang sama dengan word error rate, tetapi diterapkan pada karakter. Metric card Hugging Face memberikan rumusnya:
CER = (S + D + I) / N, dengan S substitusi, D penghapusan, I penyisipan, dan N jumlah karakter dalam referensi (N = S + D + C, dengan C karakter yang benar).
Contoh dalam bahasa Arab. Referensinya “وبالكتاب” (“dan dengan buku itu”, satu kata, 8 huruf). Transkripnya “وبلكتاب”, kurang satu alif:
| Metrik | Kesalahan | Unit referensi | Skor |
|---|---|---|---|
| WER | 1 kata salah | 1 kata | 1,0 (100%) |
| CER | 1 huruf terhapus | 8 karakter | 0,125 (12,5%) |
Satu huruf yang hilang membuat seluruh kata salah menurut WER. CER menunjukkan transkripnya hampir benar.
Di Python, paket jiwer menghitungnya dengan jiwer.cer(reference, hypothesis), dan jiwer.process_characters juga mengembalikan alignment-nya. Normalisasi kedua sisi lebih dulu, seperti untuk WER: tanda baca, spasi, dan untuk bahasa Arab, harakat serta bentuk alif atau ya. Lihat normalisasi teks Arab.
Kenapa ini penting
- Morfologi bahasa Arab. Bahasa Arab menempelkan kata sambung, kata depan, dan kata ganti pada kata sebagai klitik, sehingga satu kata bisa memuat apa yang dalam bahasa Inggris ditulis tiga atau empat kata. Satu huruf prefiks yang salah menghabiskan satu kata penuh di WER. CER menimbangnya sebagai satu karakter.
- Bahasa tanpa spasi. WER butuh batas kata. Kartu Hugging Face mengatakan CER berguna “especially for multilingual datasets where WER is not suitable given the diversity of languages.” (terjemahan: terutama untuk dataset multibahasa di mana WER tidak cocok karena keragaman bahasa.)
- Jenis kesalahan. Model dengan WER tinggi tetapi CER rendah sebenarnya hampir benar menebak kata: selip ejaan, hamzah, atau klitik yang bisa diperbaiki normalisasi atau langkah koreksi. CER tinggi berarti model melewatkan kata atau konten secara utuh.
- Juga untuk OCR. Metrik yang sama menilai teks yang dibaca dari gambar, jadi berguna saat Anda membandingkan pipeline OCR.
Metric card itu juga memperingatkan bahwa CER tidak memberi tahu mengapa kesalahan terjadi. Baca contoh transkrip di samping skornya.
Di BroadNet Inference
BroadNet memublikasikan WER, bukan CER, untuk BroadNet Transcribe Arabic dan BroadNet Transcribe. Untuk mendapatkan CER, transkripsikan set uji dari rekaman Anda sendiri dan nilai sendiri. Artikel penjelasan WER bahasa Arab berisi fungsi normalisasi dan skrip jiwer yang mencetak WER dan CER sekaligus, dan panduan speech-to-text bahasa Arab berisi kode request-nya. Selalu kirim language=ar: tanpa itu, bahasa Arab bisa kembali dalam transliterasi huruf Latin, yang merusak kedua skor.
Kesalahan umum
- Menghitung spasi secara tidak konsisten. Tentukan apakah spasi dihitung sebagai karakter dan terapkan aturan yang sama pada setiap model yang Anda bandingkan.
- Membandingkan CER dengan WER milik orang lain. Keduanya skala yang berbeda. Bandingkan yang sejenis.