WER hỏi có bao nhiêu từ sai. CER hỏi có bao nhiêu chữ cái sai, và với tiếng Ả Rập đó thường là câu hỏi công bằng hơn.
Cách hoạt động
CER dùng cùng ý tưởng khoảng cách chỉnh sửa (edit distance) như word error rate, nhưng áp dụng cho ký tự. Thẻ chỉ số của Hugging Face đưa ra công thức:
CER = (S + D + I) / N, trong đó S là số phép thay thế, D số phép xóa, I số phép chèn và N số ký tự trong văn bản tham chiếu (N = S + D + C, với C là số ký tự đúng).
Ví dụ tiếng Ả Rập. Văn bản tham chiếu là “وبالكتاب” (“và với cuốn sách”, một từ, 8 chữ cái). Bản chép lời là “وبلكتاب”, thiếu một chữ alef:
| Chỉ số | Lỗi | Đơn vị tham chiếu | Điểm |
|---|---|---|---|
| WER | 1 từ sai | 1 từ | 1,0 (100%) |
| CER | 1 chữ cái bị xóa | 8 ký tự | 0,125 (12,5%) |
Chỉ thiếu một chữ cái là cả từ bị tính sai theo WER. CER cho thấy bản chép lời gần như đúng.
Trong Python, gói jiwer tính nó bằng jiwer.cer(reference, hypothesis), còn jiwer.process_characters trả thêm cả phần căn chỉnh. Hãy chuẩn hóa cả hai phía trước, giống như với WER: dấu câu, khoảng trắng, và với tiếng Ả Rập là dấu phụ cùng các dạng alef hoặc yaa. Xem chuẩn hóa văn bản tiếng Ả Rập.
Vì sao quan trọng
- Hình thái học tiếng Ả Rập. Tiếng Ả Rập gắn liên từ, giới từ và đại từ vào từ dưới dạng clitic, nên một từ có thể chứa nội dung mà tiếng Anh viết thành ba bốn từ. Sai một chữ cái tiền tố là mất trọn một từ theo WER. CER chỉ tính đó là một ký tự.
- Ngôn ngữ không có khoảng trắng. WER cần ranh giới từ. Thẻ của Hugging Face nói CER hữu ích “especially for multilingual datasets where WER is not suitable given the diversity of languages.” (Bản dịch: đặc biệt với các tập dữ liệu đa ngôn ngữ, nơi WER không phù hợp do sự đa dạng ngôn ngữ.)
- Loại lỗi. Một model có WER cao nhưng CER thấp là đang gần đúng các từ: lỗi chính tả, hamza hoặc clitic mà bước chuẩn hóa hay hiệu chỉnh có thể sửa. CER cao nghĩa là model bỏ sót cả từ hoặc nội dung.
- Cả OCR. Cùng chỉ số này chấm văn bản đọc từ ảnh, nên hữu ích khi bạn so sánh các pipeline OCR.
Thẻ chỉ số cũng cảnh báo rằng CER không cho biết vì sao lỗi xảy ra. Hãy đọc các bản chép lời mẫu cùng với điểm số.
Trên BroadNet Inference
BroadNet công bố WER, không phải CER, cho BroadNet Transcribe Arabic và BroadNet Transcribe. Để có CER, hãy chép lời một tập test gồm các bản ghi âm của bạn và tự chấm. Bài viết giải thích WER tiếng Ả Rập có một hàm chuẩn hóa và một script jiwer in ra cả WER lẫn CER, còn hướng dẫn chuyển giọng nói tiếng Ả Rập thành văn bản có code gửi request. Luôn gửi language=ar: thiếu nó, tiếng Ả Rập có thể trả về dạng chuyển tự sang chữ Latin, làm hỏng cả hai điểm số.
Lỗi thường gặp
- Đếm khoảng trắng không nhất quán. Hãy quyết định khoảng trắng có tính là ký tự hay không và áp dụng cùng quy tắc cho mọi model bạn so sánh.
- So CER của mình với WER của người khác. Đó là hai thang đo khác nhau. Hãy so cùng loại với nhau.