BroadRouter
Bắt đầu

Tỷ lệ lỗi ký tự (CER, character error rate)

Cập nhật

Character error rate (CER, tỷ lệ lỗi ký tự) đo độ chính xác của bản chép lời hoặc OCR ở cấp ký tự: số phép thay thế, xóa và chèn cần để biến đầu ra thành văn bản tham chiếu, chia cho số ký tự trong văn bản tham chiếu. Càng thấp càng tốt, 0 là khớp hoàn toàn.

Còn gọi là: CER, tỷ lệ lỗi ký tự, character error rate

WER hỏi có bao nhiêu từ sai. CER hỏi có bao nhiêu chữ cái sai, và với tiếng Ả Rập đó thường là câu hỏi công bằng hơn.

Cách hoạt động

CER dùng cùng ý tưởng khoảng cách chỉnh sửa (edit distance) như word error rate, nhưng áp dụng cho ký tự. Thẻ chỉ số của Hugging Face đưa ra công thức:

CER = (S + D + I) / N, trong đó S là số phép thay thế, D số phép xóa, I số phép chèn và N số ký tự trong văn bản tham chiếu (N = S + D + C, với C là số ký tự đúng).

Ví dụ tiếng Ả Rập. Văn bản tham chiếu là “وبالكتاب” (“và với cuốn sách”, một từ, 8 chữ cái). Bản chép lời là “وبلكتاب”, thiếu một chữ alef:

Chỉ số Lỗi Đơn vị tham chiếu Điểm
WER 1 từ sai 1 từ 1,0 (100%)
CER 1 chữ cái bị xóa 8 ký tự 0,125 (12,5%)

Chỉ thiếu một chữ cái là cả từ bị tính sai theo WER. CER cho thấy bản chép lời gần như đúng.

Trong Python, gói jiwer tính nó bằng jiwer.cer(reference, hypothesis), còn jiwer.process_characters trả thêm cả phần căn chỉnh. Hãy chuẩn hóa cả hai phía trước, giống như với WER: dấu câu, khoảng trắng, và với tiếng Ả Rập là dấu phụ cùng các dạng alef hoặc yaa. Xem chuẩn hóa văn bản tiếng Ả Rập.

Vì sao quan trọng

  • Hình thái học tiếng Ả Rập. Tiếng Ả Rập gắn liên từ, giới từ và đại từ vào từ dưới dạng clitic, nên một từ có thể chứa nội dung mà tiếng Anh viết thành ba bốn từ. Sai một chữ cái tiền tố là mất trọn một từ theo WER. CER chỉ tính đó là một ký tự.
  • Ngôn ngữ không có khoảng trắng. WER cần ranh giới từ. Thẻ của Hugging Face nói CER hữu ích “especially for multilingual datasets where WER is not suitable given the diversity of languages.” (Bản dịch: đặc biệt với các tập dữ liệu đa ngôn ngữ, nơi WER không phù hợp do sự đa dạng ngôn ngữ.)
  • Loại lỗi. Một model có WER cao nhưng CER thấp là đang gần đúng các từ: lỗi chính tả, hamza hoặc clitic mà bước chuẩn hóa hay hiệu chỉnh có thể sửa. CER cao nghĩa là model bỏ sót cả từ hoặc nội dung.
  • Cả OCR. Cùng chỉ số này chấm văn bản đọc từ ảnh, nên hữu ích khi bạn so sánh các pipeline OCR.

Thẻ chỉ số cũng cảnh báo rằng CER không cho biết vì sao lỗi xảy ra. Hãy đọc các bản chép lời mẫu cùng với điểm số.

Trên BroadNet Inference

BroadNet công bố WER, không phải CER, cho BroadNet Transcribe Arabic và BroadNet Transcribe. Để có CER, hãy chép lời một tập test gồm các bản ghi âm của bạn và tự chấm. Bài viết giải thích WER tiếng Ả Rập có một hàm chuẩn hóa và một script jiwer in ra cả WER lẫn CER, còn hướng dẫn chuyển giọng nói tiếng Ả Rập thành văn bản có code gửi request. Luôn gửi language=ar: thiếu nó, tiếng Ả Rập có thể trả về dạng chuyển tự sang chữ Latin, làm hỏng cả hai điểm số.

Lỗi thường gặp

  • Đếm khoảng trắng không nhất quán. Hãy quyết định khoảng trắng có tính là ký tự hay không và áp dụng cùng quy tắc cho mọi model bạn so sánh.
  • So CER của mình với WER của người khác. Đó là hai thang đo khác nhau. Hãy so cùng loại với nhau.

Câu hỏi thường gặp

CER có thể cao hơn 100% không?

Có. Thẻ chỉ số của Hugging Face ghi rằng CER không phải lúc nào cũng nằm giữa 0 và 1, nhất là khi bản chép lời có nhiều phép chèn, vì mẫu số chỉ đếm ký tự của văn bản tham chiếu.

Với tiếng Ả Rập nên báo cáo CER hay WER?

Cả hai. WER là con số mà các bảng xếp hạng và nhà cung cấp đưa ra, nên bạn cần nó để so sánh. CER cho thấy lỗi là cả từ sai hay chỉ lệch một chữ cái hoặc một clitic ở vài chỗ, điều mà WER che mất.

BroadNet có công bố CER cho model chép lời không?

Không. BroadNet chỉ công bố WER. Để có CER, hãy tự chấm tập test của bạn bằng một công cụ như jiwer.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity