BroadRouter

Word error rate (WER, tỷ lệ lỗi từ)

Cập nhật

Word error rate (WER, tỷ lệ lỗi từ) là thước đo độ chính xác tiêu chuẩn cho nhận dạng giọng nói: số lần thay thế, xóa và chèn từ cần để biến bản chép lời thành bản tham chiếu đúng, chia cho số từ trong bản tham chiếu. Càng thấp càng tốt.

Còn gọi là: WER là gì, tỷ lệ lỗi từ, tỉ lệ lỗi từ, độ chính xác nhận dạng giọng nói, độ chính xác chép lời, WER, word error rate, ASR accuracy, transcription accuracy, word accuracy

WER trả lời một câu hỏi: trong mỗi 100 từ ai đó đã nói, bản chép lời sai bao nhiêu từ?

Cách hoạt động

Căn bản chép lời của model với một bản tham chiếu đúng do người viết, rồi đếm ba loại lỗi:

  • Substitution (thay thế): một từ sai nằm ở chỗ của từ đúng;
  • Deletion (xóa): một từ đã được nói nhưng bị thiếu;
  • Insertion (chèn): một từ không được nói nhưng lại xuất hiện.

WER = (S + D + I) / N, trong đó N là số từ trong bản tham chiếu.

Ví dụ. Bản tham chiếu là “please send the invoice to our office today” (8 từ). Bản chép lời là “please send an invoice to office today now”:

Lỗi Số lượng
“the” → “an” 1 lỗi thay thế
thiếu “our” 1 lỗi xóa
thêm “now” 1 lỗi chèn

WER = 3 / 8 = 0,375, tức 37,5%. Wikipedia lưu ý WER là khoảng cách chỉnh sửa ở cấp độ từ, và vì số lỗi chèn không bị giới hạn, nó “can be larger than 1.0.” (Bản dịch: có thể lớn hơn 1,0.)

Các công cụ như package Python jiwer tính được chỉ số này. Hãy chuẩn hóa cả hai văn bản trước: chữ hoa thường, dấu câu, số viết bằng chữ số hay bằng chữ, và với tiếng Ả Rập là dấu phụ cùng các dạng alef hoặc yaa. Chỉ riêng lựa chọn chuẩn hóa cũng có thể làm điểm số thay đổi đáng kể.

Vì sao quan trọng

  • So sánh model. WER là chỉ số chung trên các bảng xếp hạng và trong tuyên bố của nhà cung cấp, nên là bộ lọc đầu tiên khi chọn API speech-to-text.
  • Audio của bạn khác. Cùng một model có thể cho điểm rất khác nhau trên giọng đọc và trên cuộc gọi điện thoại bằng phương ngữ. Với tiếng Ả Rập, audio tiếng Ả Rập chuẩn hiện đại và audio phương ngữ cho ra các con số khác nhau. Hãy test trên bản ghi giống của bạn.
  • Không phải lỗi nào cũng như nhau. WER tính mọi từ ngang nhau. Sai một số tài khoản cũng chỉ là một lỗi, như thiếu một chữ “the”. Hãy đọc bản chép lời, đừng chỉ nhìn điểm số.

Trên BroadNet Inference

BroadNet công bố số đo trong lab của riêng mình cho BroadNet Transcribe Arabic:

Tập test Nội dung WER (%)
FLEURS-ar Câu đọc sạch 3.8
MASC-ar Giọng nói tiếng Ả Rập thực tế, đa dạng 21.1
Tập phương ngữ của BroadNet Giọng nói phương ngữ 23.4

Khoảng cách giữa 3,8 và 23,4 cho thấy vì sao bài test của riêng bạn quan trọng. BroadNet cũng báo cáo thứ hạng thứ 2/37 (số liệu tháng 9 năm 2026; bảng xếp hạng trực tiếp ngày 15 tháng 11, 2026 ghi nhận thứ 4/39) của model trên Open Universal Arabic ASR Leaderboard. Tín dụng ban đầu $5 đủ cho khoảng 1,190 phút audio tiếng Ả Rập, đủ cho một tập test. Hướng dẫn chọn mua có kế hoạch test trong một giờ, còn hướng dẫn tiếng Ả Rập có code.

Câu hỏi thường gặp

WER bao nhiêu thì được coi là tốt?

Tùy vào audio. Giọng đọc sạch có thể đạt mức một chữ số, trong khi audio hội thoại ồn hoặc phương ngữ thường cho điểm cao hơn nhiều trên cùng một model. Hãy so các model trên cùng một tập test, tốt nhất là bản ghi âm của chính bạn.

WER có thể vượt quá 100% không?

Có. Lỗi chèn vẫn được tính nhưng mẫu số chỉ là số từ tham chiếu, nên một bản chép lời có nhiều từ thừa có thể vượt quá 1,0.

WER được viết dưới dạng phần trăm hay số thập phân?

Cả hai đều phổ biến. 0,211 và 21,1 thường có cùng nghĩa, khoảng 21 lỗi trên 100 từ tham chiếu. Hãy xem nguồn đang dùng cách nào.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity