WER trả lời một câu hỏi: trong mỗi 100 từ ai đó đã nói, bản chép lời sai bao nhiêu từ?
Cách hoạt động
Căn bản chép lời của model với một bản tham chiếu đúng do người viết, rồi đếm ba loại lỗi:
- Substitution (thay thế): một từ sai nằm ở chỗ của từ đúng;
- Deletion (xóa): một từ đã được nói nhưng bị thiếu;
- Insertion (chèn): một từ không được nói nhưng lại xuất hiện.
WER = (S + D + I) / N, trong đó N là số từ trong bản tham chiếu.
Ví dụ. Bản tham chiếu là “please send the invoice to our office today” (8 từ). Bản chép lời là “please send an invoice to office today now”:
| Lỗi | Số lượng |
|---|---|
| “the” → “an” | 1 lỗi thay thế |
| thiếu “our” | 1 lỗi xóa |
| thêm “now” | 1 lỗi chèn |
WER = 3 / 8 = 0,375, tức 37,5%. Wikipedia lưu ý WER là khoảng cách chỉnh sửa ở cấp độ từ, và vì số lỗi chèn không bị giới hạn, nó “can be larger than 1.0.” (Bản dịch: có thể lớn hơn 1,0.)
Các công cụ như package Python jiwer tính được chỉ số này. Hãy chuẩn hóa cả hai văn bản trước: chữ hoa thường, dấu câu, số viết bằng chữ số hay bằng chữ, và với tiếng Ả Rập là dấu phụ cùng các dạng alef hoặc yaa. Chỉ riêng lựa chọn chuẩn hóa cũng có thể làm điểm số thay đổi đáng kể.
Vì sao quan trọng
- So sánh model. WER là chỉ số chung trên các bảng xếp hạng và trong tuyên bố của nhà cung cấp, nên là bộ lọc đầu tiên khi chọn API speech-to-text.
- Audio của bạn khác. Cùng một model có thể cho điểm rất khác nhau trên giọng đọc và trên cuộc gọi điện thoại bằng phương ngữ. Với tiếng Ả Rập, audio tiếng Ả Rập chuẩn hiện đại và audio phương ngữ cho ra các con số khác nhau. Hãy test trên bản ghi giống của bạn.
- Không phải lỗi nào cũng như nhau. WER tính mọi từ ngang nhau. Sai một số tài khoản cũng chỉ là một lỗi, như thiếu một chữ “the”. Hãy đọc bản chép lời, đừng chỉ nhìn điểm số.
Trên BroadNet Inference
BroadNet công bố số đo trong lab của riêng mình cho BroadNet Transcribe Arabic:
| Tập test | Nội dung | WER (%) |
|---|---|---|
| FLEURS-ar | Câu đọc sạch | 3.8 |
| MASC-ar | Giọng nói tiếng Ả Rập thực tế, đa dạng | 21.1 |
| Tập phương ngữ của BroadNet | Giọng nói phương ngữ | 23.4 |
Khoảng cách giữa 3,8 và 23,4 cho thấy vì sao bài test của riêng bạn quan trọng. BroadNet cũng báo cáo thứ hạng thứ 2/37 (số liệu tháng 9 năm 2026; bảng xếp hạng trực tiếp ngày 15 tháng 11, 2026 ghi nhận thứ 4/39) của model trên Open Universal Arabic ASR Leaderboard. Tín dụng ban đầu $5 đủ cho khoảng 1,190 phút audio tiếng Ả Rập, đủ cho một tập test. Hướng dẫn chọn mua có kế hoạch test trong một giờ, còn hướng dẫn tiếng Ả Rập có code.