Tỷ lệ lỗi từ (WER) là số từ bị thay, bị xóa và bị chèn chia cho số từ trong bản chép lời đúng. Càng thấp càng tốt. WER tiếng Ả Rập rất dễ bị đẩy lên: cùng một bản chép lời đúng có thể viết theo nhiều cách, và phép so sánh ngây thơ tính mọi lựa chọn chính tả, dấu nguyên âm và cách viết phương ngữ là lỗi.
Bài này giải thích WER đo gì, vì sao tiếng Ả Rập làm nó khó nắm bắt, và cách tính để con số của bạn có ý nghĩa. Để tự xây bộ test, xem nhận dạng giọng nói phương ngữ Ả Rập; để chọn nhà cung cấp, xem hướng dẫn chọn mua API chuyển giọng nói tiếng Ả Rập thành văn bản.
Tỷ lệ lỗi từ là gì?
Tỷ lệ lỗi từ so sánh bản chép lời của máy (giả thuyết) với bản chép lời đúng do người làm (bản chuẩn). Nó tìm số thao tác sửa từ ít nhất để biến cái này thành cái kia:
- S, thay thế: một từ bị thay bằng từ khác.
- D, xóa: một từ trong bản chuẩn bị thiếu ở giả thuyết.
- I, chèn: một từ thừa trong giả thuyết.
Khi đó:
WER = (S + D + I) / N, trong đó N là số từ trong bản chuẩn.
WER 0,10 (thường viết là 10) nghĩa là khoảng một lỗi trên mười từ chuẩn. Càng thấp càng tốt. Vì từ chèn cũng được tính, WER có thể vượt 100% với một bản chép lời đầy từ bịa.
Tỷ lệ lỗi ký tự (CER) là cùng công thức áp dụng cho ký tự. Nó hữu ích với tiếng Ả Rập, nơi một chữ cái sai trong tiền tố khiến cả từ bị tính là sai.
Vì sao WER tiếng Ả Rập khó so sánh?
1. Dấu nguyên âm
Nguyên âm ngắn tiếng Ả Rập được viết bằng các dấu tùy chọn (tashkeel) phía trên và dưới chữ cái: fatha, damma, kasra, sukun, shadda và tanween. Văn bản thường ngày bỏ chúng đi. Nếu bản chuẩn có “مَدْرَسَةٌ” và model viết “مدرسة”, phép so sánh khắt khe tính một lỗi thay thế, dù mọi người đọc tiếng Ả Rập đều thấy đó là cùng một từ.
2. Biến thể chính tả
Một số chữ cái có các biến thể phổ biến, được chấp nhận:
| Biến thể | Ví dụ | Cách chuẩn hóa thường dùng |
|---|---|---|
| Hamza trên alef | أحمد / احمد, إلى / الى | Chuyển أ إ آ thành ا |
| Ta marbuta và ha | مدرسة / مدرسه | Chuyển ة thành ه |
| Alef maqsura và ya | على / علي (khi viết lỏng) | Chuyển ى thành ي |
| Tanween có alef | صباحاً / صباحا | Bỏ dấu nguyên âm |
| Tatweel (nét kéo dài) | جـمـيـل / جميل | Bỏ ـ |
3. Tiếp ngữ và ranh giới từ
Tiếng Ả Rập gắn liên từ, giới từ và đại từ vào từ: “وبمدرستهم” là “và ở trường của họ” trong một từ viết. Nếu model viết “و بمدرستهم” có khoảng trắng, số từ thay đổi và WER phạt hai lần. Một số đánh giá tách từ thành hình vị trước; phần lớn thì không. Hãy biết con số bạn đang đọc thuộc loại nào.
4. Phương ngữ
Khác với tiếng Ả Rập chuẩn hiện đại, giọng nói phương ngữ không có chính tả chuẩn. Một người Ai Cập nói “tôi muốn” có thể được chép thành “عايز” hoặc “عاوز”; chữ “cái gì” của người vùng Vịnh có thể là “وش” hoặc “ويش”. Một số bộ chép lời còn “sửa” phương ngữ thành MSA. Mỗi trường hợp đều là một lỗi WER, kể cả khi ý nghĩa hoàn hảo. Đó là một phần lớn lý do WER phương ngữ cao hơn nhiều so với WER giọng đọc.
5. Con số và chuyển mã ngôn ngữ
Người nói thường chuyển sang tiếng Anh giữa câu (chuyển mã ngôn ngữ). Là “٢٥”, “25” hay “خمسة وعشرين”? Tên thương hiệu tiếng Anh viết bằng chữ Latin hay chữ Ả Rập? Hãy chọn một quy ước, áp dụng cho bản chuẩn, và chuẩn hóa giả thuyết theo nó.
Chuẩn hóa thay đổi điểm số bao nhiêu?
Bản chuẩn: ذهبت إلى المدرسة صباحاً (“Tôi đã đến trường vào buổi sáng”)
Giả thuyết: ذهبت الى المدرسه صباحا
Không chuẩn hóa, ba trên bốn từ khác nhau (إلى/الى, المدرسة/المدرسه, صباحاً/صباحا): WER 75%. Sau khi chuẩn hóa cả hai văn bản, chúng giống hệt nhau: WER 0%. Cùng bản chép lời, cùng chất lượng, và con số đi từ tệ hại sang hoàn hảo. Đó là lý do một con số WER không kèm quy tắc chuẩn hóa cho bạn biết rất ít.
Tính WER tiếng Ả Rập bằng Python thế nào?
import re
import jiwer # pip install jiwer
DIACRITICS = re.compile(r"[ً-ْٰ]") # tanween, harakat, shadda, sukun, dagger alef
PUNCT = re.compile(r"[^\w\s]")
def normalise_ar(text: str) -> str:
text = DIACRITICS.sub("", text)
text = text.replace("ـ", "") # tatweel
text = re.sub("[أإآٱ]", "ا", text)
text = text.replace("ى", "ي").replace("ة", "ه")
text = text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
text = PUNCT.sub(" ", text)
return " ".join(text.split())
refs = ["ذهبت إلى المدرسة صباحاً"]
hyps = ["ذهبت الى المدرسه صباحا"]
print("raw WER:", jiwer.wer(refs, hyps))
print("normalised WER:", jiwer.wer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
print("normalised CER:", jiwer.cer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
Áp dụng đúng cùng một hàm cho bản chuẩn và giả thuyết, với mọi model bạn so sánh. Công bố hàm đó bên cạnh con số của bạn.
BroadNet báo cáo WER tiếng Ả Rập bao nhiêu?
BroadNet công bố số đo phòng thí nghiệm cho BroadNet Transcribe Arabic trong danh mục model của họ:
| Bộ test | Nội dung | WER do BroadNet báo cáo |
|---|---|---|
| FLEURS-ar | Câu đọc rõ ràng | 3,8 |
| MASC-ar | Giọng nói tiếng Ả Rập thực tế, đa dạng | 21,1 |
| Bộ phương ngữ của BroadNet | Giọng phương ngữ | 23,4 |
BroadNet cũng báo cáo model này đứng thứ 2/37 (số liệu tháng 9 năm 2026; bảng xếp hạng trực tiếp ngày 15 tháng 11, 2026 ghi nhận thứ 4/39) trên Open Universal Arabic ASR Leaderboard, và hạng 1 trong số các model có giấy phép cho phép phục vụ qua API. Đây là số liệu của BroadNet, không phải kiểm định độc lập. Bảng xếp hạng áp dụng một cách đánh giá cho mọi model, nên thứ hạng của nó dễ so sánh hơn so với số liệu trên các trang riêng của từng nhà cung cấp.
Hãy đọc khoảng chênh lệch, không chỉ con số đẹp nhất. Bước nhảy từ 3,8 lên 23,4 là khoảng cách giữa giọng đọc và phương ngữ tự nhiên của cùng một model, nên hãy test mọi ứng viên trên cả hai loại âm thanh. Âm thanh của bạn, dù là cuộc gọi tổng đài, tin nhắn thoại WhatsApp hay cuộc họp, sẽ rơi vào đâu đó trong khoảng ấy, và chỉ có test mới cho bạn biết là ở đâu.
Đo WER trên âm thanh của chính bạn thế nào?
- Lấy mẫu theo điều kiện. Nhóm các đoạn âm thanh theo phương ngữ và kênh (điện thoại, tin nhắn thoại, phòng thu). Phương pháp xây bộ test phương ngữ nói về cỡ mẫu và quy ước chính tả.
- Chép lời bằng từng ứng viên. Với BroadNet, gửi
language=ar; nếu thiếu, tiếng Ả Rập có thể trả về dưới dạng phiên âm chữ Latin. Hướng dẫn chuyển giọng nói tiếng Ả Rập thành văn bản có code, và tín dụng ban đầu $5 đủ cho khoảng 1,190 phút âm thanh. - Chuẩn hóa và chấm điểm. Dùng hàm ở trên, ghi WER và CER theo từng nhóm.
- Đọc lỗi. Sắp xếp các lỗi thay thế theo tần suất. Nếu lỗi hàng đầu là tên, số tiền hay mã sản phẩm, tác động kinh doanh lớn hơn điểm số cho thấy.
Ngoài WER nên đo gì?
WER coi mọi từ như nhau, nhưng sản phẩm của bạn thì không. Bot hỗ trợ quan tâm đến ý định; quy trình lập hóa đơn quan tâm đến con số; bộ phận tuân thủ quan tâm đến các cụm từ cụ thể. Hãy thêm một chỉ số theo nhiệm vụ bên cạnh WER: độ chính xác ý định sau khi LLM đọc bản chép lời, hoặc tỷ lệ khớp chính xác của số tiền được trích xuất. Một model có WER cao hơn một chút vẫn có thể thắng nếu lỗi của nó rơi vào những từ không quan trọng.
Về chi phí, hãy nhập số giờ âm thanh mỗi tháng vào công cụ tính chi phí chuyển giọng nói thành văn bản miễn phí, và xem model tiếng Ả Rập khác model 14 ngôn ngữ thế nào trong BroadNet Transcribe vs Transcribe Arabic.
