Một model có thể đạt điểm cao trên các benchmark tiếng Ả Rập mà vẫn vấp khi gặp một tin nhắn thoại từ Riyadh hay một tin nhắn chat từ Casablanca. Đó là phương ngữ, và đó là một bài kiểm tra khác với tiếng Ả Rập chuẩn hiện đại (MSA).
Cách hoạt động
Bouamor và cộng sự (2018), nhóm xây dựng kho ngữ liệu MADAR, mô tả tiếng Ả Rập là “a family of varieties” (Bản dịch: một họ gồm nhiều biến thể). MSA là ngôn ngữ chung của văn hóa, truyền thông và giáo dục “from Morocco to Oman” (Bản dịch: từ Morocco đến Oman), nhưng không phải tiếng mẹ đẻ của ai. Phương ngữ thường được nhóm theo vùng, như Ai Cập, Bắc Phi, Levant, vùng Vịnh và Yemen, hoặc theo tiểu vùng, như Tunisia, Lebanon, Kuwait và nhiều nơi khác. Chúng khác MSA về âm, từ vựng và hình thái học, và ở mức độ ít hơn thì khác nhau giữa các thành phố.
Ba khác biệt quan trọng nhất với phần mềm:
- Âm. Ví dụ của MADAR là chữ qaf (ق). Trong tiếng Ả Rập Tunisia nó vẫn là /q/, gần với MSA; trong tiếng Ả Rập Ai Cập và Levant nó là âm tắc thanh hầu; trong tiếng Ả Rập vùng Vịnh nó là /g/. Model giọng nói phải ánh xạ cả ba về cùng một từ viết.
- Từ vựng. Từ ngữ hằng ngày khác nhau. “Tôi muốn” là أريد trong MSA, عايز trong tiếng Ai Cập, بدي trong tiếng Levant, أبي hoặc أبغى trong tiếng vùng Vịnh và بغيت trong tiếng Ả Rập Morocco.
- Chính tả. MADAR lưu ý MSA có chính tả chuẩn còn phương ngữ thì không. Người ta viết theo âm hoặc theo từ nguyên, đôi khi bằng chữ Latin như Arabizi. Người nói cũng trộn tiếng Anh hoặc tiếng Pháp, tức là code-switching.
Phương ngữ cũng ngày càng được viết ra. MADAR gọi nó là ngôn ngữ viết chính đang nổi lên trong giao tiếp không trang trọng trên mạng. NADI 2020 xây dựng một shared task từ các tweet thuộc 100 tỉnh của 21 nước Ả Rập.
Vì sao quan trọng
- Chatbot và bot hỗ trợ. Người dùng viết như họ nói. Luật nhận diện ý định, tìm kiếm từ khóa và model phân tích cảm xúc huấn luyện trên MSA sẽ bỏ sót từ phương ngữ. Xem phương ngữ vùng Vịnh và Ai Cập với LLM.
- Chuyển giọng nói thành văn bản. Audio phương ngữ cho điểm tệ hơn nhiều so với MSA đọc trên cùng một model. Hãy xây bộ test cho từng phương ngữ, như bài về nhận dạng giọng nói phương ngữ giải thích.
- Định tuyến. Nếu câu trả lời, người duyệt hay prompt khác nhau theo vùng, hãy gắn nhãn phương ngữ trước bằng nhận dạng phương ngữ tiếng Ả Rập.
Trên BroadNet Inference
BroadNet liệt kê BroadNet Transcribe Arabic cho tiếng Ả Rập vùng Vịnh, Ai Cập, Levant, Maghreb và tiếng Ả Rập chuẩn hiện đại. BroadNet báo cáo tỷ lệ lỗi từ (WER) là 3,8 trên giọng đọc FLEURS-ar và 23,4 trên bộ phương ngữ vùng Vịnh, Ai Cập và Levant của riêng họ, cả hai đều là số đo của BroadNet. Khoảng cách đó chính là hiệu ứng phương ngữ. Hãy gửi language=ar cho tất cả; tài liệu BroadNet cảnh báo rằng nếu không, tiếng Ả Rập có thể trả về dưới dạng phiên âm chữ Latin.
Với văn bản, BroadNet báo cáo đã thử Qwen3.8 27B bằng tiếng Ả Rập và model hiểu được phương ngữ vùng Vịnh và Ai Cập. BroadNet không công bố kết quả cho văn bản Levant hay Maghreb, nên hãy tự thử bằng tin nhắn của bạn. Hướng dẫn chọn LLM cho tiếng Ả Rập so sánh các model, và hướng dẫn chuyển giọng nói tiếng Ả Rập thành văn bản có code chạy được.
Lỗi thường gặp
- Chỉ test trên văn bản tin tức MSA, rồi phát hành cho người dùng viết bằng phương ngữ.
- Lấy trung bình WER qua các phương ngữ, làm che mất phương ngữ yếu nhất.
- Chuẩn hóa chính tả phương ngữ về MSA trong văn bản hiển thị cho người dùng.