BroadRouter

Nhận dạng phương ngữ tiếng Ả Rập

Cập nhật

Nhận dạng phương ngữ tiếng Ả Rập là bài toán xác định một văn bản hay bản ghi âm thuộc biến thể nào, như Ai Cập, vùng Vịnh, Levant, Maghreb hay tiếng Ả Rập chuẩn hiện đại, ở cấp vùng, quốc gia hoặc thành phố. Nó dùng để định tuyến tin nhắn, chọn prompt và chia tập đánh giá.

Còn gọi là: nhận dạng phương ngữ, phát hiện phương ngữ, phân loại phương ngữ tiếng Ả Rập, dialect identification, dialect detection, ADI, NADI

Muốn trả lời người dùng bằng phương ngữ của họ, trước hết bạn phải biết họ viết bằng phương ngữ nào. Đó là nhận dạng phương ngữ.

Cách hoạt động

Giới nghiên cứu đo bài toán này qua các shared task NADI (Nuanced Arabic Dialect Identification). NADI 2020 dùng tweet trải trên 100 tỉnh ở 21 quốc gia Ả Rập, với một subtask cấp quốc gia và một subtask cấp tỉnh. NADI 2024 đặt nhận dạng phương ngữ thành bài toán đa nhãn, vì một câu có thể hợp lệ trong nhiều phương ngữ, và thêm một subtask về mức độ “phương ngữ hóa” (dialectness). Hệ thống tốt nhất ở Subtask 1 đạt 50,57 F1, và ban tổ chức viết rằng nhận dạng phương ngữ vẫn còn khó.

Corpus MADAR (Bouamor và cộng sự, 2018) là một tài nguyên phổ biến: cùng các câu thuộc chủ đề du lịch được dịch sang 25 phương ngữ thành phố. 2.000 câu có ở cả 25 phương ngữ; thêm 10.000 câu nữa có cho Doha, Beirut, Cairo, Tunis và Rabat. Dữ liệu song song như vậy cho bạn thấy cùng một ý được viết thế nào ở từng nơi.

Trong thực tế, phần lớn sản phẩm chỉ cần nhãn thô hơn. Một bộ nhãn dùng được:

Nhãn Bao gồm
msa Tiếng Ả Rập chuẩn hiện đại
gulf Saudi, UAE, Kuwait, Qatar, Bahrain, Oman
egyptian Ai Cập
levantine Syria, Lebanon, Jordan, Palestine
maghrebi Morocco, Algeria, Tunisia, Libya
other_or_unclear Iraq, Yemen, Sudan, trộn lẫn hoặc quá ngắn

Prompt LLM cho việc này yêu cầu một đối tượng JSON: nhãn, độ tin cậy và những từ đã để lộ phương ngữ. Ví dụ, tin nhắn عايز أغير الباقة sẽ trả về:

{"dialect": "egyptian", "confidence": "high", "cues": ["عايز"]}

Yêu cầu cung cấp dấu hiệu (cues) giúp dễ rà soát lỗi: nếu dấu hiệu là một từ tiếng Ả Rập chuẩn thì nhãn đáng ngờ.

Vì sao quan trọng

  • Định tuyến. Chuyển khách vùng Vịnh cho nhân viên vùng Vịnh, hoặc đổi prompt trả lời sang phương ngữ của người dùng.
  • Đánh giá. Chia tập test giọng nói và chat theo phương ngữ. Một con số trung bình duy nhất che mất nhóm yếu nhất, như bài viết về nhận dạng giọng nói phương ngữ cho thấy.
  • Phân tích. Biết người dùng của bạn thực sự viết phương ngữ nào trước khi đầu tư vào một phương ngữ.

Tin nhắn trộn lẫn rất phổ biến. Người dùng chuyển qua lại giữa phương ngữ, tiếng Ả Rập chuẩn và tiếng Anh trong một dòng, đó là code-switching; hãy giữ nhãn “không rõ” thay vì ép model đoán.

Trên BroadNet Inference

BroadNet không có endpoint nhận dạng phương ngữ. Bạn có thể tự dựng trên POST /v1/chat/completions. Tài liệu tham chiếu API của BroadNet mô tả structured output cho GLM 5.3 và Qwen3.8 27B, rất hợp với danh sách nhãn cố định; xem structured output. BroadNet cho biết đã thử Qwen3.8 27B và model hiểu được phương ngữ vùng Vịnh và Ai Cập. BroadNet không công bố độ chính xác nhận dạng phương ngữ cho model nào, vì vậy hãy tự gắn nhãn khoảng 100 tin nhắn của bạn và đo model trên đó trước khi dựa vào nó.

Bài viết về phân loại văn bản tiếng Ả Rập trình bày prompt, danh sách nhãn và cách chấm điểm cho loại bài toán này, còn tiếng Ả Rập phương ngữ giải thích ý nghĩa các nhãn.

Câu hỏi thường gặp

Nhận dạng phương ngữ tiếng Ả Rập chính xác tới đâu?

Còn tùy độ chi tiết và độ dài văn bản. Ở NADI 2024, hệ thống tốt nhất đạt 50,57 F1 cho nhận dạng phương ngữ đa nhãn, và ban tổ chức kết luận bài toán vẫn còn khó. Gắn nhãn cấp vùng cho tin nhắn dài dễ hơn nhãn cấp quốc gia hay thành phố cho tin nhắn ngắn.

Một tin nhắn có thể thuộc nhiều phương ngữ không?

Có. Câu ngắn hoặc trung tính có thể hợp lệ trong nhiều phương ngữ, vì vậy NADI 2024 đặt nhận dạng phương ngữ thành bài toán đa nhãn. Hãy cho phép câu trả lời “không rõ” hoặc nhiều nhãn.

Có cần một bộ phân loại riêng không?

Lúc đầu thì không. Một LLM với danh sách nhãn cố định dựng lên rất nhanh. Hãy đo nó trên một mẫu bạn tự gắn nhãn; chuyển sang bộ phân loại được huấn luyện khi khối lượng hoặc yêu cầu độ chính xác đòi hỏi.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity