BroadRouter

Tiếng Ả Rập vùng Vịnh, Ai Cập và Levant: LLM xử lý phương ngữ ra sao

Đội ngũ BroadNet Inference · 6 phút đọc · Đăng ngày

LLM xử lý phương ngữ Ả Rập không đồng đều: chúng thường hiểu tiếng Ả Rập Ai Cập và vùng Vịnh tốt hơn viết, và chất lượng giảm với phương ngữ hiếm hơn. Hãy test hiểu và viết riêng trên tin nhắn của bạn. Trong test của BroadNet, Qwen3.8 27B hiểu phương ngữ vùng Vịnh và Ai Cập và viết tiếng Ả Rập trôi chảy. Giá $0.175 trên 1 triệu token đầu vào.

LLM thường hiểu tiếng Ả Rập vùng Vịnh và Ai Cập tốt hơn là viết, và làm kém hơn với các phương ngữ hiếm. Một khách hàng ở Riyadh, một ở Cairo và một ở Beirut đều có thể hỏi “bạn muốn gì?” bằng ba câu khác nhau, và một model xử lý tốt tiếng Ả Rập chuẩn hiện đại (MSA) vẫn có thể đọc sai họ. Hãy test khả năng hiểu và viết riêng.

Bài này nói về những gì thay đổi giữa các nhóm phương ngữ lớn, nơi LLM hay sai, và cách test một model trước khi giao cho nó khách hàng thật.

Các phương ngữ thật sự khác nhau đến đâu?

Rất khác ở từ thường ngày, gần nhau hơn nhiều ở từ vựng trang trọng. Các kho ngữ liệu nghiên cứu cho thấy quy mô: kho ngữ liệu MADAR dịch cùng các câu du lịch sang phương ngữ của 25 thành phố Ả Rập. Bảng dưới đây có vài cụm từ phổ biến. Cột MSA là dạng sách giáo khoa sẽ in; các cột khác là dạng thường gặp khi nói và nhắn tin. Chính tả khác nhau theo từng người, và đó là một phần của vấn đề.

Nghĩa MSA Vùng Vịnh (Saudi / Emirati) Ai Cập Levant
Bạn muốn gì? ماذا تريد؟ وش تبي؟ / شو تبي؟ عايز إيه؟ شو بدّك؟
Bạn khỏe không? كيف حالك؟ شلونك؟ إزيك؟ كيفك؟
bây giờ الآن الحين دلوقتي هلّق
Tôi không biết لا أعرف ما أدري مش عارف ما بعرف
rất / nhiều جداً وايد أوي كتير

Ba quy luật quan trọng với LLM:

  • Hư từ thay đổi. Từ để hỏi, phủ định và “muốn” khác hoàn toàn giữa các phương ngữ. Đây là những từ ngắn, xuất hiện thường xuyên và quyết định nghĩa của câu, nên đọc sai một từ là lật ngược ý định.
  • Chính tả không chuẩn. Phương ngữ chủ yếu là văn nói, nên người ta viết theo cách phát âm. Cùng một từ có thể xuất hiện với chữ cái khác nhau, có hoặc không có hamza, hoặc bằng chữ Latin (Arabizi).
  • Chuyển mã ngôn ngữ là bình thường. Tin nhắn kinh doanh vùng Vịnh trộn tên sản phẩm tiếng Anh; người nói Levant và Maghreb trộn tiếng Pháp. Model cần xử lý được cả hai hệ chữ trong một câu.

LLM sai ở đâu với phương ngữ Ả Rập?

Model học từ văn bản chúng thấy, và văn bản công khai cho các phương ngữ nhỏ như Emirati hay Sudan ít hơn nhiều so với tiếng Ả Rập chuẩn hiện đại. Trên thực tế điều đó thể hiện qua vài lỗi lặp lại:

  1. Đọc một từ phương ngữ thành một từ MSA khác. “أبي” (tôi muốn) của vùng Vịnh trông giống “أبي” (cha tôi) trong MSA. Ngữ cảnh thường giải quyết được, nhưng model nhỏ đôi khi không.
  2. Trả lời sai ý định. Một lời phàn nàn ngắn kiểu Ai Cập như “الطلب لسه موصلش” (đơn hàng vẫn chưa tới) đòi hỏi model biết “لسه” nghĩa là “vẫn” và “موصلش” là động từ phủ định.
  3. Viết một phương ngữ pha trộn. Khi được yêu cầu trả lời “bằng tiếng Ả Rập vùng Vịnh”, các model yếu hơn tạo ra một hỗn hợp Ai Cập, Levant và MSA mà không người bản ngữ nào viết. Điều này phổ biến hơn việc hiểu sai.
  4. Sửa quá tay. Một số model “sửa” phương ngữ của khách thành MSA khi bạn yêu cầu trích nguyên văn, làm hỏng các tác vụ trích xuất.

Quy tắc chung: model hiểu phương ngữ tốt hơn là viết. Hãy thiết kế sản phẩm xoay quanh điều đó.

BroadNet đã test gì với phương ngữ Ả Rập?

BroadNet công bố kết quả kiểm tra tiếng Ả Rập của riêng họ trên trang bảng giá. Với Qwen3.8 27B, họ báo cáo:

  • viết tiếng Ả Rập trôi chảy,
  • hiểu phương ngữ vùng Vịnh và Ai Cập,
  • dịch Ả Rập–Anh chính xác.

Đó là những gì BroadNet nêu, không hơn. Họ không công bố kết quả cho Levant, Iraq hay Maghreb, và không công bố điểm viết phương ngữ. Nếu khách hàng Levant quan trọng với bạn, hãy tự test bằng phương pháp bên dưới.

Qwen3.8 27B nhận văn bản và ảnh, hỗ trợ tool và structured output, suy luận trước khi trả lời và có context 262.144 token. Trên 1 triệu token, giá là $0.175 cho đầu vào và $2.17 cho đầu ra. So sánh các model chat khác trên trang bảng giá, và xem chọn LLM API cho tiếng Ả Rập để có danh sách kiểm tra rộng hơn, bao gồm cả viết, dịch và tài liệu.

Viết prompt cho một phương ngữ cụ thể thế nào?

Hãy nói phương ngữ bạn chờ đợi, phương ngữ bạn muốn nhận lại và mức độ trang trọng. Một system prompt hoạt động tốt cho hộp thư của một cửa hàng bán lẻ Saudi:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

system = (
    "You are a customer-service assistant for a Saudi online store. "
    "Customers write in Gulf Arabic (often Saudi), MSA, English or Arabizi. "
    "Understand all of them. Reply in simple, polite Modern Standard Arabic, "
    "in two or three short sentences. If the customer writes in English, reply in English. "
    "Never invent order details."
)

response = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    max_tokens=2000,  # the model reasons first; leave room for the answer
    messages=[
        {"role": "system", "content": system},
        {"role": "user", "content": "السلام عليكم، طلبي للحين ما وصل، وش السالفة؟"},
    ],
)
print(response.choices[0].message.content)

Tin nhắn của khách là tiếng Ả Rập vùng Vịnh: “Xin chào, đơn hàng của tôi vẫn chưa tới, có chuyện gì vậy?” Các từ “للحين” (vẫn) và “وش السالفة” (chuyện gì thế / có chuyện gì vậy) là dạng vùng Vịnh. Một câu trả lời tốt sẽ ghi nhận sự chậm trễ bằng MSA và hỏi mã đơn hàng.

Vài thói quen viết prompt khác giúp ích:

  • Nêu quốc gia, không chỉ vùng. “Tiếng Ả Rập vùng Vịnh” bao gồm giọng Saudi, Emirati, Kuwait, Qatar, Bahrain và Oman, vốn khác nhau. Nếu biết thị trường, hãy nói rõ.
  • Yêu cầu nhãn phương ngữ trong tác vụ trích xuất. Để định tuyến hoặc phân tích, hãy để model trả về {"dialect": "gulf" | "egyptian" | "levantine" | "msa" | "other", "intent": ...} bằng structured output. Đó là cách rẻ để biết khách hàng của bạn là ai.
  • Giữ chỉ dẫn trong một ngôn ngữ. Chỉ dẫn tiếng Anh với nội dung tiếng Ả Rập hoạt động tốt trên hầu hết model. Chỉ dẫn tiếng Ả Rập cũng được; trộn cả hai trong một system prompt dễ làm văn phong bị nhòe. Xem thêm trong prompt engineering cho tiếng Ả Rập.

Có nên trả lời bằng phương ngữ không?

Với hầu hết doanh nghiệp, không. MSA đơn giản (đôi khi gọi là tiếng Ả Rập “trắng” hay trung tính) được mọi người đọc tiếng Ả Rập hiểu, đọc lên chuyên nghiệp và tránh rủi ro câu trả lời nghe như của nhầm quốc gia. Trả lời bằng phương ngữ hợp lý với thương hiệu thân mật, nội dung tiếp thị viết cho một thị trường, và sản phẩm giọng nói nơi MSA nghe cứng nhắc. Nếu đi theo hướng đó, hãy để người bản ngữ của đúng phương ngữ ấy duyệt một mẫu đầu ra mỗi tuần.

Test khả năng xử lý phương ngữ trong một ngày thế nào?

  1. Thu thập tin nhắn thật. Lấy 30 đến 50 tin nhắn đã ẩn danh cho mỗi phương ngữ từ hộp thư, log chat hoặc tin nhắn thoại đã chép lời. Xóa tên, số điện thoại và mã đơn hàng.
  2. Gán nhãn ý định. Với mỗi tin nhắn, viết ý định đúng và mọi dữ kiện model cần trích xuất (mã đơn hàng, sản phẩm, ngày).
  3. Test khả năng hiểu. Yêu cầu từng model ứng viên trả về ý định và các trường dạng JSON. Chấm theo khớp chính xác. Đây là con số quyết định việc định tuyến có chạy không.
  4. Test khả năng viết. Với mười tin nhắn mỗi phương ngữ, yêu cầu một câu trả lời. Nhờ người bản ngữ chấm từng câu từ 1 đến 3 về độ đúng, giọng điệu và độ tự nhiên. Đừng chấm phương ngữ bạn không nói được.
  5. Kiểm tra chi phí và tốc độ. Ghi usage.prompt_tokens, usage.completion_tokens và độ trễ mỗi lần gọi. Văn bản phương ngữ có thể tách token khác MSA, nên hãy đo thay vì đoán; công cụ đếm token tiếng Ả Rập miễn phí cho ước tính ban đầu nhanh.
  6. Lặp lại cho từng model. Chạy cùng bộ trên Qwen3.8 27B, DeepSeek V4.1 Flash và GLM 5.3. Cả ba dùng cùng một API tương thích OpenAI, nên chỉ model id thay đổi.

Qwen3.8 27B, DeepSeek V4.1 Flash và GLM 5.3 dùng được sau khi nạp tiền; trong các model chat, tín dụng ban đầu miễn phí $5 chỉ áp dụng cho BroadNet Gemma 4 VL 26B, đáng thêm vào làm mốc so sánh chi phí thấp. Kết quả hữu ích thường là một cấu hình tách đôi: một model để hiểu và định tuyến, còn câu trả lời được soạn bằng MSA.

Còn phương ngữ trong tin nhắn thoại thì sao?

Nếu khách hàng gửi tin nhắn thoại, việc xử lý phương ngữ bắt đầu sớm hơn, ở bước chuyển giọng nói thành văn bản. Model chép lời có thể nghe nhầm một từ phương ngữ trước khi LLM kịp thấy nó. BroadNet báo cáo tỷ lệ lỗi từ phương ngữ là 23,4 cho BroadNet Transcribe Arabic, so với 3,8 trên giọng đọc FLEURS; xem giải thích WER tiếng Ả Rập để biết những con số đó nghĩa là gì. Hãy test toàn bộ chuỗi, từ tin nhắn thoại đến câu trả lời, không test từng phần riêng lẻ.

Câu hỏi thường gặp

Chatbot của tôi có nên trả lời bằng phương ngữ của khách không?

Thường là không, khi để mặc định. Tiếng Ả Rập chuẩn hiện đại đơn giản được hiểu ở mọi nơi và trông chuyên nghiệp. Chỉ dùng câu trả lời bằng phương ngữ khi giọng thương hiệu đòi hỏi, và chỉ sau khi người bản ngữ đã duyệt đầu ra.

BroadNet đã test model nào với phương ngữ Ả Rập?

Qwen3.8 27B. BroadNet báo cáo khả năng viết tiếng Ả Rập trôi chảy, hiểu phương ngữ vùng Vịnh và Ai Cập, và dịch Ả Rập–Anh chính xác. Họ chưa công bố kết quả cho Levant hay Maghreb.

Cần bao nhiêu tin nhắn test cho mỗi phương ngữ?

Ba mươi đến năm mươi tin nhắn thật cho mỗi phương ngữ là đủ để thấy khác biệt rõ giữa các model. Thêm nhiều hơn cho phương ngữ mà phần lớn khách hàng của bạn dùng.

Tin nhắn phương ngữ có tốn nhiều token hơn không?

Có thể. Số token phụ thuộc vào tokenizer và chính tả, và văn bản phương ngữ thường có chính tả không chuẩn. Hãy dán mẫu vào công cụ đếm token và xác nhận bằng prompt_tokens trên tin nhắn của chính bạn thay vì phỏng đoán.

LLM có hiểu tiếng Ả Rập Ai Cập không?

Thường là có, nhưng hãy kiểm tra trên tin nhắn của bạn. BroadNet báo cáo Qwen3.8 27B hiểu tiếng Ả Rập Ai Cập và vùng Vịnh trong các bài test của họ; các model khác thì khác nhau. Viết phương ngữ thường kém tin cậy hơn đọc, nên hãy chấm độ chính xác ý định và chất lượng câu trả lời riêng trên 30 đến 50 tin nhắn thật.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity