BroadRouter

海湾、埃及和黎凡特阿拉伯语:大模型如何处理方言

BroadNet Inference 团队 · 阅读约 6 分钟 · 发布于

大模型对阿拉伯语方言的处理参差不齐:通常理解埃及和海湾阿拉伯语的能力强于书写能力,遇到较少见的方言质量会下降。请用你自己的消息分别测试理解和书写。在 BroadNet 自己的测试中,Qwen3.8 27B 能理解海湾和埃及方言,并能写出流畅的阿拉伯语。它的价格是每百万输入 token $0.175。

大模型理解海湾和埃及阿拉伯语的能力,通常强于书写它们的能力,在较少见的方言上表现更差。利雅得、开罗和贝鲁特的客户,可以用三句完全不同的话问“你想要什么?”,一个能很好处理现代标准阿拉伯语(MSA)的模型,仍然可能读错。理解和书写要分开测试。

本文介绍几大方言群之间有哪些不同、大模型容易在哪里出错,以及在把真实客户交给模型之前如何测试它。

各方言之间到底差多少?

日常词汇差别很大,正式词汇则接近得多。研究语料能说明这种差距的规模:MADAR 语料库把同一批旅行用语翻译成了 25 个阿拉伯城市的方言。下表列出几个常用短语。MSA 一栏是课本上的写法,其余是典型的口语和短信写法。拼写因人而异,这本身就是问题的一部分。

意思 MSA 海湾(沙特 / 阿联酋) 埃及 黎凡特
你想要什么? ماذا تريد؟ وش تبي؟ / شو تبي؟ عايز إيه؟ شو بدّك؟
你好吗? كيف حالك؟ شلونك؟ إزيك؟ كيفك؟
现在 الآن الحين دلوقتي هلّق
我不知道 لا أعرف ما أدري مش عارف ما بعرف
很 / 非常多 جداً وايد أوي كتير

对大模型来说,有三个规律很重要:

  • **功能词不同。**疑问词、否定词和“想要”在各方言之间完全不同。这些是短小、高频、决定句子意思的词,读错一个,意图就反了。
  • **拼写不规范。**方言主要用于口头,所以人们按发音来写。同一个词可能用不同的字母写,带不带 hamza 都有,或者用拉丁字母写(Arabizi)。
  • **语码转换很常见。**海湾的商务消息夹杂英文产品名;黎凡特和马格里布的人会夹杂法语。模型需要在一句话里同时应对两种文字。

大模型在阿拉伯语方言上会在哪里出错?

模型从它见过的文本中学习,而阿联酋或苏丹方言这类较小方言的公开文本,比现代标准阿拉伯语少得多。实际表现为几种反复出现的错误:

  1. **把方言词读成另一个 MSA 词。**海湾方言的“أبي”(我想要)看起来像 MSA 的“أبي”(我的父亲)。上下文通常能消除歧义,但小模型有时做不到。
  2. **答错意图。**像“الطلب لسه موصلش”(订单还没到)这样简短的埃及方言投诉,需要模型知道“لسه”的意思是“还”,而“موصلش”是一个否定动词。
  3. **写出混杂的方言。**被要求“用海湾阿拉伯语”回复时,能力较弱的模型会写出埃及方言、黎凡特方言和 MSA 的混合体,没有哪个母语者会这样写。这比理解错误更常见。
  4. **过度纠正。**你要求模型引用客户原话时,有些模型会把客户的方言“改正”成 MSA,这会破坏抽取任务。

总的规律是:**模型理解方言的能力强于书写方言的能力。**围绕这一点来设计你的产品。

BroadNet 在阿拉伯语方言上测试过什么?

BroadNet 在其价格页面上公布了自己的阿拉伯语检查结果。对于 Qwen3.8 27B,它报告:

  • 能流畅书写阿拉伯语,
  • 能理解海湾和埃及方言,
  • 能准确进行阿拉伯语–英语翻译。

这就是 BroadNet 的说法,仅此而已。它没有公布黎凡特、伊拉克或马格里布方言的结果,也没有公布方言书写的分数。如果黎凡特客户对你很重要,请用下面的方法自己测试。

Qwen3.8 27B 接受文本和图片,支持工具调用和结构化输出,会先思考再作答,上下文为 262,144 个 token。每百万 token 输入 $0.175、输出 $2.17。在价格页面上比较其他对话模型,并参阅为阿拉伯语选择大模型 API 中更全面的检查清单,它还涵盖书写、翻译和文档。

怎样针对特定方言给大模型写提示词?

说明你预期会遇到哪种方言、希望用哪种回复,以及正式程度。下面是一个适用于沙特零售收件箱的系统提示词:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

system = (
    "You are a customer-service assistant for a Saudi online store. "
    "Customers write in Gulf Arabic (often Saudi), MSA, English or Arabizi. "
    "Understand all of them. Reply in simple, polite Modern Standard Arabic, "
    "in two or three short sentences. If the customer writes in English, reply in English. "
    "Never invent order details."
)

response = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    max_tokens=2000,  # the model reasons first; leave room for the answer
    messages=[
        {"role": "system", "content": system},
        {"role": "user", "content": "السلام عليكم، طلبي للحين ما وصل، وش السالفة؟"},
    ],
)
print(response.choices[0].message.content)

客户消息是海湾阿拉伯语:“你好,我的订单到现在还没到,怎么回事?”其中“للحين”(还)和“وش السالفة”(怎么回事)是海湾方言的说法。好的回复会用 MSA 承认延误,并询问订单号。

还有几个有帮助的提示词习惯:

  • 写明国家,而不只是地区。“海湾阿拉伯语”涵盖沙特、阿联酋、科威特、卡塔尔、巴林和阿曼的口语,它们彼此不同。如果你知道目标市场,就写出来。
  • **在抽取任务中要求返回方言标签。**做路由或分析时,用结构化输出让模型返回 {"dialect": "gulf" | "egyptian" | "levantine" | "msa" | "other", "intent": ...}。这是了解你的客户是谁的低成本方法。
  • **指令只用一种语言。**在大多数模型上,英文指令配阿拉伯语内容效果很好。阿拉伯语指令也可以;但在一个系统提示词里混用两种语言,往往会让语体变得模糊。详见阿拉伯语提示词工程。

到底该不该用方言回复?

对大多数企业来说,不该。简单的 MSA(有时称为“白话”或中性阿拉伯语)每个阿拉伯语读者都能看懂,显得专业,也避免了回复听起来像是另一个国家的风险。方言回复适合风格随意的品牌、为单一市场撰写的营销文案,以及 MSA 听起来太生硬的语音产品。如果你选择这条路,请每周让该方言的母语者审核一批输出样本。

怎样在一天之内测试方言处理能力?

  1. **收集真实消息。**从你的收件箱、聊天记录或转写的语音消息中,每种方言取 30 到 50 条已匿名化的消息。删除姓名、电话号码和订单号。
  2. **标注意图。**为每条消息写出正确的意图,以及模型应当抽取的事实(订单号、产品、日期)。
  3. **测试理解。**让每个候选模型以 JSON 返回意图和字段。按完全匹配打分。这个数字决定路由是否可用。
  4. **测试书写。**每种方言取十条消息,让模型回复。请母语者从正确性、语气和自然度三方面给每条回复打 1–3 分。不要给你自己不会说的方言打分。
  5. **检查成本和速度。**记录每次调用的 usage.prompt_tokens、usage.completion_tokens 和延迟。方言文本的分词方式可能与 MSA 不同,所以要测量而不是猜;免费的阿拉伯语 token 计数器可以快速给出初步估计。
  6. **对每个模型重复一遍。**在 Qwen3.8 27B、DeepSeek V4.1 Flash 和 GLM 5.3 上运行同一套测试。三者使用同一个 OpenAI 兼容 API,只需更改模型 id。

Qwen3.8 27B、DeepSeek V4.1 Flash 和 GLM 5.3 需要充值后使用;在对话模型中,免费的 $5 初始额度只覆盖 BroadNet Gemma 4 VL 26B,值得把它加进来作为低成本基线。一个常见的有用结论是拆分架构:一个模型负责理解和路由,回复用 MSA 起草。

语音消息里的方言怎么办?

如果你的客户发语音消息,方言处理从更早的环节,也就是语音转文字就开始了。转写模型可能在大模型看到之前就把一个方言词听错。BroadNet 报告,BroadNet Transcribe Arabic 的方言词错误率为 23.4,而在 FLEURS 朗读语音上为 3.8;这些数字的含义见阿拉伯语 WER 详解。要测试从语音消息到回复的整条链路,而不是孤立地测试每一环。

常见问题

聊天机器人应该用客户的方言回复吗?

默认通常不应该。简单的现代标准阿拉伯语到处都能看懂,也显得专业。只在品牌调性需要的地方用方言回复,而且要在母语者审核过输出之后。

BroadNet 用哪个模型测试过阿拉伯语方言?

Qwen3.8 27B。BroadNet 报告它能流畅书写阿拉伯语、理解海湾和埃及方言,并能准确进行阿拉伯语–英语翻译。BroadNet 没有公布黎凡特或马格里布方言的结果。

每种方言需要多少条测试消息?

每种方言 30 到 50 条真实消息,就足以看出模型之间的明显差异。对大多数客户使用的那种方言,再多加一些。

方言消息会消耗更多 token 吗?

有可能。token 数取决于分词器和拼写,而方言文本的拼写常常不规范。把样本粘贴到 token 计数器里,再用你自己消息的 prompt_tokens 确认,不要凭假设。

大模型能听懂埃及阿拉伯语吗?

通常能,但要用你自己的消息检查。BroadNet 报告,在其测试中 Qwen3.8 27B 能理解埃及和海湾阿拉伯语;其他模型参差不齐。书写方言通常不如阅读方言可靠,所以要在 30 到 50 条真实消息上分别给意图准确率和回复质量打分。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity