阿拉伯语校对看起来只要一行提示词:“纠正这段文本”。实际上,模型还会改写措辞、加注音符号、把方言词换成书面词,并解释它的改动,你根本分不清哪些修改是必要的。本文基于 OpenAI 兼容的大模型构建一个纠错器:它只做最少的修改,在代码里检查回复,按错误类型标注每处修改,并按研究基准的方式给整体打分。
大模型做阿拉伯语语法纠错的水平如何?
标准基准是 QALB 共享任务。QALB-2014 使用半岛电视台网站上的现代标准阿拉伯语评论:训练文本超过一百万词,包含约 306,000 处纠正,测试集约 50,000 词。QALB-2015 增加了第二个赛道,内容是以阿拉伯语为外语的学习者(L2)写的作文。两届都用 M2 scorer 按修改给系统打分。最佳 F1(越高越好):
| 测试集 | 最佳系统 F1 | 文本 |
|---|---|---|
| QALB-2014 测试集 | 67.91 | 母语者的新闻评论 |
| QALB-2015 母语者测试集 | 72.87 | 母语者的新闻评论 |
| QALB-2015 L2 测试集 | 41.20 | 学习者作文 |
L2 那一行是有用的警示。学习者的文本有更多用词错误和漏词,最佳系统的得分也低得多。如果你的用户是学习者,你的数字会更像那一行。
随后,Kwon、Bhatia、Nagoudi 与 Abdul-Mageed(ArabicNLP 2023)在 QALB-2014 测试集上运行了 ChatGPT 和 GPT-4。使用同一个评分器:
| 系统 | F1 |
|---|---|
| ChatGPT,1 个示例 | 53.59 |
| ChatGPT,5 个示例 | 63.98 |
| GPT-4,5 个示例 | 65.49 |
| AraT5v2,微调 | 67.70 |
有两个细节对你的提示词很重要。示例越多,效果提升越明显。而零样本提示词和用阿拉伯语写的提示词,得到的回复里充满了解释,作者无法自动评分。纠错器需要程序能够 diff 的输出。
为什么不直接规范化文本?
本站的阿拉伯语文本规范化工具会去掉 tashkeel 和 tatweel,把 أ إ آ 映射为 ا,还可以选择把 ى 映射为 ي、把 ة 映射为 ه。对搜索来说这是正确的一步,因为输入 احمد 的用户应该能找到 أحمد。但在纠错之前这是错误的一步,因为它抹掉了纠错器需要恢复的区别。规范化之后,انا 和 أنا 是同一个字符串,hamza 错误消失了,修正也随之消失。
两者都需要时,保留三份:原文、给用户看的纠正后文本,以及用于搜索索引的纠正后文本的规范化副本。索引这一侧见面向搜索的阿拉伯语文本规范化。有一步规范化确实应该放在纠错之前:Unicode NFC。它把分解形式的 alif 加组合 hamza 合并成一个字符,这样 diff 就不会报告并不存在的改动。
提示词应该怎么写?
要求最小改动,点名你关心的错误类型,禁止你不想要的改动,并要求只返回纠正后的文本。指令用英语还是阿拉伯语写,由你决定;两者的取舍见阿拉伯语提示词工程。Kwon 等人用英语指令加示例得到了可用的输出。从你自己的数据中加入三到五对纠正前后的句子(少样本),是最值得先试的低成本改进。
把 temperature 设为 0,你希望每次得到相同的纠正。如果文本是埃及或海湾等方言,要说明是否保留方言。下面的提示词假定文本是现代标准阿拉伯语(MSA),并告诉模型不要改变风格,这也涵盖了方言。
如何检查模型的回复?
代码发出一个请求,测量回复与输入的差异程度,提取词级修改并为每一处打上标签。
import difflib, os, re, unicodedata
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
SYSTEM = """You are an Arabic proofreader. Correct spelling, grammar and punctuation
errors in the user's Modern Standard Arabic text with the fewest possible edits.
Rules:
- Fix hamza, taa marbuta (ة/ه), alef maqsura (ى/ي), agreement, missing or extra
letters, wrongly split or merged words, and punctuation.
- Do not rephrase, reorder, shorten, translate or change the style or dialect.
- Do not add or remove diacritics (tashkeel).
- If the text is already correct, return it unchanged.
Reply with the corrected text only: no explanation, no quotes, no list of changes."""
def tokens(s: str) -> list[str]:
s = unicodedata.normalize("NFC", s) # composed hamza forms, so أ is one character
return re.findall(r"\w+|[^\w\s]", s) # Arabic letters are \w; ، ؟ ؛ become tokens
def edits(src: str, hyp: str) -> list[tuple]:
"""Word-level edits (start, end, replacement, original): the idea behind an M2 file's A lines."""
a, b = tokens(src), tokens(hyp)
out = []
for op, i1, i2, j1, j2 in difflib.SequenceMatcher(None, a, b, autojunk=False).get_opcodes():
i, j = i1, j1
while op != "equal" and (i < i2 or j < j2): # split the block into one-word edits
if i + 1 < i2 and j < j2 and a[i] + a[i + 1] == b[j]: # و قابلت -> وقابلت
out.append((i, i + 2, b[j], f"{a[i]} {a[i + 1]}")); i += 2; j += 1
elif i < i2 and j + 1 < j2 and a[i] == b[j] + b[j + 1]: # عبدالله -> عبد الله
out.append((i, i + 1, f"{b[j]} {b[j + 1]}", a[i])); i += 1; j += 2
elif i < i2 and j < j2:
out.append((i, i + 1, b[j], a[i])); i += 1; j += 1
elif i < i2: # deleted word
out.append((i, i + 1, "", a[i])); i += 1
else: # inserted word
out.append((i, i, b[j], "")); j += 1
return out
HAMZA = str.maketrans("أإآٱؤئ", "ااااوي")
RULES = [("hamza", lambda w: w.translate(HAMZA).replace("ء", "")),
("taa marbuta", lambda w: w.replace("ة", "ه")),
("alef maqsura", lambda w: w.replace("ى", "ي"))]
def error_class(orig: str, corr: str) -> str:
if all(not c.isalnum() for c in (orig + corr).replace(" ", "")):
return "punctuation"
if orig != corr and orig.replace(" ", "") == corr.replace(" ", ""):
return "merge" if " " in orig else "split"
for name, f in RULES:
if orig != corr and f(orig) == f(corr):
return name
both = lambda w: RULES[2][1](RULES[1][1](RULES[0][1](w)))
if both(orig) == both(corr):
return "mixed orthography"
return "other"
def correct(text: str, model="broadnet/qwen3.8-27b", min_similarity=0.8) -> dict:
r = client.chat.completions.create(
model=model, temperature=0, max_tokens=2000,
messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
out = r.choices[0].message.content.strip()
sim = difflib.SequenceMatcher(None, text, out, autojunk=False).ratio()
if sim < min_similarity: # a rewrite, not a correction: keep the original
return {"text": text, "edits": [], "rejected": out, "similarity": round(sim, 2)}
return {"text": out, "similarity": round(sim, 2),
"edits": [{"from": o, "to": c, "class": error_class(o, c)} for _, _, c, o in edits(text, out)]}
我们在返回预设回复的本地模拟服务器上运行了它(没有调用线上 API,模拟服务器返回的就是我们写好的内容)。对于 ذهبت الى المدرسه و قابلت المعلمه في الصباح,回复 ذهبت إلى المدرسة وقابلت المعلمة في الصباح 产生了四处修改:الى 改为 إلى(hamza)、المدرسه 改为 المدرسة(taa marbuta)、و قابلت 改为 وقابلت(合并)、المعلمه 改为 المعلمة(taa marbuta)。对于 مشي الي,它列出了 مشي 改为 مشى(alef maqsura)和 الي 改为 إلى(混合正字法,因为同时修正了 hamza 和 alef maqsura)。一条把 الطقس جميل اليوم 改成两倍长句子的预设回复,相似度只有 0.52,所以代码保留了原文并记录了这条回复。
关于这段代码:
- **相似度校验是一把钝刀。**拼写错误很多的句子,相似度正当地落在 0.8 附近也是可能的。请用你自己的数据调整阈值,把被拒收的回复交给人处理,而不是直接丢掉。
max_tokens=2000为思考留出空间。BroadNet 的文档说明,DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考再作答,思考内容计入max_tokens;也可以把reasoning_effort设为 low。参见思考模型返回空响应。- 类别标签是规则,不是句法分析器。“其他”包括漏写字母(مسؤل 改为 مسؤول)、一致关系和用词。需要完整分类体系时,用 ARETA(见下文)处理同样的句对。
应该跟踪哪些错误类别?
QALB 组织者指出,带 hamza 的 alif 以及 alef maqsura 与 ya 的混淆是最常见的阿拉伯语拼写错误。ARETA 是 CAMeL Lab 的错误类型标注工具(Belkebir 与 Habash,CoNLL 2021),使用基于 Arabic Learner Corpus 的标签集。其正字法标签包括 OH(hamza)、OT(ha 与 taa marbuta)和 OA(alif 与 ya),此外还有词法、句法、语义、标点、合并(MG)和拆分(SP)标签。论文报告,与人工标注的学习者文本相比,它的微平均 F1 为 85.8%。
| 类别 | 错误写法 | 正确写法 | 错在哪里 |
|---|---|---|---|
| Hamza | انا، الى، مسأله | أنا، إلى، مسألة | 缺少 hamza、hamza 位置不对,或写在 alif 的错误一侧 |
| Taa marbuta | المدرسه | المدرسة | 词尾的 ة 写成了 ه,或者反过来 |
| Alef maqsura | مشي، علي(介词) | مشى، على | 词尾的 ى 写成了 ي;علي 也是人名,要靠上下文判断 |
| 合并或拆分 | و قابلت، عبدالله | وقابلت، عبد الله | و 和 ال 前后的空格、复合人名 |
| 标点 | 缺少 ، 或 ؟ | 已补上 | QALB 标注者在标点上的一致性最低 |
按类别跟踪召回率。如果一个模型能纠正 taa marbuta,却漏掉介词后的 hamza,它需要的是这种模式的示例,而不是换一个模型。
如何给纠错器打分?
语法纠错按修改打分。把原句变成人工纠正的标准句所需的修改,与把原句变成模型输出所需的修改进行比较。精确率是模型修改中与标准一致的比例;召回率是标准修改中被模型做出的比例。QALB 报告的是 F1;后来的研究(包括 Kwon 等人)也报告 F0.5,它对精确率的权重是召回率的两倍,因为一次错误的“纠正”比一次漏改更让用户恼火。
from collections import Counter
def score(sources, golds, hyps, beta=0.5):
"""Exact-match edit scoring: an edit counts only if span and replacement both match gold."""
tp = fp = fn = 0
by_class = Counter()
for s, g, h in zip(sources, golds, hyps):
G = {e[:3] for e in edits(s, g)}
H = {e[:3] for e in edits(s, h)}
tp += len(G & H); fp += len(H - G); fn += len(G - H)
for e in edits(s, g):
by_class[(error_class(e[3], e[2]), e[:3] in H)] += 1
p = tp / (tp + fp) if tp + fp else 1.0
r = tp / (tp + fn) if tp + fn else 1.0
f = (1 + beta**2) * p * r / (beta**2 * p + r) if p + r else 0.0
recall = {c: f"{by_class[(c, True)]}/{by_class[(c, True)] + by_class[(c, False)]}"
for c in sorted({c for c, _ in by_class})}
return {"P": round(p, 3), "R": round(r, 3), f"F{beta}": round(f, 3), "recall by class": recall}
在一个包含七处标准修改的两句示例集上,输出漏掉了合并和一处 taa marbuta,又多加了一个句号,脚本输出 P 0.833、R 0.714、F0.5 0.806,各类别召回率为:hamza 2/2、taa marbuta 2/3、合并 0/1。
这是简化版的 M2 思路。官方 M2 scorer 会搜索与标准答案最匹配的系统修改对齐方式,因此即使一处正确的修正被拆分的方式与标准不同,也不会被扣分。我们的精确匹配更严格。与已发表的数字对比时,请使用官方评分器(它的开发版仍然需要 Python 2)。ERRANT 做的是同样的修改提取,但只支持英语。
用真实用户文本构建标准集,100 到 200 句,由一位细心的标注者按照你给模型的同一套最小改动规则来纠正。用它运行每个候选模型和提示词,比较 F0.5 和各类别召回率。如何公平地做这种比较,见切换模型前如何评估大模型。
Tibyan 和合成数据怎么样?
带标注的阿拉伯语纠错数据很稀缺。Alrehili 与 Alhothali 指出,QALB-14 和 QALB-15 加起来约有 20,500 个平行样本。他们的 Tibyan 语料库(arXiv 2024,后发表于 PeerJ Computer Science)用 ChatGPT 根据讲解常见阿拉伯语错误的书籍生成错误句与正确句的句对,并由语言学家审核。它约有 600,000 个 token,涵盖七种错误类型:正字法、词法、句法、语义、标点、合并和拆分。作者表示该语料库是公开的;我们没有找到下载链接来核实其许可证。它适合用作少样本示例和压力测试,但它是合成数据,不要用它作为验收测试。
如果你需要非大模型的基线,CAMeL Lab 的 arabic-gec 仓库发布了 Alhafni 等人(EMNLP 2023)的代码和模型。只查拼写的话,ar-corrector 包会给出一到两处编辑以内的词典词;它不处理语法,最后一次发布是在 2021 年。
应该用 BroadNet 的哪个模型?
价格为每百万 token,来自 BroadNet 价格页面。纠错输出与输入长度相当,所以输出价格很重要。
| 模型 | 理由 | 输入 / 输出 |
|---|---|---|
| Qwen3.8 27B | 文档注明支持思考;BroadNet 报告做过阿拉伯语测试,包括海湾和埃及方言理解 | $0.175 / $2.17 |
| GLM 5.3 | 文档注明支持思考;长上下文,可处理整篇文档 | $0.78 / $3.46 |
| DeepSeek V4.1 Flash | 这里思考模型中输出价格最低;也有固定价格的会话套餐 | $0.175 / $0.52 |
| Gemma 4 VL 26B | 可以用 $5 的初始额度运行,充值前就能搭好流水线 | $0.10 / $0.22 |
用每个模型在你的标准集上运行评分器,根据 F0.5 和价格做选择。阿拉伯语每个词通常比英语消耗更多 token;把样本粘贴到阿拉伯语 token 计数器,再用 LLM API 成本计算器估算账单。如果要校对大型档案:BroadNet 没有 Batch API,没有 Batch API 时的批量处理介绍了如何在限定并发下运行,或者使用每周 $15 的 DeepSeek 会话(每个会话一次一个请求)。
BroadNet Inference 的定位
BroadRouter 是 BroadNet 自己的网站。BroadNet Inference 以 OpenAI 兼容方式提供上述模型,所以只要改一下 base URL,代码就能用 OpenAI Python SDK 运行。它没有校对端点,也没有发布自己的阿拉伯语纠错基准,所以请用你的文本测量。它的隐私声明表示不保留推理内容,这在校对客户消息时很重要。如果你需要一个自托管、面向极大批量的纠错器,CAMeL Lab 那样的微调模型可能更便宜、更稳定;上面已发表的分数正是两者都要测试的理由。
