BroadRouter

用大模型做阿拉伯语命名实体抽取:JSON、日期与校验

BroadNet Inference 团队 · 阅读约 7 分钟 · 发布于

让模型把每个实体按原文照抄,从固定列表中选类型,以 JSON 返回。在代码里逐个校验实体:去掉变音符号、统一 alef 写法后,它必须出现在原文中。伊斯兰历日期用 hijridate 这类库换算,不要交给模型。用人工标注的样本,按实体级精确率、召回率和 F1 打分。

命名实体抽取把一段文字变成代码可以使用的记录:谁、哪个机构、在哪里、什么时候。阿拉伯语带来了英语流水线很少遇到的四个问题:可选的变音符号、同一个字母的多种写法、用拉丁字母写的名字(Arabizi),以及两种历法的日期。本文在 OpenAI 兼容的大模型上搭建一个抽取步骤,在代码中逐一处理这些问题,并提供一个评分脚本,告诉你它在你的文本上是否可用。

如果要给整条消息分类,而不是从中抽取片段,请看阿拉伯语文本分类。关于 JSON 请求选项本身,请看 JSON 模式与 json_schema 对比。

大模型做阿拉伯语 NER 效果如何?

我们找到的最相关的公开测量是 LAraBench(Abdelali 等,EACL 2024),它在阿拉伯语 NER 数据集上以逐 token 标注的方式测试了 GPT-3.5 和 GPT-4。指标为 macro-F1,越高越好:

数据集 GPT-3.5 零样本 GPT-4 零样本 GPT-4 3 样本 引用的微调系统
ANERcorp(新闻) 0.210 0.355 0.420 0.886
AQMAR(维基百科) 0.230 0.365 0.390 0.690
QASR(转写文本) 0.208 0.504 n/a 0.698

示例越多越好:GPT-4 在 ANERcorp 上从无示例时的 0.355 提高到十个示例时的 0.451。作者还不得不重新映射模型用自己格式写出的标签,比如把 PER-B 映射为 B-PER。

解读时要谨慎。这些是 2023 年的模型,在基准标签集上做严格的标注任务。如今的模型如果被要求从一张客服工单里列出人名和公司名,可能表现好得多,也可能不会。这张表告诉你两件依然成立的事:大模型并不天然就是好的 NER 系统,你需要自己的测量。

有哪些阿拉伯语 NER 数据集?

数据集 文本 规模与标签
ANERcorp 新闻 约 150,000 个 token;人名、地点、机构、其他。CAMeL Lab 发布了标准的训练/测试划分
CLEANANERCorp 修正版 ANERcorp 修正了原版中发现的标注错误、缺失标签和不一致之处
AQMAR 阿拉伯语维基百科 来自 28 篇文章的 74,000 个 token
Wojood MSA 和方言 约 550,000 个 token,21 种实体类型,嵌套;用于 WojoodNER 2023 共享任务
CANERCorpus 古典阿拉伯语圣训 7,000 多条圣训,20 种伊斯兰主题类型

用它们来检验提示词是否靠谱,而不是当作验收测试。你的实体类型(客户、产品、分店、合同编号)会与它们不同,许可证也各不相同。商用之前逐一检查。

提示词应该要求什么?

三条规则让输出可以校验:

  1. **原样照抄片段。**不翻译,不音译,不把名“补全”成全名。如果需要英文拼写,另设一个字段来要求,并把它视为未经核实。
  2. **封闭的类型列表。**PERSON、ORG、LOCATION、DATE,或你自己的一套。自由形式的类型无法评分。
  3. **日期给出组成部分,而不是换算结果。**要求按原文给出年、月、日,再加上历法。末尾的 هـ 表示伊斯兰历日期;م 表示公历。

指令用英语或阿拉伯语写都可以;阿拉伯语提示词工程讲了其中的取舍。把 JSON 结构放在系统提示词里,并在每次请求中保持一致,这样它就能被缓存。

怎么把实体与原文核对?

模型可能返回原文根本没提到的名字,也可能正确照抄了名字,却去掉了变音符号。简单的子串测试分不清这两种情况。先把两边都归一化:去掉 tashkeel 和 tatweel,统一 alef 写法,并把 عبد ال 连写,让 عبد الله 能匹配 عبدالله。这些规则与面向搜索的阿拉伯语文本归一化相同,只是仅用于匹配。显示时保留原始片段。

import json, os, re
from hijridate import Hijri
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

TYPES = {"PERSON", "ORG", "LOCATION", "DATE"}
SYSTEM = """Extract named entities from the Arabic text. Reply with JSON only:
{"entities": [{"text": "...", "type": "PERSON|ORG|LOCATION|DATE"}],
 "dates": [{"text": "...", "calendar": "hijri|gregorian", "year": 0, "month": 0, "day": 0}]}
Rules: copy "text" exactly as it appears in the input, including any diacritics.
Do not translate, transliterate or complete names. A date followed by هـ is Hijri.
If there are no entities, return empty lists."""

DIACRITICS = re.compile(r"[ً-ٰٟـ]")   # tashkeel, dagger alef, tatweel
def norm(s: str) -> str:
    s = DIACRITICS.sub("", s)
    s = re.sub("[إأآٱ]", "ا", s).replace("ى", "ي").replace("عبد ال", "عبدال")
    return " ".join(s.split())

def validate(source: str, data: dict) -> tuple[list, list]:
    """Keep entities that really occur in the source; report everything else."""
    src, kept, problems = norm(source), [], []
    for e in data.get("entities", []):
        if e.get("type") not in TYPES:
            problems.append(f"unknown type: {e}")
        elif norm(e.get("text", "")) not in src:
            problems.append(f"not in source: {e['text']}")
        else:
            kept.append(e)
    for d in data.get("dates", []):
        if d.get("calendar") == "hijri":
            try:
                d["iso"] = Hijri(d["year"], d["month"], d["day"]).to_gregorian().isoformat()
            except (ValueError, OverflowError) as err:
                problems.append(f"bad Hijri date {d['text']}: {err}")
    return kept, problems

def extract(text: str, model="broadnet/qwen3.8-27b") -> dict:
    r = client.chat.completions.create(
        model=model, max_tokens=2000,
        messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
    data = json.loads(r.choices[0].message.content)
    data["entities"], data["problems"] = validate(text, data)
    return data

text = "التقى خالِد بن سَعِيد مديرةَ شركة النخيل للتقنية في جدة يوم ١٥ جمادى الآخرة ١٤٤٥هـ."
print(json.dumps(extract(text), ensure_ascii=False, indent=1))

我们用本地模拟服务器(没有调用真实 API)运行了这段代码,模拟服务器的预设回复里多加了一个编造的人名和一个不可能存在的日期(13 月)。输出保留了 خالد بن سعيد(回复里去掉了变音符号,归一化匹配仍然找到了它)、شركة النخيل للتقنية 和 جدة。它把 ١٥ جمادى الآخرة ١٤٤٥هـ 换算为 2023-12-28,并列出了两个问题:编造的名字是“not in source”,13 月触发了“month must be in 1-12”。文中的人名和公司均为虚构。

关于代码的几点说明:

  • max_tokens=2000 给思考留出空间。BroadNet 的文档说,DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考再作答,思考内容计入 max_tokens。参见思考模型为什么返回空回答。
  • **json.loads 可能失败。**把它包起来,失败时带上错误信息重发一次,就像修复循环那样。BroadNet 文档标注 GLM 5.3 和 Qwen3.8 27B 支持结构化输出,在这两个模型上还可以加上 response_format schema。无论哪种情况,校验都要保留。
  • **子串匹配是有意放宽的。**它确认片段存在,但不确认类型。类型由下面的评分步骤来衡量。

伊斯兰历日期怎么处理?

阿拉伯语文本中的日期有许多写法:١٥/٦/١٤٤٥هـ、١٥ جمادى الآخرة ١٤٤٥,或者月份名称因地区而异的公历日期(埃及和海湾写 نوفمبر,黎凡特写 تشرين الثاني)。模型通常能把它们拆成组成部分,再由代码检查这些部分。历法之间的换算是查已公布表格的算术,模型没有理由把它算对。

hijridate(前身为 hijri-converter)按 Umm al-Qura 历法换算。其文档注明的范围是伊斯兰历 1343 至 1500 年(公元 1924 年 8 月 1 日至 2077 年 11 月 16 日)。超出范围会抛出 OverflowError;月或日无效会抛出 ValueError,所以代码两个都要捕获。它的文档说明,它不适用于偏好以目视新月确定日期的宗教用途,所以以目视确定的日期可能与换算值不同。把原文写的日期和换算后的日期一起保存。

东阿拉伯数字在这里不需要特殊处理:模型返回的是整数。如果你自己解析日期,先把 ٠١٢٣٤٥٦٧٨٩(以及波斯数字 ۰–۹)映射为 0–9。

Arabizi 和混合文本中的名字怎么办?

客户消息经常用拉丁字母写名字:“ana 7a2ool la Mo7ammad bokra”。照抄片段的规则依然有效:实体文本是“Mo7ammad”,子串检查能通过。失败的是把这条记录匹配到你 CRM 里的 محمد。这一步放到第二步做:像处理 Arabizi 一文那样把片段转换成阿拉伯字母,再用同样的归一化与你的记录匹配。凡是经过转换得到的记录,都加一个置信度标记。

阿拉伯语句子里的英文公司名,以及阿拉伯语名字的拉丁拼写(Mohammed、Muhammad、Mohamed)也是如此。不要让抽取步骤去挑选某一种拼写。

怎么给抽取器打分?

用同一套类型列表,人工标注 100 到 200 条真实样本。然后在归一化文本和类型上按实体级精确匹配比较预测结果,并按类型报告精确率、召回率和 F1:

from collections import Counter

def score(gold: list[list[dict]], pred: list[list[dict]]) -> dict:
    """Entity-level exact match on (normalised text, type), micro-averaged, plus per type."""
    tp, fp, fn = Counter(), Counter(), Counter()
    for g, p in zip(gold, pred):
        G = Counter((norm(e["text"]), e["type"]) for e in g)
        P = Counter((norm(e["text"]), e["type"]) for e in p)
        for (t, ty), n in (G | P).items():
            hit = min(G[(t, ty)], P[(t, ty)])
            tp[ty] += hit; fp[ty] += P[(t, ty)] - hit; fn[ty] += G[(t, ty)] - hit
    def prf(a, b, c):
        p = a / (a + b) if a + b else 0.0
        r = a / (a + c) if a + c else 0.0
        return {"p": round(p, 3), "r": round(r, 3), "f1": round(2 * p * r / (p + r), 3) if p + r else 0.0}
    out = {ty: prf(tp[ty], fp[ty], fn[ty]) for ty in sorted(tp | fp | fn)}
    out["micro"] = prf(sum(tp.values()), sum(fp.values()), sum(fn.values()))
    return out

在一个两句话的玩具数据集上(三个标准实体;预测把 جدة 标成了 ORG 而不是 LOCATION,还多加了一个地点),它输出的 micro 精确率为 0.5,召回率为 0.667,F1 为 0.571,LOCATION 的 F1 为 0。按类型查看能告诉你该在哪里下功夫:ORG 分数偏低,通常说明你的类型定义需要示例,而不是需要更大的模型。

事先决定什么算匹配。精确匹配很严格:“شركة النخيل”对上标准答案“شركة النخيل للتقنية”,会被记为一个误报和一个漏报。如果你的用途可以接受部分片段,就再报告一个基于重叠的分数,但仍以严格分数为主。

该用 BroadNet 的哪个模型?

所有价格均为每百万 token,来自 BroadNet 的价格页面。

模型 理由 输入 / 输出
Qwen3.8 27B 文档标注支持结构化输出;BroadNet 报告它经过阿拉伯语测试,包括海湾和埃及方言理解;能读图片 $0.175 / $2.17
GLM 5.3 文档标注支持结构化输出;1,048,576 token 上下文,适合超长文档 $0.78 / $3.46
Gemma 4 VL 26B 可用 $5 的初始额度调用;文档未标注支持结构化输出,所以要校验仅靠提示词得到的 JSON;32,768 token 上下文 $0.10 / $0.22

用每个候选模型在你的样本上运行评分脚本,根据各类型的 F1 和成本来选,而不是根据厂商的描述。同样的内容,阿拉伯语通常比英语消耗更多 token;阿拉伯语每个词多少 token 给出了实测比例。对于扫描表格或照片中的实体,直接从图像中抽取,就像用视觉模型读取阿拉伯语发票那样。

BroadNet Inference 的定位

BroadRouter 是 BroadNet 自己的网站。BroadNet Inference 让你用一个密钥以 OpenAI 兼容方式调用上述模型,所以改一下 base URL,代码就能用 OpenAI Python SDK 运行。它的文档说,请求结束后不保留提示词和回答,当文本里满是人名时,这一点很重要。它没有专门的 NER 端点,也没有发布自己的阿拉伯语 NER 基准,所以请在你的数据上测量。如果你需要一个自托管的高吞吐标注器,用 Wojood 或你自己的标签训练的微调模型,可能比任何大模型都更便宜、更稳定;上文公布的差距正是你需要验证的原因。

常见问题

大模型能做阿拉伯语命名实体识别吗?

能,但要加校验。已发表的阿拉伯语逐 token NER 零样本结果,远远落后于微调模型,所以要把每个实体与原文核对,并在正式依赖之前,用你自己数据的标注样本给模型打分。

带变音符号和不带变音符号的阿拉伯语名字怎么匹配?

比较之前把两边都归一化:去掉 tashkeel(U+064B 到 U+065F)、短竖 alef 和 tatweel,把 إ أ آ ٱ 映射为 ا、把 ى 映射为 ي,并合并多余空格。显示时保留原文;归一化形式只用于匹配。

怎么用 Python 把伊斯兰历日期换算成公历?

用 hijridate(前身为 hijri-converter):Hijri(1445, 6, 15).to_gregorian() 返回 2023-12-28。它遵循 Umm al-Qura 历法,支持伊斯兰历 1343 至 1500 年,不适用于以目视新月确定的宗教日期。

有哪些阿拉伯语 NER 数据集可以用来测试?

ANERcorp(新闻,约 150,000 个 token,四种类型)、AQMAR(74,000 个 token 的维基百科文本)、Wojood(约 550,000 个 token 的 MSA 和方言文本,21 种嵌套类型)和 CANERCorpus(古典阿拉伯语圣训,20 种类型)。逐一检查许可证,并把它们的标签映射到你的标签。

模型应该翻译或音译名字吗?

抽取这一步不要。要求原文中的精确片段,这样你才能核对。如果需要拉丁字母拼写,另加一个字段,并把它视为未经核实。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity