从合同或新闻报道中找出每一个人物、公司和地点,并标明各自的类型。这就是 NER,也是交给大模型最常见的工作之一。
工作原理
经典基准是 CoNLL-2003 评测任务。它使用英文路透社新闻和德文《法兰克福评论报》文本,共四种类型(PER 表示人物,ORG、LOC,以及 MISC,即 “names of miscellaneous entities that do not belong to the previous three groups”(译文:不属于前三类的其他实体名称)),并采用 IOB 标签:每个词标为某类型的 B- 或 I-,或者标为 O,表示不属于任何实体。评分按实体计算 F1,只有与参考答案完全一致的实体才算对。
一个 IOB 格式的阿拉伯语示例:
| Token | 标签 |
|---|---|
| زار | O |
| خالد | B-PER |
| العتيبي | I-PER |
| مدينة | O |
| الرياض | B-LOC |
(“哈立德·奥泰比访问了利雅得市。”)
阿拉伯语有自己的数据集。ANERcorp 由 Yassine Benajiba 创建,自 2008 年起就是标准参考,内容为新闻专线文本;CAMeL Lab 约定的划分包含 125,102 个训练词和 25,008 个测试词,采用 CC BY-SA 4.0 许可。Wojood(Jarrar 等,2022)有约 550K 个 MSA 和方言文本 token、21 种实体类型、约 75K 个实体,其中 22.5% 是嵌套实体。其基于 AraBERT 的模型取得了 0.884 的 micro F1。
用大模型时,常见的做法不同:要的是一个列表,而不是逐个 token 的标签。
{"entities": [
{"text": "خالد العتيبي", "type": "PERSON"},
{"text": "الرياض", "type": "LOCATION"}
]}
为什么重要
NER 为搜索过滤、CRM 记录、个人身份信息(PII)脱敏和知识图谱提供数据。用大模型做 NER,主要风险是:
- 编造或改动实体。 模型可能返回原文中没有的名称,或者“纠正”其拼写。在两边都做阿拉伯语文本规范化之后,检查每个实体是否出现在原文中。这属于一种幻觉检查。
- 标签漂移。 在 schema 中固定类型列表,这样模型就无法发明新类型。
- 基准不等于你的数据。 公开数据集的标签很少与你的一致。人工标注一份样本,计算精确率、召回率和 F1,就像任何评测一样。
在 BroadNet Inference 上
BroadNet 没有 NER 端点;你需要基于 POST /v1/chat/completions 来实现。BroadNet 的 API 参考记录了 GLM 5.3 和 Qwen3.8 27B 的结构化输出,借此可以把模型约束在实体列表和固定的类型集合上。对于以图片形式提供的文档,Qwen3.8 27B 也支持图像输入。
BroadNet 没有公布其模型的 NER 基准结果。阿拉伯语命名实体抽取一文提供了提示词、忽略变音符号的片段检查、回历日期处理,以及可在你自己的样本上运行的评分脚本。