两个字符串在屏幕上看起来一模一样,相等比较却可能失败。Unicode 规范化就是解决办法。
工作原理
UAX #15 定义了四种形式:
| 形式 | 定义 |
|---|---|
| NFD | 标准分解 |
| NFC | 标准分解,再标准组合 |
| NFKD | 兼容分解 |
| NFKC | 兼容分解,再标准组合 |
用 MDN 的话说,标准等价的字符应当在外观和行为上都相同。兼容等价的字符则 “should be treated alike in some — but not necessarily all — applications”(译文:应在某些、但不一定是所有应用中被同等对待),所以 NFKC 和 NFKD 可能改变文本的外观。JavaScript 的 normalize() 默认使用 NFC。Python 在 unicodedata.normalize(form, s) 中提供同样的四种形式,并用 unicodedata.is_normalized 检查字符串。
阿拉伯语两种情况都有。
标准等价。 Unicode 标准说,أ(U+0623)分解为 ا(U+0627)加 U+0654 HAMZA ABOVE。来自某些键盘或转换工具的文本,会以这种两个字符的形式出现。NFC 会把它重新组合成 U+0623,于是就能匹配了。
兼容等价。 Unicode 在 U+FB50 到 U+FDFF 以及 U+FE70 到 U+FEFE 中编码了阿拉伯语表现形式,也就是按上下文变化的字母字形和连字,并说明它们用于兼容,“should not be used in general interchange”(译文:不应用于一般的数据交换)。但它们仍会出现在从旧 PDF 复制的文本和某些 OCR 输出里。NFKC 会把它们折叠:
| 输入 | 码位 | NFKC 之后 |
|---|---|---|
| ﻻ | U+FEFB,LAM WITH ALEF ISOLATED FORM | لا(两个字母) |
| ﷲ | U+FDF2,ALLAH ISOLATED FORM | الله(四个字母) |
| ﺍ | U+FE8D,ALEF ISOLATED FORM | ا |
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا" # True
unicodedata.normalize("NFC", "أ") == "أ" # True
CAMeL Tools 的 normalize_unicode 默认应用 NFKC,在此之前先把两个特殊字符,即里亚尔符号 U+FDFC 和 Basmala 连字 U+FDFD,映射为普通阿拉伯字母。
为什么重要
- 搜索与 RAG。 从带表现形式的 PDF 中提取的文档,无法匹配用普通键盘输入的查询。请先对两边都做 NFKC,再应用阿拉伯语文本规范化规则,因为这些规则默认输入是标准字母。
- Token 数。 表现形式与普通字母是不同的码位,所以分词器可能把同一个看得见的词切成不同数量的 token。在 UTF-8 中,ﻻ 占 3 字节,لا 占 4 字节。如果你的输入来自 PDF,请在阿拉伯语 token 计数器里把两个版本都数一下。
- 校验。 把模型输出与原文比较之前要先规范化,例如在检查抽取出的实体是否真的出现在文档中时。
在 BroadNet Inference 上
BroadNet 的 API 参考文档没有说明服务器端是否会规范化输入,所以请在发送、建索引或比较文本之前,在自己的代码里完成规范化。对于阿拉伯语文档,用视觉大模型做 OCR 一文和阿拉伯语发票指南介绍了如何用 Gemma 4 VL 26B 等模型把页面当作图片来读取,从而避开损坏的 PDF 文本层。对返回的文本,先做 NFKC 再进行匹配。
常见错误
- 把 NFKC 文本存起来用于显示;应保留 NFC 原文。
- 只规范化文档,不规范化查询。
- 以为规范化会去掉变音符号、tatweel(延长线)或 bidi 标记。它不会。