BroadRouter
开始使用

Unicode 规范化(Unicode normalization)

更新于

Unicode 规范化把文本转换成标准形式,让看起来相同的字符串使用相同的码位。共有 NFD、NFC、NFKD 和 NFKC 四种形式;带 K 的形式还会把兼容字符(如阿拉伯语表现形式和连字)折叠成普通字母。

又称: Unicode 标准化、Unicode 正规化、字符规范化、规范化形式、NFC、NFKC、NFD、NFKD、Unicode normalization

两个字符串在屏幕上看起来一模一样,相等比较却可能失败。Unicode 规范化就是解决办法。

工作原理

UAX #15 定义了四种形式:

形式 定义
NFD 标准分解
NFC 标准分解,再标准组合
NFKD 兼容分解
NFKC 兼容分解,再标准组合

用 MDN 的话说,标准等价的字符应当在外观和行为上都相同。兼容等价的字符则 “should be treated alike in some — but not necessarily all — applications”(译文:应在某些、但不一定是所有应用中被同等对待),所以 NFKC 和 NFKD 可能改变文本的外观。JavaScript 的 normalize() 默认使用 NFC。Python 在 unicodedata.normalize(form, s) 中提供同样的四种形式,并用 unicodedata.is_normalized 检查字符串。

阿拉伯语两种情况都有。

标准等价。 Unicode 标准说,أ(U+0623)分解为 ا(U+0627)加 U+0654 HAMZA ABOVE。来自某些键盘或转换工具的文本,会以这种两个字符的形式出现。NFC 会把它重新组合成 U+0623,于是就能匹配了。

兼容等价。 Unicode 在 U+FB50 到 U+FDFF 以及 U+FE70 到 U+FEFE 中编码了阿拉伯语表现形式,也就是按上下文变化的字母字形和连字,并说明它们用于兼容,“should not be used in general interchange”(译文:不应用于一般的数据交换)。但它们仍会出现在从旧 PDF 复制的文本和某些 OCR 输出里。NFKC 会把它们折叠:

输入 码位 NFKC 之后
ﻻ U+FEFB,LAM WITH ALEF ISOLATED FORM لا(两个字母)
ﷲ U+FDF2,ALLAH ISOLATED FORM الله(四个字母)
ﺍ U+FE8D,ALEF ISOLATED FORM ا
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا"   # True
unicodedata.normalize("NFC", "أ") == "أ"    # True

CAMeL Tools 的 normalize_unicode 默认应用 NFKC,在此之前先把两个特殊字符,即里亚尔符号 U+FDFC 和 Basmala 连字 U+FDFD,映射为普通阿拉伯字母。

为什么重要

  • 搜索与 RAG。 从带表现形式的 PDF 中提取的文档,无法匹配用普通键盘输入的查询。请先对两边都做 NFKC,再应用阿拉伯语文本规范化规则,因为这些规则默认输入是标准字母。
  • Token 数。 表现形式与普通字母是不同的码位,所以分词器可能把同一个看得见的词切成不同数量的 token。在 UTF-8 中,ﻻ 占 3 字节,لا 占 4 字节。如果你的输入来自 PDF,请在阿拉伯语 token 计数器里把两个版本都数一下。
  • 校验。 把模型输出与原文比较之前要先规范化,例如在检查抽取出的实体是否真的出现在文档中时。

在 BroadNet Inference 上

BroadNet 的 API 参考文档没有说明服务器端是否会规范化输入,所以请在发送、建索引或比较文本之前,在自己的代码里完成规范化。对于阿拉伯语文档,用视觉大模型做 OCR 一文和阿拉伯语发票指南介绍了如何用 Gemma 4 VL 26B 等模型把页面当作图片来读取,从而避开损坏的 PDF 文本层。对返回的文本,先做 NFKC 再进行匹配。

常见错误

  • 把 NFKC 文本存起来用于显示;应保留 NFC 原文。
  • 只规范化文档,不规范化查询。
  • 以为规范化会去掉变音符号、tatweel(延长线)或 bidi 标记。它不会。

常见问题

该用 NFC 还是 NFKC?

存储和显示文本用 NFC,因为它不改变外观。搜索键和匹配用 NFKC,这时折叠连字和表现形式正是你想要的。MDN 提醒,兼容形式会改变视觉外观。

Unicode 规范化会去掉阿拉伯语的变音符号吗?

不会。变音符号是独立的字符,会被保留。去掉它们是阿拉伯语文本规范化中单独的一步。

规范化会去掉不可见的 bidi 标记或零宽字符吗?

U+200F、U+2067 这类 bidi 控制字符不会被去掉;它们会原样通过 NFC 和 NFKC。如果它们破坏了匹配,请单独删除。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity